草稿:軟標籤

軟標籤（Soft Target）是知識蒸餾（Knowledge Distillation)中的核心概念，指由教師模型（Teacher Model）輸出之 softmax 概率分布，相較於傳統 one-hot 編碼的硬標籤（Hard Target），軟標籤能提供更多類別之間的相對關係與語意結構資訊，常被稱為「暗知識」（Dark Knowledge）。

定義

在分類任務中，模型輸出的 logits $z=(z_{1},\dots ,z_{K})$ 經過 softmax 函數轉換為概率分布：

$q_{i}={\frac {\exp(z_{i}/T)}{\sum _{j=1}^{K}\exp(z_{j}/T)}}$

其中 $T$ 為溫度參數（Temperature），控制分布的平滑程度。當 $T>1$ 時，輸出分布更平滑，強調次要類別的重要性，使學生模型能學習教師模型對各類別的置信結構。

特性

• 可反映樣本與非正解類別的關聯程度
• 保留教師模型對任務的整體理解與模糊邊界
• 在模型訓練中提供更多梯度訊號，有助於學生模型收斂與泛化

與硬標籤比較

標籤類型	表示方式	資訊量
軟標籤	概率分布（如 [0.6, 0.3, 0.1]）	高，含多類別關係
硬標籤	One-hot（如 [1, 0, 0]）	低，僅標示正解類別

應用場景

• 知識蒸餾中的學生模型訓練
• Self-distillation、Online Distillation 等多種蒸餾策略中皆使用
• 可作為正則化訊號，提升模型穩健性與對抗樣本抵抗力

參見

• 知識蒸餾
• 教師模型
• 學生模型
• 溫度參數
• Hard Target
• KL 散度

Category:機器學習 Category:人工智能