ax函數
故事背景:選舉村的村長選舉
在一個叫“選舉村”的地方,每四年一次,村民們都要選出一位新村長。這次,有四位候選人:
?阿強擅長務農,村民對他比較熟悉)
?小美善於管理,做過村委會秘書)
?老李年紀較大,經驗豐富,但村民對他評價不一)
?張三剛來村子不久,大家對他了解不多)
選舉日,村民們需要根據他們的支持度,選擇一個人投票。但村民的支持度並不是“非黑即白”的,每個人對每位候選人的好感度都不同。為了更公平地衡量大家的意願,村子裡的智者發明了一種方法,叫softax規則。ax的運作方式
智者讓每個村民給四位候選人打分,比如某個村民的打分是:
?阿強:8分
?小美:6分
?老李:5分
?張三:3分
但是,這些分數隻是相對的,我們需要轉換成“概率”來反映這個村民的最終選擇傾向。softax規則的做法是:
1.先用指數函數e的指數)放大分數,避免負分影響決策:
2.計算這些指數值的總和:
3.再計算每個候選人的支持度占比:
這樣,每個人最終的選擇概率就會落在到之間,並且所有候選人的概率加起來是保證了最終一定會選出一位村長)。
比喻解釋:冰淇淋店的選擇
假設你走進了一家冰淇淋店,店裡有四種口味:
?巧克力你最愛)
?香草你覺得還行)
?草莓一般般)
?抹茶你不太喜歡)ax規則就像是在你的大腦裡裝了一個“選擇助理”,它根據你對每個口味的喜愛程度打分),幫你轉換成最終的選擇概率。例如:
?你對巧克力的喜愛度是9分,香草7分,草莓5分,抹茶2分。ax把這些分數轉化成指數值,然後歸一化成概率:
結果就是,你有最高的概率選擇巧克力,較低的概率選擇香草,幾乎不會選抹茶。ax函數的本質是:
1.將原始分數打分)轉換成概率,使得總和為1。
2.指數放大優勢,讓分數高的選項更有可能被選中。
3.讓所有選項都有可能被選中即使得分最低的選項概率也不會完全是0)。
ax都像一個“理性的選擇助手”,幫我們做出合理的決策。
多層分類的中間層會有偏置和中間結果
用故事解釋“偏置”和“中間結果”
故事背景:魔法師的學徒