<ax函數
故事背景︰選舉村的村長選舉
在一個叫“選舉村”的地方,每四年一次,村民們都要選出一位新村長。這次,有四位候選人︰
? 阿強擅長務農,村民對他比較熟悉)
? 小美善于管理,做過村委會秘書)
? 老李年紀較大,經驗豐富,但村民對他評價不一)
? 張三剛來村子不久,大家對他了解不多)
選舉日,村民們需要根據他們的支持度,選擇一個人投票。但村民的支持度並不是“非黑即白”的,每個人對每位候選人的好感度都不同。為了更公平地衡量大家的意願,村子里的智者發明了一種方法,叫 softax 規則。<ax 的運作方式
智者讓每個村民給四位候選人打分,比如某個村民的打分是︰
? 阿強︰8分
? 小美︰6分
? 老李︰5分
? 張三︰3分
但是,這些分數只是相對的,我們需要轉換成“概率”來反映這個村民的最終選擇傾向。softax 規則的做法是︰
1. 先用指數函數e的指數)放大分數,避免負分影響決策︰
2. 計算這些指數值的總和︰
3. 再計算每個候選人的支持度佔比︰
這樣,每個人最終的選擇概率就會落在 到 之間,並且所有候選人的概率加起來是 保證了最終一定會選出一位村長)。
比喻解釋︰冰淇淋店的選擇
假設你走進了一家冰淇淋店,店里有四種口味︰
? 巧克力你最愛)
? 香草你覺得還行)
? 草莓一般般)
? 抹茶你不太喜歡)<ax 規則就像是在你的大腦里裝了一個“選擇助理”,它根據你對每個口味的喜愛程度打分),幫你轉換成最終的選擇概率。例如︰
? 你對巧克力的喜愛度是9分,香草7分,草莓5分,抹茶2分。<ax 把這些分數轉化成指數值,然後歸一化成概率︰
結果就是,你有最高的概率選擇巧克力,較低的概率選擇香草,幾乎不會選抹茶。<ax 函數的本質是︰
1. 將原始分數打分)轉換成概率,使得總和為 1。
2. 指數放大優勢,讓分數高的選項更有可能被選中。
3. 讓所有選項都有可能被選中即使得分最低的選項概率也不會完全是0)。
<ax 都像一個“理性的選擇助手”,幫我們做出合理的決策。
多層分類的中間層會有偏置和中間結果
用故事解釋“偏置”和“中間結果”
故事背景︰魔法師的學徒
在一個魔法學院里,有一位年輕的學徒——小艾。他正在學習如何用魔法配制“完美藥水”。
學院的導師告訴他︰“要配出理想的藥水,你需要三個關鍵步驟︰”
1. 收集原料輸入數據)
2. 研磨並混合計算中間結果)
3. 調整口味加上偏置)
小艾開始嘗試︰
? 他拿了 龍眼果原料1),月光花原料2),銀露水原料3),這些原料各自有不同的藥效分數。
? 他按照導師給的魔法公式進行計算,把這些原料的效果 加權類似于機器學習中的“權重”)得到一個中間結果。
? 但是,每次配出來的藥水,總覺得有點偏酸或者偏苦,于是導師告訴他︰“要加上一點魔法糖!”
這 魔法糖 就是 偏置bias)!
導師解釋道︰“有時候,光靠原料混合出來的效果可能會偏離目標,比如太苦了,我們就需要手動加點甜味,這樣最終的藥水才是完美的。”
小艾恍然大悟,他在最後的配方中加入了一點 魔法糖偏置),最終成功調配出一款 恰到好處的藥水輸出結果)。
用比喻解釋“偏置”和“中間結果”
比喻1︰做菜
想象你正在做一鍋湯,你的過程是這樣的︰
1. 你放了雞肉、蔬菜和調料輸入數據)。
2. 你用鍋把這些食材煮成高湯計算中間結果)。
3. 但你嘗了一口,覺得味道有點淡,于是加了一點鹽偏置)。
這最後加的鹽就是“偏置”,它的作用是讓最終的味道更符合你的期待,而不是完全取決于原料本身的味道。
比喻2︰考試成績調整
假設一群學生參加了數學考試,老師發現︰
? 有些學生因為壓力太大,考試成績偏低。
? 有些題目出得特別難,導致整體分數偏低。
為了更公平地評估學生的能力,老師在所有人的成績上額外加了5分。
這個“額外加的5分”就是 偏置bias)!它的作用是︰
? 讓整個評分系統更加合理。
? 彌補一些系統性誤差,比如有的考試本身比別的考試更難。
而學生的原始分數就是 中間結果,它是由他們答題的情況決定的,但最終的成績還要經過調整加偏置)才能成為最終分數。
總結
? 中間結果 就是計算過程中的“半成品”,就像湯還沒加鹽,藥水還沒加糖,考試還沒加調分。
? 偏置bias) 就是最後人為加上的“調整項”,它的作用是讓最終結果更合理、更符合目標。
就像魔法師加糖、廚師加鹽、老師調分一樣,神經網絡在計算時也會用“偏置”來微調輸出結果,使它更加精準。
喜歡職場小聰明請大家收藏︰()職場小聰明書更新速度全網最快。