激活函數是什麼？——用故事和比喻講解
故事比喻：門衛老張的篩選機製
想象一個大型科技公司的總部大樓，每天有很多人想進公司。但並不是所有人都能進去，隻有符合某些條件的員工才能進入工作，而其他人要被攔在門外。
這座大樓的門口站著一個門衛——老張。他的任務是檢查進來的人，決定誰能進，誰不能進。他的決策規則就像神經網絡中的“激活函數”！
第一種情況：老張完全放行恒等函數）
有一天，老張心情很好，他決定：“今天所有人都能進！”
?不管是正式員工、遊客，還是快遞小哥，隻要有人過來，老張就讓他們進大樓。
?這就像是“線性函數”或“恒等函數”identityfunction），沒有任何篩選，數據怎麼進來，就怎麼傳遞出去。
問題：
?如果門口有太多人，會導致辦公樓人滿為患，甚至乾擾員工工作信息過載）。
?這種情況下，神經網絡可能無法學習複雜的特征，因為它沒有任何“過濾”或“激活”機製。
第二種情況：老張隻讓合格員工進reu激活函數）
第二天，公司老板告訴老張：“從現在開始，隻有正式員工能進，其他人一律不準進！”
?於是，如果有人出示正式員工證，老張就讓他進去。
?但如果是遊客、閒雜人等，老張直接搖頭：“不行，回去吧！”
這就像reu修正線性單元）激活函數：
?如果輸入是正數正式員工），就直接通過，傳遞給下一層神經網絡。
?如果輸入是負數閒雜人等），直接變成0，相當於拒絕進入。
優點：
?過濾掉無用信息負數變成0，相當於屏蔽了一些乾擾）。
?計算簡單，速度快，不會引入複雜的計算。
問題：
?萬一是一個優秀但沒證件的實習生呢？他可能也被老張攔在門外了reu會把所有負數信息直接清零）。oid激活函數）
有一天，老張覺得：“或許我不該這麼絕對，可能有些遊客也是未來的潛在客戶，不該完全拒之門外。”
於是，他製定了一套打分係統：
?正式員工高分）：直接進！
?遊客中等分）：可以進去看看，但不能隨意走動。
?陌生人低分）：抱歉，不能進！oid激活函數，它的輸出介於0到1之間，相當於一種概率衡量：
?高於0.5的人高分）：大概率被接受。