?低於0.5的人低分）：大概率被拒絕。
優點：
?可以平滑地過濾數據，避免“全進或全不進”這樣極端的情況。
?適用於二分類問題比如郵件是垃圾郵件還是正常郵件）。
問題：
?計算比較複雜，不像reu那麼直接。
?當數據過大或過小時，變化很小，容易導致梯度消失學習速度變慢）。ax激活函數）
有一天，老板告訴老張：“我們公司不僅有正式員工，還有不同的部門，比如工程部、市場部、財務部。你不能隻區分‘進’或‘不進’，而是要把人分到不同的部門。”
於是，老張開發了一套更加高級的評分係統，不僅判斷某人是否能進，還會計算他屬於哪個部門的概率。
?如果一個人穿著工程師製服，90可能屬於工程部，10可能屬於市場部。
?如果一個人拿著營銷資料，80可能屬於市場部，20可能屬於工程部。
?每個人都按照最高概率歸類到相應部門。ax激活函數，它的作用是：
?把所有的可能性轉換成概率分布所有概率加起來是1）。
?適用於多分類問題比如識彆一張圖片是“貓”、“狗”還是“兔子”）。
優點：
?適合多類彆分類，可以告訴你“最有可能”是哪一類。
問題：
?計算量比reu大一點，但在分類任務中是最合適的。
總結：不同激活函數的角色
激活函數比喻適用場景優點問題
恒等函數identity）老張不篩選，所有人都能進線性回歸簡單直接不能處理複雜問題
reu老張隻讓正式員工進，其他人全拒深度學習、n計算簡單，效率高負數全部變0，信息可能丟失oid老張給每個人打分，決定能不能進二分類問題垃圾郵件分類）平滑過渡，輸出01概率容易梯度消失ax老張不但決定誰進，還要分部門多分類問題圖像識彆）適合多分類問題計算比reu複雜
結論：激活函數=智能篩選機製
?激活函數的作用就像門衛老張，決定哪些信息能進入下一層，哪些要被拒絕。
oid、softax各有千秋。
?深度學習的關鍵就是如何聰明地使用這些篩選機製，讓神經網絡學得更快、更準確！
你更喜歡哪個“門衛策略”呢？如果你是老張，你會怎麼設計你的篩選規則？
喜歡職場小聰明請大家收藏：()職場小聰明書更新速度全網最快。