能建立清晰的“任務結果反饋”鏈條
強化學習
實踐中不斷試錯並獲得反饋
學會策略優化,但很依賴獎勵設計
未訓練領域
沒人講解、也從沒見過的知識
隻能“猜”而不是“知道”
所以,大模型並非“全知”,而是“巨量輸入+相關性建模”的結果。沒有明確監督和反饋,它可以“模仿得很好”,但無法“知道得準確”。
?
四、哲學層麵:知識的完整性依賴於目的性與驗證路徑
知識完整性的構建不僅依賴數據,而更依賴:
1.目的性goaorientedearning):你學習是為了什麼?沒有目標就沒有選擇與篩選;echanis):你怎麼知道你學對了?沒有反饋就無法修正偏差;
3.理論抽象theoryabstraction):你是否能將個例升華為結構?這需要引導和模型建設。
ai大模型很多時候是在缺乏明確目標與反饋的語料中“遊蕩式學習”。它學得多,但結構不穩、推理不深,因此無法獲得“完整性”。
?
五、現實世界中的補救機製
本小章還未完,請點擊下一頁繼續閱讀後麵精彩內容!
正因為自監督訓練存在這些問題,現代大模型在預訓練之後通常會做:
1.微調finetuning):用有標注數據進行小範圍有針對性訓練;
2.rhf人類反饋強化學習):用人工打分機製優化模型輸出結果,使其更符合人類價值;
3.插件係統toouse):通過嵌套計算器、數據庫、搜索引擎等,補足知識結構的“缺口”;
4.多模態協同:語言+圖像+動作等維度補充信息結構的不完整性。
這些都是在彌補“無標注訓練”的先天缺陷。
?
六、結論與展望
你提出的問題可以總結為一句話:
沒有經過標注訓練的大模型,其知識體係是片麵的、目標性弱的、可解釋性差的,因此並不完整。
ai大模型在當前階段,的確存在以下三大“不完整性”:
1.知識分布不完整→稀缺敏感信息無法自動習得;
2.結構建模不完整→缺乏明確因果與目標框架;
3.驗證機製不完整→幻覺無法主動修正,錯誤輸出不自知。
但它的優勢也明顯:
?學習範圍極廣;
?語境模擬能力強;
?多樣性高、可遷移性強。
未來,大模型的發展趨勢一定是:
?人類標注與反饋機製更精細化如autorhf、偏好建模);
?任務導向設計agent化、鏈式推理)加強推理結構;
?領域專家介入,實現專家知識標注精調;
?多模態數據參與建模,提升理解維度。
?
喜歡職場小聰明請大家收藏:()職場小聰明書更新速度全網最快。