第167章重啟SLRM研究三
第167章重啟SLRM研究三(第3/4頁)
題丶邏輯題丶代碼生成這種有著嚴格規則的任務，它簡直就是神。
但是，對於那些模糊的丶感性的丶冇有標準答案的任務呢？
徐辰目前在這幾個測試集中能有較好表現，本質上是因為這些數據本身含有邏輯信息，可以訓練模型。
但是，現實世界中的邏輯關係千奇百怪。
比如「貓」。在生物學上，它是貓科動物；在文學上，它可能是「高冷」的代名詞；在網絡文化裡，它甚至是「主子」。
而且有些場景就是天然弱邏輯的，比如寫詩，比如閒聊，比如情感諮詢。
slrm的幾何約束太強了，它像一把鐵鉗，死死地卡住了模型發散思維的翅膀。它不允許模型說任何「邏輯不嚴謹」的話，哪怕那是修辭，是比喻，是藝術。
「成也邏輯，敗也邏輯。」
「看來，未來還需要設計一個更靈活的『調度器』，讓模型知道什麽時候該用slrm，什麽時候該放飛自我。但這又是一個巨大的工程量。」
……
另一個問題，是訓練數據的匱乏。
徐辰目前能跑出sota，是因為他用的這幾個數據集（snli丶logiqa等）都是經過人工精心標註的高質量邏輯數據。
但是，這種數據在海量的網際網路文本中，占比極低。
想要讓slrm真正具備通用的邏輯能力，就需要海量的丶覆蓋各種領域（法律丶醫學丶常識）的邏輯數據來訓練。
「冇有數據，slrm就是個空殼子。」
「而且，不同的邏輯問題下，邏輯的判斷歸屬是不一樣的。這依然需要強大的參數量來擬合。」
徐辰現在的slrm模塊，參數量僅僅隻有0.5b。
「如果要記住更多的邏輯，可能要把slrm擴大到7b，甚至70b，再配合海量的邏輯數據。「
「到時候，它和transformer結合後的威力，絕對不是簡單的1+1=2。」
「也就是說一個7b的transformer架構的模型，加上7b的slrm模型，組合起來，可能有超過100b參數的能力。」
「但是……我是冇有能力搞到這麽多數據了。」
……
經過一番實操，徐辰得出了結論：
「這個模型學術成果價值比較強，走產業化路線，還有很大的空間。」
「不過，因為是係統出品，我對這個方向的產業化還是比較有信心的。」
徐辰又轉念一想，「現在這樣，作為學術成果，其實剛剛好。」
「既展示了顛覆性的潛力，又留下了足夠的改進空間給後來人。」
「這，才是一篇頂級論文該有的樣子。」
他甚至可以預見，這篇論文一旦發表，將會養活多少嗷嗷待哺的ai方向研究生。
「《基於sl
（本章未完，請點擊下一頁繼續閱讀）