第165章重啟SLRM研究一
第165章重啟SLRM研究一(第3/3頁)
分方程來建模連續深度的神經網絡，數學上極其優雅，但在處理大規模離散數據時，效率和穩定性都遠不如傳統的resnet。
還有無數試圖挑戰transformer霸主地位的新架構，如reformer丶linformer丶performer……它們在特定的benchmark上或許能跑出漂亮的分數，但在通用性和擴展性上，往往因為各種各樣的工程問題而被拋棄。
學術界的「sota」（stateoftheart，當前最佳），往往是在特定的數據集丶特定的超參數設置下跑出來的「實驗室產物」。而工業界需要的，是魯棒性丶可擴展性丶低延遲丶低成本的「工程化產品」。
在實驗室裡跑通一個demo，和在工業界部署一個能服務億萬用戶的產品，是完全兩個維度的挑戰。你需要解決並發問題丶延遲問題丶成本問題……你需要說服投資者相信這個技術能賺錢，你需要講好一個性感的商業故事。
……