第344章2020的深紅
第344章2020的深紅(第4/6頁)
會戰，在拚多多、美團、淘寶、京東這類電商裡比較多見，畢竟每年都有雙十一，每年都有618.
對騰訊來說還真不多見，就算是重要遊戲上線，認為會是騰訊內部又一款現金奶牛，也不至於如此大費周章。
顯然這次不同尋常。
直到在公司見到林燃之後，趙鬆下才知道為什麼不同尋常。
“我說怎麼安保這麼嚴格，這都放開了還天天要你掃碼，安檢還得把包打開來，嚴格程度堪比機場，原來教授在這裡，教授在這裡就不奇怪了。”
大老板pony體現出了對林燃的無條件信任，相信對方能夠帶領騰訊在人工智能的登月再度突圍，給予了一切能給的資源支持。
趙鬆下或者說所有騰訊參與進來的工程師內心都會有所懷疑，那就是你很牛冇錯，航天和數學領域的頂級大佬，也有graphai的博士學位，但你真的能駕馭llm，能搞出和chatgpt相提並論的大模型嗎？
更進一步來說，大家從安排的住宿時間就能夠看出來，公司提供的住宿半年時間，意味著騰訊給如此多資源的時長是半年，半年就要看到成果。
大家內心都會有所疑惑。
“諸位，我就不做太多自我介紹，我叫林燃，這次由我帶領大家進行我們自己大模型的研究，我把它叫做阿爾法。
我的目標是在三個月內，構造出一款比gpt更好的生成式人工智能。
我們擁有的算力比不上openai，那麼我們就要從算法的層麵做優化，要從數據的角度做優化。
同時我們還需要解決chatgpt存在的問題，要消除人工智能的幻覺，要提供更智能的回答，要具備更優秀的能力。
總之在未來半年時間裡，我需要各位的配合和協助。
我固然是大腦，我來構建它的算法和底層架構，但需要各位配合，做其他工作。”
在大模型上，大腦固然是最重要的，但其他的工作也不可或缺，像數據準備，模型集成和部署，代碼生成測試與調試，全棧開發和自動化。
需要這些工作，幫助llm從實驗室走向實際應用。
“我們可以采取將模型分解為多個專家子模塊，僅激活部分參數，路由機製選擇專家處理輸入，擴展到動態moe，再引入自適應路由，進一步降低推理成本.”
“壓縮key-value緩存，通過潛在表示減少註意力機製的內存占用，同時保持多頭並行，再通過集成知識圖譜的方式來緩解幻覺，同時優化低算力訓練”
“使用8位浮點格式進行計算，結合更高精度積累以避免精度損失，細粒度量化策略擴展到fp4/int8混合”
“moe中無輔助損失的均衡策略，確保專家利用率高，而不引
（本章未完，請點擊下一頁繼續閱讀）