第1104章你說的這些,叫做大模型
第1104章你說的這些,叫做大模型(第2/3頁)
項目,不同的分工,不同的方向,都是由他進行分配。
也可以稱之為總工程師。
說到這裡,成文飛猶豫了一下,看了一眼陳星。
陳星也看出他似乎有什麼話要說,主動問道:“成教授,你加入紅星,那麼咱們就是一家人,有什麼話都可以暢所欲言的。”
“是方向有問題還是說其他的?”
聽到陳星這麼說,成文飛深吸一口氣,鼓起勇氣說道:“陳總,過去幾年我一直在想一個問題,目前大家都在做窄模型,也就是語音一套,做圖像另一套網絡,模型不能互相複用。”
(本章未完,請點擊下一頁繼續閱讀)第1104章你說的這些,叫做大模型(第2/2頁)
“做的都是大規模神經網絡、大型深度網絡、無監督預訓練網絡,準確的來說是先用大量無標註數據學通用特征,再拿少量標註數據適配具體任務,bengio、hinton都做過相關研究。”
“我就在想,那麼可不可以做一套巨型神經網絡底座,在海量無標註公開數據上做無監督預訓練,學習通用世界知識,之後不需要完整重訓,簡單適配,就可以處理語言、對話、圖像推理等大量不同任務。”
“它可以擁有巨大參數量、海量訓練語料、足夠強悍的並行算力,或者說我們這個模型不是為某一個單一功能寫死,而是先學常識,再去解決任務。”
“最後實現能自然對話、邏輯推理,接近人的認知。”
說完以後,成文飛觀察著陳星的表情,結果發現這位新老板臉上充滿了驚訝,於是趕緊補充道,“陳總,我知道現在不可能直接實現成品,這也隻是我的一個想法,但我們可以提前把所有底層基礎設施全部搭建完成。”
“這是我們長遠目標,目標。”
“現在可以為這個目標做好地基。”
陳星此時此刻內心處在狂喜之中,成文飛不愧是成文飛。
他說的是大規模神經網絡,大型深度網絡。
這些詞在未來有一個更加準確的稱呼。
叫做大模型!
2013年啊,成教授就已經有大模型的概念,通用模型的模糊概念了!
“不不不,成教授,你說的也是我想說的,我的設想就是構建一個規模足夠大的神經網絡,先用海量無標註數據預訓練,學習世界的通用表征,之後不需要全部重訓,隻做少量調整,就可以處理語言、對話、甚至圖像等多種任務。它不是agi完整的通用人工智能,但它是通向agi的一塊核心基石。”
“為了擁有這塊基石,我才邀請成教授你到紅星來的。”
“而你說的這些,可以稱之為大模型。”
成文飛此時也產生了一種異樣的感覺。
陳總好懂啊。
陳總好懂我啊。
這套理
(本章未完,請點擊下一頁繼續閱讀)