第10章忽悠傻了
第10章忽悠傻了(第2/3頁)
節約時間。
我覺得這是非常具備可行性的方案，給他一點機會未嘗不可。
你也說過，大部分時候求穩，但當機會出現的時候，該賭就得賭。”
趙立明被氣笑了：“我是讓你該賭的時候就賭，但你看看他背景，唯一有可信度的背景是來自伊戈爾·巴布什金的背書，還隻是遠程聊過。
他冇有去矽穀，冇有在deepmind工作，也冇有在推特工作。
背書力度太弱了，你明白嗎？
另外，你以為用gpt的數據來訓練是什麼很了不起的方案，是什麼天才的靈光一閃。
那是因為你了解的太少，你冇有從事這一行，你在江城科技大學學的是四十年前的數據結構和c語言。
你冇有關註開源社區的前沿動態。
華盛頓大學和艾倫人工智能研究所在chatgpt發布的第一時間就發表了論文，論文名字叫self-instruct。
你所謂的用gpt數據訓練隻是一句話，人家已經寫成論文，並且進行了實驗。
self-instruct的核心內容就是讓大模型自己生成自己的訓練數據。
他們把方法都公布了，一個迭代的過程。
先準備一小批人工寫的指令，這些作為例子來引導模型生成新任務。
用當前模型提示它生成新的、更多樣的指令。
比如給它幾個種子例子，讓它發明新任務。
為每個新指令生成輸入和輸出。
對生成的指令，再讓模型生成對應的input和 output。
這樣就得到一條完整的instruction、input和output三元組。
過濾低質量數據，用啟發式規則自動過濾無效的任務、與已有任務重複度太高的、輸出質量差的。
把過濾後的高質量數據加回任務池，可以繼續迭代生成更多數據。
最後用這些合成數據對原始基座模型進行監督微調。
你以為的靈光一閃，人家早就想到了並且實踐落地了。
你以為自己發現了天才，殊不知人家可能隻是比你懂得多一點呢！
你以為他有知識，可能他隻是有知道呢？”
（ps：上述是yizhong wang在2022年12月20日掛在arxiv上的論文，論文全稱：self-instruct: aligning language models with self-generated instructions，也是蒸餾方法的開創者。
其中艾倫人工智能研究院是由微軟聯合創始人保羅·艾倫於2014年創立的一家專註於人工智能前沿研究的機構。）
在江城大學湖濱七舍被室友們吹上天的陳神，在江城富人區的彆墅裡，在趙立明
（本章未完，請點擊下一頁繼續閱讀）