第43章一二十層樓那麼高
第43章一二十層樓那麼高(第2/3頁)
看組的公共空間，每天我會把我的經驗做上傳，包括boss的一些算法，和應用的註意事項我會上傳到我們組的代碼倉庫裡，你註意看。
那會節約你非常多的時間。”
自此，無休止的開始轉動了。
趙元任感覺自己就像是一個齒輪一樣。
（本章未完，請點擊下一頁繼續閱讀）第43章一二十層樓那麼高(第2/2頁)
他把文件分塊下載，然後打開查看，這才發現這些資料壓根不能直接用於訓練。
網頁裡充斥著導航欄，廣告，版權聲明，推薦鏈接之類的內容。
另外一篇文章可能被不同的網站轉載幾十上百次，標題隻是稍作修改，內容幾乎完全一致，百家號的泛濫導致去重工作是天量。
論壇帖子則有大量無意義的回複。
千禧年的回複，“我頂”、“沙發”、“路過”、“露珠好人”。
再加上中文文本本身的複雜度。
簡體繁體異體字混雜，全角半角符號不統一，網頁編碼錯誤會把一段正常文字變成亂碼。
火星文就不說了。
有些內容看上去是中文，實際上是機器翻譯的語句，語法正確，表達方式卻格外怪異。
種種問題堆疊在一起，趙元任找不到切入點。
這就好像已經被貓打亂的毛球，所有的線頭混在一起，你壓根找不到最初的那根線頭。
晚上十點，馬遼起身，“走？”
趙元任看了眼自己處理後的文本，數據量比上午減少了百分之四十，心想已經夠了，但他很快打開公共倉庫看了眼，顧彥平的已經清洗完了。
還寫了一篇文檔給他們看：“數據清洗第一天。”
他下意識道：“算了，馬裡奧，你先走吧，我再看看。”
“......彆指望靠規則去判斷內容質量，格式混亂的內容不一定就冇有價值，格式標準的內容也可能全是垃圾。
以這篇內容為例，這是標準的垃圾內容...”
接下來是舉例，一篇營銷軟文，前麵在講失眠危害，中間列幾個毫無意義的常識，最後開始推銷保健品。
“這種格式標準，如果按照我們過去的處理邏輯，那麼規則一定會認為它質量很高，然而事實是，這就是垃圾。
因此我們需要專門訓練一個分類模型，需要做數據標註。
分類模型，boss已經寫好了，大家可以看看，明天我們需要分出人手來做數據標註。”
趙元任把分類模型讀完之後，驚訝於模型的優美簡潔，更震驚於後續的工作。
要把全部語料抽樣，然後再組織人工進行質量評分，要分成十檔。
“走！”他看馬遼還冇有走，於是保存，關機，起身一氣嗬成。
“不得不說，老板的代碼寫的是真優美。”馬遼搖頭晃腦地吐槽道。
趙元任
（本章未完，請點擊下一頁繼續閱讀）