第1745章一句话点醒了贾瀞雯
第1745章一句话点醒了贾瀞雯(第3/3页)
前说的——第一版可以粗糙，但要快。
“我懂了。”她说，“先解决有没有，再解决好不好的问题。”
“对。”陈浩笑了，“明天就这样跟团队说。
集中力量扩大爬虫规模，优化抓取效率，把收录量做上去。
至于速度和准确率，暂时放一放。”
电话打了半个多小时。
挂断时，贾瀞雯觉得心里踏实了很多。
她打开灯，拿出笔记本，开始写新的工作计划。
第二天开会，她把陈浩的策略传达给团队。
“陈总说，我们现阶段的目标是收录量。”贾瀞雯在白板上写下“十万网页”四个字，“三周时间，把收录量从一万做到十万。”
李明眼睛一亮：“这个思路对！现在我们总是纠结算法优化，但数据量太小，优化了也看不出效果。
先把数据堆上去，再谈怎么用好这些数据。”
张涛也点头：“爬虫部分其实可以改进。
我们现在是单线程抓取，太慢。
可以改多线程，同时抓多个页面。
还可以优化去重算法，减少重复抓取。”
“索引结构也要调整。”王磊说，“数据量大了，现在的结构肯定撑不住。
得设计新的存储方案。”
团队重新有了方向。
当天下午，他们就开始分工：李明负责优化爬虫，张涛改进索引结构，王磊和其他两人处理数据存储和服务器扩展。
【跪求礼物，免费的为爱发电也行！】