第1481章合作伙伴陆续加入
第1481章合作伙伴陆续加入(第2/3页)
讲述一个与自己没有关系的故事。
“字节这边,大方向是顺利的,但过程里确实遇到了一些问题。”
他停顿了一下,组织了一下语言:
“字节的团队对鸿蒙的技术能力其实很认可。
他们派了一个算法团队跟我们对接,花了三天时间测试鸿蒙的端侧推理能力——就是在大模型在手机本地运行的能力。
(本章未完,请点击下一页继续阅读)第1481章合作伙伴陆续加入(第2/2页)
测试结果出来之后,字节的人说:‘在鸿蒙上跑推荐模型,延迟比安卓低百分之十五。这种性能提升,值得专门做适配。’”
“但是,”他话锋一转:
“测试过程中发现了一个问题。
鸿蒙的端侧推理框架和字节的推荐模型之间存在一些兼容性偏差,导致在某些边缘场景下,推荐结果的准确性比安卓低了大概百分之八。
这个偏差虽然不大,但对字节来说是不能接受的。
他们的核心竞争力就是推荐算法的精准度。”
左梦安皱眉:“这个问题严重吗?”
“说严重也严重,说不严重也不严重。”陈默坦诚地说。
“严重在于,这个问题如果解决不了,字节就不可能把核心推荐能力迁移到鸿蒙上。
不严重在于,这不是底层架构的问题,而是接口层的适配问题。
我们的端侧推理框架和字节的模型之间需要做一层适配优化,把这个百分之八的偏差抹掉。”
“那现在解决了吗?”郑非问。
“技术层面已经有方案了。”陈默说。
“我们的工程师和字节的算法团队一起分析了问题根因,发现是鸿蒙的npu调度策略和字节模型的内存访问模式不匹配。
我们在开发环境里跑了一个优化版本,把偏差从百分之八降到了百分之三以内。
但百分之三还是不够,字节的要求是百分之一以内。”
“所以还需要进一步优化?”徐平问。
“对。”陈默点头:
“我们这边已经在做第二版优化方案,预计两周内能出结果。
但说实话,这种底层的适配优化,光靠远程沟通效率太低了。
两边的工程师隔着屏幕调参数,很多问题说不清楚。
所以我打算下周带队去一趟帝都,到字节的总部去,跟他们的算法团队坐在一起,面对面地把这个问题彻底解决。”
郑非看了他一眼:“你亲自去?”
“对。”陈默点点头,说道:
“字节是鸿蒙生态里最关键的拼图之一。
抖音、今日头条、西瓜视频、番茄小说......这些应用的用户量加起来超过十个亿。
如果字节的推荐能力在鸿蒙上跑不出最佳效果,用户的感知会很明显。
这个问题必须彻底解决,不能留尾巴。”
徐
(本章未完,请点击下一页继续阅读)