百度CTO王海峰:文心一言用户规模、日均调用量均已达2亿
4月16日,以“创造未来”为主题的Create 2024百度AI开发者大会在深圳国际会展中心举办。
图片来源于网络,如有侵权,请联系删除
自去年3月16日发布知识增强大语言模型文心一言以来,百度不断迭代升级文心大模型,技术创新不断,从知识增强、检索增强,进一步发展出知识点增强;基于更大的算力、更多的数据和更强的算法,依托飞桨平台,从文心3.0、3.5,到4.0,文心大模型能力愈加强大,效果和性能全面提升。
图片来源于网络,如有侵权,请联系删除
百度首席技术官王海峰表示,智能体是重要的发展方向,会带来更多的应用爆发。智能体是在基础模型上,进一步进行思考增强训练,包括思考过程的有监督精调、行为决策的偏好学习、结果反思的增强学习,进而得到思考模型。智能体的思考模型像人一样,会阅读说明书,学习工具的使用方法,还可以调用工具来完成任务。
从万亿级训练数据中,文心大模型既学到了自然语言的能力,也学到了代码能力,打通从思考到执行的过程。基于文心大模型的这两种能力,百度开发了代码智能体和智能代码助手。王海峰表示:“代码智能体,让大家都能做之前只有程序员才能做的事,人人都可以成为程序员;智能代码助手,则帮助专业的程序员更高效地写出更好的代码,可以说是程序员的AI同侪。”
代码智能体是在“用模型写代码让复杂的任务变简单”,思考模型加上代码解释器,构成了代码智能体。首先,思考模型理解用户需求,经过思考,把完成任务的指令和相关信息整合成提示,输入给代码解释器;然后,代码解释器根据提示,把自然语言表达的用户需求翻译成代码并执行,得到执行结果或者调试信息;接着,思考模型对代码解释器的执行结果进行反思确认,如果正确,就把结果返回给用户,不正确就继续进行自主迭代更新。
大会现场,王海峰进一步透露,在模型效果不断提升的基础上,百度进一步构建了上下文增强、私域知识增强、流程无缝集成等能力。目前智能代码助手Comate整体采纳率达到了46%,新增代码中生成的比例已经达到了27%。Comate把代码理解、生成、优化等能力无缝集成到研发流程的各个环节,就像助理一样,帮助提升代码开发质量和效率。
王海峰现场还分享了多模型技术。他表示,在大模型应用落地过程中,效果,效率和成本都很重要。在实际应用中,需要从场景需求出发,选择最适合的模型。一方面,是高效低成本的模型生产;另一方面,是多模型推理。高效低成本模型生产方面,百度研制了大小模型协同的训练机制,可以有效进行知识继承,高效生产高质量小模型,也可以利用小模型实现对比增强,帮助大模型的训练。同时,建设了种子模型矩阵,数据提质与增强机制,以及从预训练、精调对齐、模型压缩到推理部署的配套工具链。高效低成本模型生产机制,助力应用速度更快、成本更低、效果更好。多模型推理方面,百度研制了基于反馈学习的端到端多模型推理技术,构建了智能路由模型,进行端到端反馈学习,充分发挥不同模型处理不同任务的能力,达到效果、效率和成本的最佳平衡。
除了智能体、代码和多模型技术,文心大模型在其他方面也持续创新,包括基于模型反馈闭环的数据体系、基于自反馈增强的大模型对齐技术,以及多模态技术等。王海峰现场公布,文心大模型4.0的效果持续提升,发布后的半年时间,又提升了52.5%。
文心大模型的持续快速进化,得益于百度在芯片、框架、模型和应用上的全栈布局,尤其是飞桨深度学习平台和文心的联合优化。文心大模型的周均训练有效率达到98.8%,相比一年前文心一言发布时,训练效率提升到当时的5.1倍,推理105倍。截至目前,飞桨文心生态已凝聚1295万开发者,服务24.4万家企事业单位,基于飞桨和文心创建89.5万个模型。
王海峰表示,文心一言累计用户规模已达2亿,日均调用量也达到了2亿,高效满足了用户工作、生活和学习需求。
最后,王海峰介绍了百度AI人才计划的最新进展,百度在2020年提出了5年为全社会培养500万AI人才,目前这一目标已提前达成。他表示,“未来,我们将继续投身人才培养,让人才的点点星光,汇成璀璨星河。智能时代,人人都是开发者,人人都是创造者,让我们一起,创造美好未来。”
【责任编辑:周靖杰】扫描二维码推送至手机访问。
版权声明:本文由发布,如需转载请注明出处。