腾讯这个重量级玩家终于出手了。
上个星期,国内首批大模型备案获批,开始面向全社会开放服务,大模型正式进入了规模应用的新阶段。在前期发布应用的行列中,有些科技巨头似乎还没有出手。
很快到了 9 月 7 日,在 2023 腾讯全球数字生态大会上,腾讯正式揭开了混元大模型的面纱,并通过腾讯云对外开放。
作为一个超千亿参数的大模型,混元使用的预训练语料超过两万亿 token,凭借多项独有的技术能力获得了强大的中文创作能力、复杂语境下的逻辑推理能力,以及可靠的任务执行能力。
腾讯集团副总裁蒋杰表示:「腾讯混元大模型是从第一个 token 开始从零训练的,我们掌握了从模型算法到机器学习框架,再到 AI 基础设施的全链路自研技术。」
打开大模型,全部都是生产力
腾讯一直表示在大模型的相关方向上早已有所布局,专项研究一直有序推进。
这个不是「新技术」的大模型是什么级别?在大会上蒋杰通过直接询问混元大模型的方式透露了一些基本信息,它的参数量是千亿级,训练用的数据截止到今年 7 月份,此外腾讯也表示大模型的知识将会每月更新。
腾讯在现场展示了「腾讯混元大模型小程序」、腾讯文档中的 AI 助手以及腾讯会议 AI 助手的能力。
机器之心第一时间获得测试资格尝试了一番,首先是微信小程序。
一进小程序,我们发现其中的内容不亚于其他家大模型产品的独立 APP。这里有一个「灵感发现」,看看混元都能做些什么:
从生产力、生活、娱乐到编程开发,它开放的能力可谓非常全面了,符合一个千亿级大模型的身份。那么混元真的能有效地完成这些任务吗?
我要写一份 PPT,只想好了主题却不知从何写起,问一下混元大模型。只需几秒,AI 就给了一份分出七个部分的大纲,每一部分里也包含细分的点:
输入一篇 arXiv 上 9 月份谷歌提交的论文《RLAIF: Scaling Reinforcement Learning from Human Feedback with AI Feedback》摘要和介绍部分,长长的好几段,很多大模型根本不支持这么多输入内容,混元大模型直接进行了总结顺便翻译成中文。
大概意思是在说,大模型训练中人类反馈的强化学习(RLHF)也是可以被 AI 替代的?
一个到了实用阶段的大模型,是可以帮我们写代码的。现在我们给 AI 一段代码,让它解释一下其中看不懂也没有注释清楚的内容:
它详细解释了平方根倒数算法里面数字的意义(不过对注释理解得不太透彻)。或许过不了多久,我们做开发的时候就离不开大模型了。
然后是腾讯文档。很多人已经把 GPT-4 等大模型工具用在了自己的工作流程中,混元大模型在腾讯文档推出的智能助手功能中已有应用。在 PC 端新建智能文档,输入 “/”,就能根据需求实现内容生成、翻译、润色等操作。
随后输入自然语言指令,大模型的生成能力就可以帮你在腾讯文档中进行长文本总结归纳:
看起来会对写论文很有用。
当然,如果你给出了一个主题,它能进行文本创作,你再选定生成内容的一部分,AI 也可以多次细化编辑。写完了还能一键翻译:
此外,表格的数据计算和图表生成也都是一句话的事。
目前这些功能正在内测阶段,将在成熟后面向用户开放。
混元大模型在腾讯会议中的应用可以帮助一时走神的你。比如在会议进行当中,你可以随时问 AI 助手刚才发言的人说了些什么,或是刚才那两个人到底在争论些什么,AI 可以悄悄把内容帮你总结成一小段话,列出清楚的一二三条来。
当然,会开完以后混元大模型也可以更快更全面地总结会议内容,标注好待办事项。
已覆盖腾讯超过 50 个业务
蒋杰总结了混元大模型的三大特点:具备强大的中文创作能力、复杂语境下的逻辑推理能力以及可靠的任务执行能力。
目前不少业内大模型在场景中的应用依然有限,主要问题集中在容错率高,只适用于任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新,提高了模型可靠性和成熟度。
腾讯集团副总裁蒋杰在活动中。
针对大模型容易「胡言乱语」的问题,腾讯优化了预训练算法及策略,通过自研的「探真」技术,让混元大模型的「幻觉」相比主流开源大模型降低了 30-50%。
「业界的做法是提供搜索增强,知识图谱等『外挂』来提升大模型开卷考试的能力。这种方式增加了模型的知识,但在实际应用中存在很多局限性,」蒋杰表示。「混元大模型在开发初期就考虑完全不依赖外界数据的方式,进行了大量研究尝试,我们找到的预训练方法,很大程度上解决了幻觉的问题。」
腾讯还通过强化学习的方法,让模型学会识别陷阱问题,通过位置编码的优化,提高了模型处理超长文的效果和性能。在逻辑方面,腾讯提出了思维链的新策略,让大模型能够像人一样结合实际的应用场景进行推理和决策。
腾讯混元大模型能够理解上下文的含义,具有长文记忆能力,可以流畅地进行专业领域的多轮对话。除此之外,它还能进行文学创作、文本摘要、角色扮演等内容创作,做到充分理解用户意图,并高效、准确的给出有时效性的答复。这样的技术落地之后,才能真正提升生产力。
写一篇 4000 字的内容,GPT-4 也达不到要求,混元大模型可以做到。
在中国信通院《大规模预训练模型技术和应用的评估方法》的标准符合性测试中,混元大模型共测评 66 个能力项,在「模型开发」和「模型能力」两个领域的综合评价获得了当前最高分。在主流的评测集 MMLU、CEval 和 AGI-eval 上,混元大模型均有优异的表现,特别是在中文的理科、高考题和数学等子项上表现突出。
构建大模型的意义在于行业应用。据了解,腾讯内部已有超过 50 个业务和产品接入并测试了腾讯混元大模型,包括腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ 浏览器等,并取得了初步效果。腾讯的程序员们,已经在用大模型工具提高开发效率了。
此外,腾讯还通过自研机器学习框架 Angel,使模型的训练速度相比业界主流框架提升 1 倍,推理速度比业界主流框架提升 1.3 倍。
用于构建大模型的基础设施也没有拉下。此前腾讯曾表示已于今年年初构建了大规模算力中心,近期 MiniMax 和百川智能旗下的大模型都使用了腾讯的算力。
腾讯也在致力于把行业数据与自身能力相结合,基于外部客户的行业化数据来解决行业特定问题,与实体行业结合,不断推动大模型的社会、经济利益和商业价值。
「根据公开数据显示,国内已有 130 个大模型发布。其中既有通用模型也有专业领域模型。混元作为通用模型能够支持腾讯内部的大部分业务,今天我展示的几个深度接入的业务都有很大的用户量。大模型已在我们的核心领域获得了深度应用,」蒋杰说道。「我大模型首先是服务企业本身,其次是通过腾讯云对外开放。」
在开放给客户使用时,混元大模型将作为腾讯云模型即服务 MaaS 的底座。客户既可以直接调用混元 API,也能将混元作为基座模型,为不同的产业场景构建专属应用。
可见,腾讯在大模型领域的策略讲究的是一个稳字:专注打好基础,不急于拿出半成品展示。而这一出手,就展现出了过硬的实力。
不过大模型的发展还在继续,正如蒋杰所言:「毫不夸张地说,腾讯已经全面拥抱大模型。我们的能力一直在演进,相信 AIGC 的潜力是无限的,我们已在路上。」