商汤大模型的「5o」交互，普通人如何和 AI 过一天？

「雷峰网(公众号：雷峰网)」在刚刚结束的堪称「AI 界春晚」的世界人工智能大会（WAIC 2024）上，「中国版GPT-4o」亮相，它是来自商汤科技发布的“日日新5o”——国内首个「流式交互」多模态大模型。

在商汤的演示下，日日新5o拥有像人一样的实时视觉能力，可以跟人进行流畅的视频交互——能听、能说、能看、无延时，它可以通过摄像头+语音实现和用户的实时交互，并获知用户所在的真实场景下的各种状态信息，打破了与AI交互的次元壁，实现了与AI的“视频通话”，已经具备真人聊天般的交互体验。

两个月前OpenAI推出了GPT-4o，以突破性的智能交互能力，彻底颠覆了我们对AI语音助手的认知，颠覆了过去的人机交互，给业界带来又一次震撼。

震撼之外，中国大模型界对GPT-4o的认知似乎并不如GPT-4那么统一，有人认为「在实现AGI的路上，GPT-4o并不重要」、有人评价「在技术突破上，GPT-4o没那么惊艳」；有人认为GPT-4o的发布是 AI 2.0 时代的标志性事件，会催生全新的应用平台和商业模式。

带来的共识是，多模态可能引领新的交互模式和产品创新，多模态大模型开始成为国内大模型竞争的下一个焦点。

然而，在国内GPT-4o似乎并未成为引领多模态竞争的产品形态时，两个月后商汤率先推出了「中国版GPT-4o」日日新5o大模型，商汤用行动力证明了对GPT-4o的判断。

正如商汤 CEO 徐立在WAIC 2024上所讲的：「行业要变化，交互模式一定是先行的」，解释了商汤为什么要做「中国版GPT-4o」，首创流式交互大模型。

1 大模型可以是每个人的贴身AI全能助手

如果你拥有一个能看（现实世界）、能听（读懂指令）、能说（回答问题）的贴身 AI 助手，将会是一种什么体验？

这位贴身助手，拥有丰富的多领域知识，包括生活、学习、工作各方面的知识，关键还能看懂现实世界——摄像头就是它获取现实世界影像的眼睛，而视觉触及到的信息，它能立马进行分析、总结，通过实时对话，像面对面聊天一样，立即告诉你问题的答案，没有延迟和拒绝。

早上起来，准备出门，你想知道现在外面的天气应该做哪些准备，日日新5o可以准确地描述出外面的天气状况，并给出外出准备的建议：

走到一处很美的地方，你想拍照，但是不知道用什么姿势拍出来好看，日日新5o开始充当一个摄影助手，它会指导你如何根据当前景色摆姿势动作、注意光线等等技巧：

晚饭是一顿烧烤，大家一起搭起炭火炉、燃起炭火准备烧烤，日日新5o能准确地知道视频里的人们正在干嘛，而且还能告诉详细的户外烧烤注意事项：

你想知道每种食材分别要如何烧烤才好吃，此时日日新5o化身为一名拥有多年烹饪经验的烧烤大师，它能分辨出每种食材、要如何烤：

回到酒店，你看到一袋咖啡，询问日日新5o后它能识别出这是咖啡粉而不是速溶咖啡，并告诉你咖啡粉对应的冲泡步骤，宛如一个咖啡师：

日日新5o不仅拥有大量、多领域的生活方面的知识，在日常生活场景中分别充当了发型助手、摄影师、烧烤大师、咖啡师……在职场工作环境中，也是一把好手，比如能迅速地总结出这本书该页讲了什么知识。比人的反应、分析、总结速度快多了：

面对一张手写的字条或诗句，它也能立马回答出它的意思和出处：

还能根据前三个字，准确预测出整个成语是什么：

从以上可以看到，日日新5o具备非常丰富的多领域知识，相比其他AI助手，它能看、能听、能读，首创的实时流式交互方式，使其具备真人般的交流对话；能精准地分析、辨别、总结出所「看到」的环境信息，在我们的生活、学习、工作中可以扮演多种助手角色，完全可以充当一款 AI 全能助手。

2 重塑交互的意义

日日新5o能作为一款表现出色的 AI 全能助手，除了展示出了它对标GPT-4o的各种能力：能看到那个现实世界，包括人、物、文字等符号；能听懂用户的话语，并根据其中的指令对现实世界进行识别，再反馈给用户；能看书识字，概括总结所讲的内容……

最大的变革就是交互模式的变化：国内首个流式交互多模态大模型。商汤将流式交互融入到大模型中，给用户带来真人般的交流体验，让日日新5o系统更像人。

我们知道，在人工智能发展中，ChatGPT之所一炮而红，便是因为它开始展露出人类所具备的自主学习、分析、总结能力以及逻辑能力，而让大模型像人一样交流，正如引言所说，交互模式先行似乎并不是业界共识。

而商汤的日日新5o的发布，正是符合商汤对AI 2.0时代的判断，正如CEO徐立所说：行业要变化，交互模式一定是先行的。

在徐立看来，变化是指能定义AI 2.0时代的「超级时刻」，正如iPhone时刻定义了移动互联网的变化。而超级时刻需要一个超级应用，即便是像ChatGPT、Sora都还没有到超级时刻，是因为它们没有真正走进到一个行业的垂直应用中、引起广泛变化。

走向应用，商汤认为需要有几个核心的重点突破：

第一个就是实时的交互性能带来流畅的用户体验，这是推动超级时刻以及应用爆发的一个核心。

第二是构建高阶思维逻辑的合成数据，来提升模型的智力。

最后，不管是文本、图像、视频，如果对它没有可控性，那么它们作为一个工具，本身带来的效能提升就非常有限。

大模型本质上是做记忆的事情，记住世界的知识，就能回答的更准确，在徐立看来，它仅有的一点智力来自于对知识背后的高阶的思维逻辑的记忆，所以，在垂直行业里面怎么构造高阶思维逻辑的合成数据，往往是制胜的关键，并且是差异化的关键，也是中国人工智能之路的关键。

商汤最新发布的日日新5.5基座模型，便用了大量的合成、高阶思维链的数据，把模型能力平均提升了30%。

商汤CEO徐立认为，如果要推动人工智能超级时刻的到来，需要大模型可以展现出卓越的深度思考的能力。那么合成的人工数据，特别是高阶思维的数据往往是非常重要的。所以越是有应用的场景，才能形成更好的高质量的数据的一些核心。

过去垂直领域是依赖人去构建更加高级的思维链数据，但是商汤认为，往前一步，不应该依赖人，而是应该通过跟真实世界的交互形成执行数据，去做推理。

因此，基于基座模型日日新5.5，商汤研发了日日新5o流式交互多模态大模型，在摄像头不停地移动过程中、跟真实世界互动获取更多新的信息，去进行推理、再得出反馈。

日日新5o的各种功能离不开基座模型日日新5.5的支撑。今年4月发布的日日新5.0是国内首个对标GPT-4 Turbo的大模型，经过两个多月技术迭代，日日新5.5实现了多项功能升级，在数学推理、英文能力、指令跟随等能力上明显增强，交互效果和多项核心指标可比肩GPT-4o。

徐立认为，如果能把这种流式交互多模态大模型置入眼镜、手机、电脑等端侧设备，可能会推动一些应用的爆发。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。