字节跳动做了一个大模型精品店

【CC博客】围绕大模型的创业热潮方兴未艾，百度、阿里、360等互联网巨头均已下场，张一鸣开始抓大模型的消息也传了许久，虽然字节跳动还没有发布通用大模型产品，但其在大模型上的布局一直在进行。

6月28日，字节跳动公布大模型业务最新进展，旗下火山引擎发布大模型服务平台“火山方舟”。这是一项针对B端的大模型业务，其运营模式是，火山引擎与大模型生产方合作，让它们在平台上提供大模型服务，企业可同步试用多个大模型，选用更适合自身业务需要的模型组合。火山引擎自己不做大模型。

图片来自火山引擎官网

本质上，火山方舟还是一个MaaS（Model-as-a-Service)平台，最终服务的是模型应用方，也就是广大企业客户。火山引擎智能算法负责人吴迪认为，火山方舟是一个精品店，里面是优选的大模型服务。

而就在一个多星期以前，腾讯公布了行业大模型研发进展，依托腾讯云TI平台打造行业大模型精选商店，为客户提供MaaS（Model-as-a-Service）一站式服务，助力客户构建专属大模型及智能应用。

更早之前，百度、阿里等大厂已经官宣伙伴计划和工具链，声称要让每一个行业都能够用上自己的大模型。

同为To B的大模型服务，意图都在加速大模型应用落地，火山方舟和腾讯等推出的行业大模型服务有何不同？

“大家首先理念就不一致。”火山引擎总裁谭待向CC博客等说到，“很多友商推出模型平台，模型是自己做的，模型平台是自己做的，各种体系也是自己做的，所以是很封闭的端到端。”“火山方舟是一个开放的MaaS，行业这些模型都可以放在上面。”

火山引擎多次强调自己不做大模型，却推出了大模型服务平台，内部是如何决定的？

为什么要做大模型服务平台？

根据谭待的讲述，他在过去半年接触了很多企业，绝大多数企业对大模型仍有困惑，不知道该如何使用。他认为，选择性价比合适的很重要。比如，有20个博士学位的人看上去很厉害，但是工资特别高，你要解一道小学数学题，可能并不需要这样的人。

谭待认为，企业使用大模型，未来可能会呈现“1+N”的模式，即通过自研或深度合作，形成1个主力模型，同时由于成本和场景复杂多元等原因，在主力模型之外，还会有N个模型同时应用。

“大模型市场未来的发展趋势一定是多云多模型，即少数超级大模型+多个大模型+更多个行业/垂类模型。”基于这样的判断，火山引擎要做的就是把平台做好。
火山方舟的多模型架构支持企业同步试用多个大模型，选用更适合自身业务需要的模型组合，并提供模型精调、评测、推理等多项服务。

目前，“火山方舟”已经集成了百川智能、出门问问、复旦大学MOSS、IDEA研究院、澜舟科技、MiniMax、智谱AI（以拼音首字母排序）等多家AI科技公司及科研院所的大模型，并已启动邀测，首批邀测企业分布在金融、消费、汽车等众多行业。

据悉，目前抖音集团内部已有十多个业务团队试用“火山方舟”，主要用于代码纠错等研发提效场景，文本分类、总结摘要等知识管理场景，以及数据标注、归因分析等方面。

如何服务好大模型企业？

话说回来，火山引擎自己没有从0到1做过大模型，要如何服务好大模型企业来做这件事？

谭待坦言，这个顾虑是有道理的，但好在我们现在从0到1服务了很多企业，所以不担心了。

今年4月，火山引擎发布大模型训练云平台，支持万卡级大模型训练、微秒级延迟网络。当时，谭待对外披露，火山引擎已经拿下国内70%的大模型玩家。

MiniMax作为合作方，在分享中表示，火山引擎这一套机器学习平台，已经部署到了MiniMax的文本、视觉、声音三个模态大模型训练和推理场景中。有稳健的大模型基础设施，MiniMax从零开始自主完整地跑通了大模型与用户交互的迭代闭环。

“因为在训练端和这些大模型企业建立了很强的合作关系和信任感，它们也愿意把推理放到火山上。”谭待表示，而训练和推理放在一起，可以大大节省企业的运营成本。

长期来看，模型的推理开销会超过训练开销，降低推理成本会是大模型应用落地的重要因素。吴迪补充说，“一个经过良好精调的中小规格模型，在特定工作上的表现可能不亚于通用的、巨大的基座模型，而推理成本可以降低到原来的十分之一。”

据吴迪介绍，火山方舟已经上线基于安全沙箱的大模型安全互信计算方案，利用计算隔离、存储隔离、网络隔离、流量审计等方式，实现了模型的机密性、完整性和可用性保证，适用于对训练和推理延时要求较低的客户。

在算力方面，据《晚点 LatePost》报道，字节跳动今年向英伟达订购了超过10亿美元的GPU。对于AI算力的储备情况，谭待回应称，“涉及商业机密，不方便披露。”

此前，火山引擎宣布与字节国内业务并池。基于内外统一的云原生基础架构，抖音等业务的空闲计算资源可极速调度给火山引擎客户使用，离线业务资源分钟级调度10万核CPU，在线业务资源也可潮汐复用。

字节通用大模型还在路上

虽然火山引擎不做大模型，但在研发大模型这件事上，字节是相当认真的，因为其创始人张一鸣非常重视AI相关产业。

早在2021年5月，张一鸣在内部信中表示，“大家更容易关注商业模式的变化和品牌渠道的更新，很少注意到技术变革已经在酝酿中。虚拟现实、生命科学、科学计算对人类生活的影响都已现黎明之曙光”。

2022年11月，AI聊天机器人ChatGPT横空问世，引发全球新一轮AI热潮，国内外科技巨头纷纷入局大模型。今年2月，36氪爆料，字节在大模型上已有布局，分别在语言和图像两种模态上发力。

其中，语言大模型团队由字节搜索部门牵头，目前团队规模在十数人左右。图片大模型团队则由产品研发与工程架构部下属的智能创作团队牵头。对此，字节方面承认技术中台在这些领域有探索，但还很初期，不成熟。

今年4月，张一鸣在2023公开信中强调，“字节跳动无法错过AGI。”他确信AGI是抖音TikTok在全球发现新的增长机遇不可或缺的伙伴，可以解决字节跳动的第二曲线增长困境。

为了研究大模型，张一鸣做了大量功课。今年5月，《中国企业家杂志》报道称，张一鸣最近在看OpenAI的一系列论文，并且常常读至深夜。他想搞明白，太平洋对岸究竟发生了什么。

几天后，张一鸣在香港成立了一家个人投资基金，名为Cool River Venture。据消息人士透露，该基金的主要投资方向是科技相关行业。

6月初，Tech星球消息称，字节正在内部测试一款AI对话类产品，目前暂时称作“Grace”，该产品处于测试完善的阶段。字节确认了这一消息，称Grace是一个AI对话类测试项目的内部代号，目前还处于初级阶段，仅用于内部体验测试。

由此来看，字节发布大模型产品只是时间问题。谭待表示，火山引擎不做大模型，字节内部其他团队如果做好了模型，也会放到火山方舟上，对外提供服务。