您现在的位置是:首页 > 人工智能人工智能
彩云科技DCFormer模型架构发布,效率是Transformer的两倍!
cc博主2024-05-24【人工智能】117人已围观
自2017年Transformer架构诞生之后,到现在为止其仍然是人工智能领域研究和应用的基础,鲜少有团队能够在最底层架构上进行一些变革和开发且做出较大的成效。一方面是由于Transformer确实好用;另一方面,在最底层上做突破并非易事。
然而,彩云科技是那个反共识者。2024年5月22日,彩云科技发布了全新通用模型结构DCFormer,其相关论文《Improving Transformers with Dynamically Composable Multi-Head Attention 》(https://arxiv.org/abs/2405.08553)将在第41届国际机器学习大会ICML 2024正式发表。
在论文中,彩云科技实验证明了在三千亿级训练数据和70亿级模型参数量下,DCFormer效率是Transformer的两倍。据一位评委透露,今年录用论文的平均分为4.25-6.33,而彩云科技团队的论文获得平均7分的高分。
ICML是国际机器学习领域的顶级会议,能够发表论文的中国初创企业屈指可数。彩云科技证实,其大模型结构DCFormer可以达到1.7~2倍算力的Transformer模型的效果,即算力智能转化率提升了1.7~2倍。在众多NLP下游任务和图像识别任务上的测评也验证了DCFormer的有效性(详见论文表格)。
DCFormer对性能算力比的提升幅度超过自2017年Transformer诞生至今被证明最普适有效并被广泛采用的两项结构改进的提升幅度之和(同时应用这两项改进的Transformer架构也叫Transformer++,如Llama)。而且随着模型规模的增大,DCFormer的提升越来越大(左图下的蓝线和绿线),而Transformer++的提升越来越小(左图下的黑线)。可以说,DCFormer让Transformer的能力又跃上一个新台阶。
彩云科技CEO袁行远说:"如果底层模型没有突破,人工智能的进步终将停滞不前。人人都说神经网络是个黑盒,我们需要勇气和耐心打开这个黑盒,通过分析模型运转原理,我们才能知道智能的本质规律,从而可以改进模型,提高模型的运行效率。"雷峰网(公众号:雷峰网)雷峰网雷峰网
通用大模型DCFormer将Transformer效率提升了两倍,这意味着什么?袁行远解释说:"如果 GPT-4o 能够用上DCFormer,推理一次128k上文的成本,就可能从4元变成2元。而且DCFormer 模型越大,效果越好,考虑到ChatGPT的巨大参数量,DCFormer可能在千亿、万亿模型上效果更好,因此价格甚至可能下降到1.5元、1元。Meta的100亿美元显卡训练的模型,可能50亿美元就能够用。"解开智能的科学的奥秘,实现通用人工智能——这是彩云科技10年以来孜孜不倦追求的目标。基于此,彩云科技在Github上开源了DCFormer的模型代码、权重和训练数据集(https://github.com/Caiyun-AI/DCFormer),将该模型开源给全世界。
未来彩云科技会将全新大模型DCFormer应用于旗下三款杀手级app,并将进一步发展彩云小梦,加速提升AI续写能力。袁行远说,"AI交互是前所未有的交互形式,也因此让我们有机会在AI的帮助下,建立每个人自己的'次元宇宙',而DCFormer大模型将加快这一进程。我们希望能够通过彩云小梦,帮助更多人实现现实生活中无法实现的梦想。"
雷峰网版权文章,未经授权禁止转载。详情见转载须知。
Tags:
相关文章
- 5.31·上海丨华东师大上海人工智能金融学院正式成立!MIT教授Max Tegmark与5 位院士、12 位 人工智能金融顶尖专家齐聚上海,共探 AI-Fin 新机遇
- 华为下载飞机中文版软件_华为手机怎么下载小飞机英语
- telegeram官网入口为什么进不去_telegram official website
- telegeram官网是什么_telegeram官网版下载安装
- telegeram语言设置_telegran怎么设置中文
- trc20钱包是哪里开发的的简单介绍
- telegeram灰色_telegeram灰色版本2024
- telegraph官网入口_telegraph官网入口ios
- 目前中国还可以发电报的地方_目前中国还可以发电报的地方是哪里
- Teleram下载_telegeram下载最新版本
热评文章
9月最新高速15.8M/S免费节点分享,公益SSR/V2ray/Shadowrocket/Clash节点/小火箭订阅链接(2024/9/1)
2024最新酸酸乳ssr节点账号分享网站,永久v2ray机场更新(9/4)
最新小火箭shadowrock免费节点,V2Ray机场订阅地址及免费服务器账号(2024/9/6)
tele验证码_tele验证码号码
telegeram养号技巧_telegram更换设备登录
abc加速器安卓下载_abc加速器 testflight
电报怎么设置汉字_电报怎么设置汉字2021
手机vps搭建教程下载安装_手机如何自己搭建vps上外网
加速器国外梯子免费_梯子免费加速器永久免费版
telegraph下载慢_telegraph下载ios