您现在的位置是:首页 > 人工智能人工智能
FlagEval大语言模型评测9月榜:Baichuan 2排名第一
cc博主2023-09-19【人工智能】193人已围观
【CC博客】9月19日消息,继SuperCLUE中文大模型评测基准8月榜单发布之后,国内又一权威评测体系FlagEval(天秤)公布最新9月榜单评测结果。
FlagEval(天秤)是北京智源人工智能研究院推出的大模型评测体系及开放平台,旨在建立科学、公正、开放的评测基准、方法、工具集,协助研究人员全方位评估基础模型及训练算法的性能。FlagEval 大语言模型评测体系当前包含6大评测任务,近30个评测数据集,超10万道评测题目。
据悉,在9月评测中,FlagEval进行了评测框架升级,细化「安全与价值观」与「推理能力」。依据最新版的能力框架,FlagEval 团队同步更新了智源自建的 Chinese Linguistics & Cognition Challenge (CLCC) 主观评测数据集题库v2.0,题目数量扩充3倍,采用“多人‘背靠背’评测+第三方仲裁”的方式保证评测结果的一致性。
基于最新 CLCC v2.0主观评测数据集,FlagEval(天秤)9月榜重点评测了近期大热的 7 个开源对话模型。从整体结果来看,Baichuan2-13b-chat、Qwen-7b-chat、Baichuan2-7b-chat名列前茅,准确率均超过 65%。
在基座模型榜单中,Baichuan 2、Qwen、InternLM、Aquila 的客观评测结果表现均超越同参数量级的 Llama 及 Llama2 模型。
在 SFT 模型榜单中,Baichuan2-13B-chat、YuLan-Chat-2-13B、AquilaChat-7B 名列前三。
另外,值得注意的是,在客观评测两个榜单中,Baichuan 2均表现出优异性能,基础模型测试在中英文领域均全面超越Llama2。
Tags:
相关文章
- 奇富科技联合信通院发布国内首个金融行业大模型标准
- 百纵科技 九月大促销 香港服务器钜惠 香港物理机 香港站群服务器 香港宿主机服务器 香港CN2服务器 香港母机 大促销
- 不上市,就完蛋?新能源车第二波IPO浪潮到来
- 传特斯拉与沙特在谈建厂,马斯克:完全是假的
- 消息称亚马逊计划聘用Panos Panay,让其负责Alexa和Echo等产品
- 越南电动汽车厂商VinFast二季度交付量9535辆,环比增长超500%
- 马斯克考虑向所有X用户收费
- 演员刘金因iPhone维修问题在苹果店前怒摔手机 并拒绝展示购买记录
- 苹果发布iOS 17正式版 iCloud+新增6TB/12TB套餐上线
- 微软AI研究人员意外暴露大量内部数据,因云存储链接配置错误
热门文章
- 香港VPS低至6折93元/年,全场8折,香港CN2,洛杉矶CN2 GIA,洛杉矶9929,洛杉矶CMIN2,日本大阪/东京IIJ,日本BGP,韩国BGP,英国伦敦AS9929住宅IP
- 知乎直答亮相“学术酒吧”开放麦,李开复、刘知远相聚“AI上头俱乐部”
- 低至4折,2核4GB内存VPS/GPU独服 $2.99/月起,GPU VPS/GPU专用服务器 $13/月起,物理专用服务器$29/月起,可免费试用
- RISC-V要成为「显性」技术,到了关键时期
- 美国/香港VPS年付99元起,双核/2GB/15GB SSD/500GB流量@100Mbps带宽
- MIT 热门研究:AI 工具“带飞”科研,但也严重加速内卷
- 国行 iPhone 16 相机控制也接入视觉智能了!可一键调用阶跃星辰智能助手「跃问」
- 英伟达CFO称Blackwell需求量惊人,已向合作伙伴发出1.3万个样片
- 视觉模型智能涌现后, Scaling Law 不会到头
热评文章
「11月24日」2024年V2ray/Clash/SSR/Shadowrocke澳大利裔日本免费节点
MIT 热门研究:AI 工具“带飞”科研,但也严重加速内卷
国行 iPhone 16 相机控制也接入视觉智能了!可一键调用阶跃星辰智能助手「跃问」
知乎直答亮相“学术酒吧”开放麦,李开复、刘知远相聚“AI上头俱乐部”
黄仁勋亲述创业故事:两次都差点倒闭
低至4折,2核4GB内存VPS/GPU独服 $2.99/月起,GPU VPS/GPU专用服务器 $13/月起,物理专用服务器$29/月起,可免费试用
RISC-V要成为「显性」技术,到了关键时期
香港VPS低至6折93元/年,全场8折,香港CN2,洛杉矶CN2 GIA,洛杉矶9929,洛杉矶CMIN2,日本大阪/东京IIJ,日本BGP,韩国BGP,英国伦敦AS9929住宅IP
英伟达SC24六大技术亮点,不止加速超算500强
美国/香港VPS年付99元起,双核/2GB/15GB SSD/500GB流量@100Mbps带宽