腾讯发布开源MoE大语言模型Hunyuan
发布时间：2024-12-27 14:44:48 作者：玩站小弟 
我要评论
我要评论11月5日消息，腾讯今日宣布推出业界参数规模最大、效果最好的开源MoE大语言模型Hunyuan-Large。Huanyuan-large模型的总参数量为389B、激活参数为52B、训练token数量为
。
11月5日消息，腾讯腾讯今日宣布推出业界参数规模最大、发布效果最好的开源开源MoE大语言模型Hunyuan-Large。
Huanyuan-large模型的模型总参数量为389B、激活参数为52B、腾讯训练token数量为7T、发布最大上下文长度为256K、开源词表大小为12.8w。模型
在技术创新方面，腾讯Hunyuan-large通过高质量的发布合成数据来增强模型训练，弥补了自然数据的开源不足。
其中，模型该模型预训练支持处理高达256K的腾讯文本序列，大幅提升了长文本上下文的发布处理能力，能够更高效地完成长文本任务。开源
据了解，Hunyuan-large在CMMLU、MMLU、CEva1、MATH等多学科综合评测集上表现优异，在中英文自然语言处理、代码生成、数学运算等9大能力维度中全面领先，超越了Llama3.1和Mixtral等一流开源模型。
此外，腾讯还宣布将推出自研的长文评测集“企鹅卷轴（PenguinScrolls）”，以填补行业在真实长文评测集上的空白。
企鹅卷轴基于公开的金融、法律、学术论文等长文本构建，文本长度从1K到128K不等，覆盖深度阅读理解和长文推理任务。
相关文章
某些群体别yy了，我龙四已经决定了由PCL第一人longskr发表在绝地求生 pubg龙四前几天说过，不会去诋毁他的战队的，那些造谣去4的洗洗睡吧龙四前几天说过，不会去诋毁他的战队的，那些造谣去4的洗2024-12-27
12月23日消息，据“检车家”透露，一位宝马6系的车主委托他们进行二手车事故损失贬值鉴定，要向肇事者索赔车辆的贬值损失。车主介绍，他上个月在路口等红绿灯时被后车追尾，人没事，但2024-12-27- 12月23日消息，据“检车家”透露，一位宝马6系的车主委托他们进行二手车事故损失贬值鉴定，要向肇事者索赔车辆的贬值损失。车主介绍，他上个月在路口等红绿灯时被后车追尾，人没事，但2024-12-27
中新社北京12月22日电 (记者 李京泽)22日公布的2023年度审计整改报告显示，截至2024年9月底，中国有关地方、部门和单位共整改问题金额5380多亿元(人民币，下同)。当日，受国务院委托，审计2024-12-27
一图读懂一加Ace 5 Pro：定价最激进的骁龙8至尊版手机 3399元起
12月26日消息，今天下午，一加Ace 5 Pro正式发布，起售价是3399元，是迄今为止价格最低的骁龙8至尊版手机。该机首发自研的风驰游戏内核，可以做到长时间游戏持久流畅不卡顿、不发烫，并突破当前游2024-12-27
德芙心语/心语圣诞巧克力礼盒21粒日常售价29.9元，今日淘宝百亿补贴价17.9元。如果跳转页面看不到百亿补贴价，可点击商品详情页【百亿补贴】卡片。购买链接：天猫(17.9元)圣诞节、生日礼物不知道送2024-12-27
最新评论