登录邮箱:1527511756@qq.com
当前位置:时空热线 >> 科技>>正文内容

阶跃星辰姜大昕:Scaling Law仍处于陡峭区间,万亿参数是基本出发点

2024年07月07日 来源:时空热线

在2024世界人工智能大会启明创投·创业与投资论坛上,阶跃星辰创始人、CEO姜大昕发表了演讲,分享了对于大模型发展现状与趋势的观察与思考。在演讲中,姜大昕重点阐述了一个核心观点:探索AGI路径,“Scaling Law”和“多模态”是相辅相成、缺一不可的两个方向。两者齐头并进,最终到达AGI。

近年来,GPT系列模型的演进,客观上验证了Scaling Law的有效性。模型参数量决定模型能力的上限。从模型效果看,参数量增大确实带来了性能上的飞跃。虽然业内围绕“Scaling Law还能走多远”尚未形成共识,但阶跃星辰认为,参数量接下来再提高一个数量级是依然成立的。Scaling Law 目前依然奏效,模型性能仍然在随着参数量、数据量和计算量的增加呈幂次方增长。在此发展过程中,万亿参数量已经成为一个基本的入门门槛。

正是基于这样的认知,阶跃星辰很早便启动了万亿参数模型的训练。从千亿到万亿,模型的参数规模提升了一个量级,难度也提升了十倍以上。为此,阶跃星辰加大资源投入,尤其在系统和算法上积极探索,最终走通了万亿参数 MoE 大模型训练的道路。在 WAIC 2024 上,阶跃星辰发布了全新的 Step-2 万亿参数语言大模型正式版。根据从逻辑推理、世界知识、数学和编程等多个维度进行的权威测试,Step-2 模型能力都已全面接近国际主流模型,在部分测试集甚至实现了超越。

责任编辑:杜烽
相关推荐
十天百台机器人下线 精密制造解锁第二增长曲线

人才与售后网络,构成企业差异化竞争优势。浙江仙通与当地技师学院建立稳定合作关系,目前已经明确未来每年开设3-4个机器人班,可培养约120位技术工人,可快速抽调生产人员完成培训上岗,保...[详细]

芯片短缺冲击消费电子产业

伴随人工智能(AI)基础设施需求快速扩张、存储芯片价格持续走高,全球消费电子产业链正迎来一轮成本重构。日前,苹果公司对MacBook和iPad及多款硬件产品实施全球提价,整体涨幅约20%。这是...[详细]

索尼宣布2028年全面停产光盘版本 实体游戏时代迎来终点

日本索尼旗下游戏机品牌PlayStation方面宣布,自2028年1月起,其新游戏将不再推出实体光盘版本,将仅以数字版形式发售。索尼成为全球首家彻底放弃新游实体版的主流主机厂商,实体游戏时代迎...[详细]

返回顶部