登录邮箱:1527511756@qq.com
当前位置:时空热线 >> 科技>>正文内容

阶跃星辰:万亿参数MoE,多模态融合的AI前沿探索

2024年07月06日 来源:时空热线

在2024年世界人工智能大会的聚光灯下,阶跃星辰携其Step系列大模型家族惊艳亮相,不仅展示了在万亿参数MoE大模型的深厚积累,更通过多模态融合的创新实践,为AI行业描绘了一幅通向AGI的宏伟蓝图。

万亿参数MoE:从量变到质变的飞跃

阶跃星辰的Step-2万亿参数MoE大模型,无疑是本次大会的一大亮点。与业界常见的upcycle训练方式不同,阶跃星辰选择了更为艰难但也更具有潜力的自主研发路径,从头开始训练,这无疑是对算力与技术的双重挑战。在MoE架构设计上的创新,包括部分专家共享参数以及异构化专家设计,确保了模型在保持通用能力共享的同时,每个专家模块依然保有其独特性,从而增加了模型的多样性和整体性能。这种设计不仅使Step-2的总参数量达到了前所未有的万亿级别,更重要的是,每次训练或推理所激活的参数量也超越了市面上大部分密集模型,实现了从量变到质变的飞跃。

多模态融合:理解与生成的统一

多模态融合是通往AGI的关键步骤,阶跃星辰对此有着深刻的认识。Step-1.5V多模态大模型的升级,标志着公司在这一领域取得了实质性的进展。相比于之前的版本,Step-1.5V在感知能力上有了显著提升,不仅能理解复杂的图表、流程图,还能准确感知物理空间的几何位置,处理高分辨率图像。更引人注目的是,它还具备了理解视频的能力,能够洞察视频中的物体、人物、环境及其情绪,展现出了强大的共情能力。而这一切,都离不开Step-2万亿参数模型的指导,在RLHF训练过程中,Step-2作为监督模型,为Step-1.5V提供了坚实的理论与实践基础,使其推理能力得到了质的飞跃。

图像生成:中国风的深度优化

图像生成大模型Step-1X的推出,进一步丰富了阶跃星辰的多模态矩阵。Step-1X不仅在语义对齐和指令跟随能力上表现出色,更针对中国元素进行了深度优化,使得生成的图像更具中国风格,更符合国人的审美偏好。无论是《大闹天宫》AI互动体验中的角色生成,还是《葫芦兄弟》的视频生成演示,都展现了Step-1X在多模态理解和生成统一技术路线上的显著成就。

202407051651224396.png

现场观众体验《大闹天宫》H5游戏

阶跃星辰的探索,不仅在于技术的突破,更在于对未来AI生态的构建。公司创始人姜大昕博士曾明确提出,大模型的演进将经历三个阶段:从单一模态的独立发展,到多模态的初步融合,最终实现生成与理解的统一,与机器人结合形成具身智能。阶跃星辰正沿着这一路线,以万亿参数MoE和多模态融合为核心,不断拓展AI的边界,为通向AGI的征途提供强有力的支持。从Step-2到Step-1.5V,再到Step-1X,每一步都见证了阶跃星辰在AI前沿探索中的坚定步伐,它们共同构成了阶跃星辰在AI领域持续创新的坚实基石。

责任编辑:杜烽
相关推荐
十天百台机器人下线 精密制造解锁第二增长曲线

人才与售后网络,构成企业差异化竞争优势。浙江仙通与当地技师学院建立稳定合作关系,目前已经明确未来每年开设3-4个机器人班,可培养约120位技术工人,可快速抽调生产人员完成培训上岗,保...[详细]

芯片短缺冲击消费电子产业

伴随人工智能(AI)基础设施需求快速扩张、存储芯片价格持续走高,全球消费电子产业链正迎来一轮成本重构。日前,苹果公司对MacBook和iPad及多款硬件产品实施全球提价,整体涨幅约20%。这是...[详细]

索尼宣布2028年全面停产光盘版本 实体游戏时代迎来终点

日本索尼旗下游戏机品牌PlayStation方面宣布,自2028年1月起,其新游戏将不再推出实体光盘版本,将仅以数字版形式发售。索尼成为全球首家彻底放弃新游实体版的主流主机厂商,实体游戏时代迎...[详细]

返回顶部