在性能、开销与稳定性之间寻求最佳平衡。

智东西10月15日报道，当天，一款刚刚登上OpenRouter Token全球使用量周榜第二的大型模型，正式开放了源代码！

阶跃星辰对外发布了Step 5 Preview的模型权重，BF16和FP8两个版本同步在HuggingFace和ModelScope平台上线。

Hugging Face：

https://huggingface.co/stepfun-ai/Step-5-Preview

ModelScope：

https://modelscope.cn/models/stepfun-ai/Step-5-Preview

Step 5 Preview采用稀疏MoE架构，总参数量达600B，激活参数仅27B，支持100万Token的上下文窗口。在Artificial Analysis的Intelligence Index榜单中取得44分，位列全球开源模型前三。

正式发布后，该模型迅速进入全球开发者的视野。截至2026年10月15日，Step 5 Preview的Token用量在开放模型平台OpenRouter的周榜和日榜均位居第二，近七天的用量约为18.8万亿Token。

根据Step 5 Preview发布时的Artificial Analysis评测数据，其单次任务的平均成本仅为Claude Opus 5的1/8，前者单次总开销为0.71美元（约合人民币4.75元），后者为5.86美元（约合人民币39.22元）。

在基准测试方面，据阶跃团队公布，在公开和内部评估中，Step 5 Preview在复杂的软件工程任务（包括长程规划任务）、专业知识工作和金融领域等基准测试中展现出较为均衡的综合能力。

在Agents' Last Exam的CLl子集ALE-CLI、金融投资研究评测FrontierFinance，以及跨领域深度研究评测DRACO上优于Kimi K3、GLM-5.3，仅次于GPT-6 Astra或Claude Opus 5。

Step 5 Preview在榜单和实际应用中的表现，引发了人们的好奇：这款模型背后，究竟采用了哪些独特的技术设计？我深入研究了Step 5 Preview的技术博客，试图寻找答案。

01. 92层窄深架构，从架构层面提升计算效率

Step 5 Preview由92个Transformer模块堆叠而成，模型深度与Qwen 3.8 Max、Kimi K3等万亿参数级开源大模型相当，但总参数量不足这些模型的1/4，激活参数不足1/3。

为何深度如此关键？

阶跃星辰的解释是：在智能体任务中，模型需要频繁调用外部工具，每次调用都可能引入大量新文本。考虑到Token效率，模型未必有机会通过显式思维链进行充分推理，因此更依赖读取上下文时的“隐式推理”。

在Transformer中，信息沿着token时间方向和网络深度逐层传播。如果层数不足，多跳依赖的信息可能尚未完成传递就耗尽了网络深度，导致长文本中的复杂推理无法完成。

行业内还存在另一条技术路线，即通过循环或递归结构增加等效深度，而阶跃星辰选择了更直接的方式：加深层数、控制网络宽度。

这套“窄而深”的设计，一方面为多跳推理提供了更长的信息传递路径，另一方面有助于控制参数规模及响应计算开销，从而使模型获得与万亿级模型相当的长程任务能力。

在注意力机制的配置上，Step 5 Preview按3:1的比例交错布置了两类注意力层：3/4是高效的Gated滑动窗口注意力层，1/4是稀疏全注意力层。

阶跃星辰表示，团队在对比多种线性注意力方案后发现，各方案性能差距实际上很小，但滑动窗口注意力结构最为简单，且对投机解码更为友好。

02. 采用Sparse GQA，为百万token上下文的注意力“减负”

模型拥有了更深的推理路径，下一步是控制上下文带来的注意力计算开销。

当上下文长度达到100万token时，全注意力层会成为训练和推理共同的效率瓶颈。

阶跃星辰的解决方案是在全注意力路径上采用一种名为Sparse GQA的稀疏注意力机制，即在标准的分组查询注意力（GQA）中引入稀疏索引，模型无需对全部历史信息进行注意力计算，而是先筛选、再计算。

这一思路并非阶跃首创，此前DeepSeek的DSA等工作已进行过类似探索。

阶跃星辰指出，实际部署中需跨越三道坎：筛选器本身的开销、筛选后碎片化计算的GPU利用率，以及筛选精度与数据读取量之间的权衡。

相比MQA（多查询注意力）和MLA（多头潜在注意力）结构，GQA实际上会放大这三重矛盾。团队之所以选择GQA，是因为该结构在实验中的长上下文精度更好，且更利于多GPU并行推理。

稀疏GQA示意图1

但这三重矛盾不可忽视，针对此问题，阶跃给出了Sparse GQA的具体方案：

  • 将相邻的历史位置压缩为“块”

以降低筛选器成本，块大小设为8，筛选与选择环节的成本因此下降8倍；

利用相邻token语义相近、筛选结果高度重叠的特点，对相邻token的筛选结果取并集、合并计算，以改善GPU利用率；

经过反复试验，确定了每8个token为一组、共筛选4096个token的配置。文本越长，这套方案节省的计算越多，而信息覆盖率与更精细的参考方案几乎相同（78.06%对79.09%）。

在稀疏机制下，筛选器先将共享的索引键压缩为块表示，每个KV分组独立选出相关的历史块，主计算路径只读取被选中的原始K/V以及当前块内可见位置。

换言之，模型先粗选章节、再精读原文，避免了对百万级token全量计算注意力的开销。

稀疏GQA示意图2

03. 用三层手段抑制数值爆炸与梯度尖峰，实现更稳定的训练

前两步分别处理了模型的推理路径和长上下文计算开销，但这些设计要落地，还需确保训练过程足够稳定。

阶跃星辰在训练中遇到的主要问题之一，就是数值爆炸和梯度尖峰。

训练过程中某些数值突然失控，轻则拖慢进度，重则使此前的训练成果作废。团队在FP8低精度训练框架下，给出了三项应对措施：

第一项是将隐藏状态转为FP32精度。

低精度训练速度快、成本低，但模型加深后，少数取值极大的数据点会在低精度格式下迅速失控。改用高精度存储这部分数据后，极端值下降了近十倍，额外成本则影响不大。

第二项是将归一化层的缩放因子转为FP32。

该模型归一化层采用零中心RMSNorm，其调节参数在低精度格式下一旦恰好停在临界值，就会让某个计算通道反复“开关”，引发输出震荡。将这个参数改为高精度存储后，输出震荡问题得到明显缓解。

第三项是细粒度梯度钳制。

团队观察到，梯度尖峰并非源自数据噪声或输出层，而是起于中间某些层，并在数层之内被放大数个数量级，数据重复似乎也会推波助澜；其成因可能与层冗余在反向传播中反复放大特定信号有关。

由于异常梯度极为稀疏，团队只需在每层的梯度中挑出极小的一部分（占比为0.00004%）进行限幅，就能抑制尖峰，使训练收敛曲线明显更平滑。

细粒度梯度钳制之前（蓝色）和之后（橙色）的LLM损失比较

04. 结语：从架构优化到开放部署，模型能力走向真实任务

回顾Step 5 Preview的技术设计，从92层窄深架构，到Sparse GQA，再到深层网络的训练稳定性优化，这些选择分别对应着模型推理、长上下文处理和训练工程中的不同问题。它们并非某一项单点技术的突破，而是一系列围绕模型能力与实际运行效率展开的设计取舍。

放到当下的大模型行业，参数和榜单分数只是入门门槛。模型只有扛得住开发者反复调试，方便企业大规模部署，并且能顺利接入真实业务流程，它的能力才能转化为看得见的生产力。

Step 5 Preview从两条路径推进落地：面向开发者，官方放出BF16、FP8两种精度权重，同步上线Hugging Face与ModelScope；面向普通使用者，模型接入腾讯WorkBuddy开放为期两周的免费试用。对于关注模型最新动态的用户，通过九游体育官网也能获取相关评测信息。

两条渠道并行，让阶跃星辰的覆盖人群，从Agent开发者延伸到办公用户和有本地部署需求的研发人员。

对Step 5 Preview来说，模型权重开放也意味着这些技术设计将接受更多真实部署环境和复杂任务的检验，也让阶跃在架构与训练上的技术探索，有机会进入更广泛的实际应用场景。

模型能力的竞争仍在继续，但比拼的已不只是模型本身。如何让前沿模型的能力真正走进实际应用，或许是下一阶段大模型竞争中更值得关注的问题。

本文来自微信公众号“智东西”（ID：zhidxcom），作者：王涵，36氪经授权发布。