GigaChat 3.5 Ultra背后的技术抉择：线性注意力、精效主义与智能体的组织瓶颈

俄罗斯联邦储蓄银行（Sber）已不再仅是一家银行 近年来，它持续深耕生成式人工智能，成长为俄罗斯AI研发的核心力量，也是欧洲最大开源基础语言模型的缔造者。其旗舰产品GigaChat系列，正由技术总监费奥多尔·明金（Fyodor Minkin）带领团队持续推进。最新发布的GigaChat 3.5 Ultra并非简单参数堆叠，而是一次系统性重构：模型体积压缩近半，长文本生成速度最高提升四倍，在代码、数学及智能体任务中表现更稳健。其核心是自研的线性注意力架构——该架构已完全开源，成为当前开源社区中规模最大的同类实现之一。 为什么选择线性注意力？不是追逐热点，而是直面长上下文的根本瓶颈 当模型需处理百页合同或跨轮次深度协作时，传统注意力机制要求每次响应都重新扫描全部历史上下文。文本越长、交互越深，计算开销呈平方级增长，延迟与成本迅速失控。线性注意力则让模型能动态提取并更新关键记忆摘要，而非机械重读全文。这不仅带来四倍速度提升，也使模型体积大幅缩减——部署门槛降低，边缘适配更可行。但这条路并不确定：能否在激进压缩的同时守住智能底线？团队进行了超1500次消融实验，最终在效率、质量与可复现性之间找到支点。 缩小一半，不是妥协，而是对‘扩展理性’的重新定义 行业惯性常将‘更大’等同于‘更强’：更多参数、更多数据、更多算力。但GigaChat 3.5 Ultra反其道而行之。原因在于，模型每扩大一级，边际成本急剧跃升，而质量增益却日趋平缓。真正的边界，不在参数数量，而在单位算力所能交付的实际价值。实测显示，该模型在多项关键指标上已逼近参数量数倍于己的开源竞品（如DeepSeek 3.2）。这印证了一个判断：架构创新与数据质量，远比盲目扩容更能释放潜力。今天的竞争焦点，正从‘能不能堆’转向‘敢不敢精’——精炼每一层设计，审慎调度每一次前向传播。 智能体落地的最大障碍，不在模型里，而在组织中 自主智能体需完成多步规划、工具调用、环境感知与自我校验。技术上，我们已在长上下文建模、结构化推理等方面取得进展；但最关键的‘结果可信度自评’能力仍显薄弱。然而更深层的瓶颈并非算法缺陷，而是组织惯性：大量企业仍在用二十年前的流程框架去套用AI原生能力。真正的规模化智能体应用，不会始于模型又多懂了一点，而始于业务负责人开始问：这件事，究竟哪些环节必须人来拍板？哪些可以全权交由智能体闭环执行？技术落地的前提，是责任边界的重新划分。 人工数据仍是不可替代的‘思想母体’ 合成数据在特定领域极具价值——比如数学证明链、代码逻辑路径等强调精确性与一致性的任务。但它无法替代人类撰写内容所承载的专业直觉、意外洞见与真实语境张力。一旦合成数据在训练集中占据主导，模型将陷入‘自我回音室’：错误被复制、偏差被放大、表达趋于同质化。因此，GigaChat 3.5 Ultra的训练数据集严格聚焦于高质量人工文本，并辅以专家筛选与多轮验证。数据策略不是数量竞赛，而是认知源头的守门。 开源不是让渡优势，而是构建更健壮的能力飞轮 发布GigaChat 3.5 Ultra的同时，团队同步公开了完整模型权重、训练代码及多个中间检查点。这不是姿态，而是工程逻辑：独立开发者能更快发现边界案例、提出优化路径、贡献工具链。一个活跃的外部生态，会加速模型在真实场景中的鲁棒性进化。而检查点的开放，更让模型演化过程透明可溯——从初始混沌到最终收敛，每一步都经得起推敲。我们相信，开源不是削弱护城河，而是把护城河建在更宽广的共识地基之上。 未来两年：不是Transformer的告别，而是它的深度再生 Transformer不会被推倒重来，但它的内核正在剧烈分化。线性注意力、稀疏激活、混合专家（MoE）等变体，正构成新一代高效架构的主流脉络。与此同时，更具探索性的方向也在萌芽：扩散语言模型（Diffusion LM）尝试摒弃自回归范式，先生成整体语义骨架，再逐层细化。虽然当前质量尚有差距，但其在长回答生成上的理论加速比极具吸引力。我们内部已启动相关实验，并发布了原型模型GFusion——它最初由一名实习生发起，如今已成为正式研发项目。技术突破往往始于边缘，成于信任。