风险提示:理性看待区块链,提高风险意识!
USDT USDT $1.00 0.01%
XRP XRP $1.43310000 0.19%
BNB BNB $637.54000000 0.02%
USDC USDC $0.99963000 0.01%
SOL SOL $86.49000000 0.99%
TRX TRX $0.32360000 1.25%
BTC BTC $67,234.00 2.34%
ETH ETH $3,456.00 1.23%
CoinMeta Skill
限时免费体验

让 AI 更快获取有效、准确、可行动的币圈全景信息

黄仁勋、Kimi K3 与一场即将到来的开源战争

摘要

你要说最近AI行业里,最热的、被讨论最多的一件事。那必然就是一个由老黄、Anthropic、kimi、开源,这几个看着风牛马不相及的4个词,共同串起的故事。故事是这样的。前几天,7月24日,黄仁勋发了自己在X上的第一篇帖...

黄仁勋、Kimi K3 与一场即将到来的开源战争

你要说最近AI行业里,最热的、被讨论最多的一件事。

那必然就是一个由老黄、Anthropic、kimi、开源,这几个看着风牛马不相及的4个词,共同串起的故事。

故事是这样的。

前几天,7月24日,黄仁勋发了自己在X上的第一篇帖子。

ISt8DfqswjqrvvD088obbcv6ls1lSte4TxJTS5wI.png

这个AI圈可能最火的男人,为了发这封公开信,不惜注册了个X。

这封信的名字叫《Open Weights and American AI Leadership》,开放权重与美国AI领导力。

CFYSScRSLbV2lDCSxj67MhTyhwnpP2UW0xnJtetr.png

大概意思就是,AI会改造每一个行业,驱动每一家公司,也会被每一个国家建设。

开放模型能强化安全、加快创新,也能带来技术主权。

这个世界既需要最前沿的闭源模型,也需要最前沿的开放模型。

咱们不能制裁开源模型啊。

老黄之所以这么操碎了心,其实是有前情提要的。

我们把时间拨回11天前,那天有一个标志性的事件发生。

7月17日凌晨,Kimi K3正式发布。

wP2M3m5gmramvOJMkDlrBzCQ4pm27dlPotTeQ9cn.png

2.8万亿总参数,1040亿激活参数,原生视觉能力,100万Token上下文。

最关键的是,Kimi当时就承诺,模型权重会在7月27日(也就是昨晚)正式开源。

这,是全球首个开源的3T级模型。

一个中国团队,在算力远没有那么宽裕的情况下,做出了一个能力逼近全球最强闭源模型的东西,还要把权重交给全世界。

这一下子,美国那边的气氛就变得不对劲了。

7月22日,美国白宫科技政策办公室负责人Michael Kratsios公开指控月之暗面,声称Kimi K3的开发使用了对Claude Fable 5的大规模蒸馏。

dSlY4sCG00l8g21evjeHX4Vgq0Hdhj890AKMTGmZ.png

不过有趣的是评论区。

大家可以看看群众的呼声。

oMY4dPbwrc0HRzkbdJmFzPChaA1egeaHIViVMNDp.png

然后呢,美国财政部长好死不死,火上浇油,又提到了贸易黑名单和制裁。

RqxOZEExMplaVUUOqckAOFbfc8A6Dv9vSvO70Pr7.png

评论区这下彻底沦陷了。

Qlei7h1Qci2ov8jkoiRUM6Vo2j8oH15m5HSWOs42.png

ioRUyfi5z2L9Up8S6GNznSGfZDvaZblPCFDsevP4.png

AHxgYl38F55I8VmHr2sqviJaC8VTHGpEBor4ACGu.png

这个事越闹越大,眼瞅着一场原本关于模型能力和开源路线的竞争,迅速被拖进了知识产权、国家安全、出口管制和中美科技竞争里。

也就在这个时间点,黄仁勋站出来了。

他接受采访,公开反对封禁中国开源模型。

sKBQa2q5VrSCuexYu7K96Njbzh2Bp751dR6pP3zn.png

讲道理,老黄为了卖卡,真的是操碎了心。

然后呢,在最下面,一个很长的Logo墙被贴了出来,整个科技行业开始排队在公开信上签名。

公开信刚发布的时候,签名的有25家公司和组织。

英伟达、微软、Meta、IBM、戴尔、Palantir、Mistral、Hugging Face等等等等。

到了周末,名单开始疯狂变长。

OpenAI来了,Google来了,SpaceX来了,AMD、Cisco、Cloudflare、GitHub、Linux Foundation、Mozilla、Vercel、Y Combinator、OpenClaw等等,也全都来了。

到我写这篇文章的时候,已经有77个签署者了。

EOPlVVxAEg2Xm9ELxJg943teFyddJO6jrzntjYkX.png

也有无数的大佬疯狂打Call站台。

YjLhFzrAHfQ0h8vyVj3RYwCBgwmGwfvKIDYmi9qR.png

好久好久好久没见过这么集结,一起起义,同仇敌忾的了。

但是如果细心的朋友就会发现,上面那个logo墙,几乎集结了美国绝大多数的前沿科技公司,甚至英伟达和AMD都世纪同框了,但是你会发现,莫名其妙的怎么缺了一个熟悉的名字。

Anthropic。

我觉得这张世界名画可以改名叫《Anthropic在哪里?》。

甚至有网友直接恶搞做了一个视频,我笑蒙了,我必须要给大家看看。

而就在Anthropic装死,美国科技巨头们联手推特上书起义之时。

本次事件的导火索,在昨晚,也就是7月27日晚上23点13分,正式官宣了Kimi K3开源。

a1BHchXG4QxiSP6NOyjyxnyufHV9qWS9ovPkguSt.png

而且这个开源程度,远超乎我的意料。

我本来以为只是开源模型权重而已。

X5Wj07zcCAu3kTM0wtDWIAfS2wFTwHKOoC9WpOVf.png

结果。

模型权重,开源。

详细的技术报告,也放出来了。

训练K3用到的关键Infra,也开源。

全都开。。。

我大概列举一下。

Kimi K3模型权重,一个2.8万亿参数的MoE模型,一共有896个专家,每个Token激活其中16个。

然后是K3完整的技术报告,一共47页。

oiTz1ax3G6E53T8DJ1VzHSLpPdXFnVwVCnwfVBdb.png

这里面公开了KDA和Attention Residuals的架构细节,解释了他们如何用3比1的比例混合KDA与Gated MLA,如何让信息跨越几十层继续流动。

wNCRvqAPT070pU5zV0e7KkxUq5YgpRdEqm813YKo.png

还有Stable LatentMoE。

896个专家只激活16个,稀疏程度高得离谱,Kimi又用SiTU GLU、Quantile Balancing这一整套方法,把这种极端稀疏的训练维持在稳定状态。

vtSOaOXkg6EWdFkyKqNbtVp7Id0Ya95dAos8QxBN.png

还有MoonViT V2、百万Token上下文的强化学习基础设施、大规模任务合成、后训练方法,接近20个内部评测集的完整结果也放了出来。

czeZc7IIeFR9McxLjU4zKYZklp3RtbagMWuSJ1Z6.png

这个技术报告很详细和扎实,推荐一读。

除了技术报告之外,还有开源的关键infra技术。

MoonEP,一套专门为超大规模MoE打造的专家并行通信库。

O7tVIBtVfjes5zcJMaplfiBD44BzXA8JVLj8iwvv.png

MoE训练时,经常会出现某些专家忙得要死,某些专家闲得抠脚,最后所有GPU都得等最忙的那一张卡。

MoonEP会根据当前路由结果,动态复制一小部分热门专家,让每张卡收到完全一样数量的Token,同时维持静态内存形状,避免训练越跑越碎,最后直接OOM。

这已经属于超大模型训练里非常底层、非常值钱的东西了。

FlashKDA,Kimi Delta Attention的高性能算子。

KPgxweRCDTTq22DcJ0hFUOtIwJnZH0qW5lpYE3oH.png

它用CUTLASS实现,在英伟达H20上,相比flash linear attention基线,prefill速度提升了1.85倍到2.31倍,还可以直接接进现有的flash linear attention后端。

再往下,还有AgentENV。

7inBomqh3as5arPuvPj7xI0Mka8P6rV6z35zWqTU.png

这是Kimi和KVCache.ai一起做的分布式Agent沙箱系统,也是K3做大规模Agent强化学习时真正跑环境的那层底座。

它可以在一堆机器上同时启动海量Firecracker微虚拟机,环境恢复低于50毫秒,暂停低于100毫秒,还原生支持快照、恢复和fork。

一个Agent跑到某个关键节点以后,可以直接分叉成几十条互不干扰的轨迹,继续并行探索。

虽然我对底层技术不是很了解,只是纸上谈兵的一些浅薄知识,但是从这几个技术来说,我觉得已经能感受到真香了。

真的就是掏老底了。

MoonEP解决超大MoE模型的通信和负载。

FlashKDA解决新注意力架构的算子效率。

AgentENV解决Agent强化学习需要的海量真实环境。

开源社区要起飞了。

如今,我愿将Kimi和DeepSeek并称为开源二圣。

我也读了一下这次Kimi K3的许可证。

rAQW6ykwyTgfJzQb2OaJRah9JlGlK5NkTxNk6Dtn.png

普通研究者、开发者和公司,可以免费使用、复制、修改、部署、微调、分发,也可以做衍生产品和商业化。

它只给超大规模商业使用留了两道门槛。

如果你做模型服务生意,公司及关联方连续12个月总收入超过2000万美元,需要另行和月之暗面签协议。

如果使用K3的商业产品月活超过1亿,或者单月收入超过2000万美元,产品界面需要显著展示Kimi K3。

对,需要显著展示Kimi K3就行。

菩萨啊。。。

已经有人说,如果Kimi K3能给他带来单月2000万美元的收入,别说显著展示Kimi K3的品牌标识了。

他可以把Kimi的logo纹在屁股上,甚至可以纹两个。

今天这晚,随着Kimi K3的开源,我感觉把整个事件,推向了最终的高潮,舆论基本一边倒。

p6ZnpPebKuVEfQSRWoxNhNroHdnP53ti3iSqsq65.png

也在Hugging Face中,创造了历史。

pwHi6iZtc0bgAsN409Zp5BuLChirvZV4p8AaxdUV.png

这一刻,美国的态度,和Kimi K3开源,有了一种神奇的化学反应。

未来,这件事有可能被史称为:

AI行业的萨拉热窝事件。

这个世界,需要开源。

老黄他们拥抱开源,当然除了理想之外,还有很多金钱的气息。

2002年,Joel Spolsky写过一个很经典的商业规律,叫Commoditize Your Complements,把你的互补品变成商品。

一个东西的互补品越便宜,人们对这个东西的需求就越大。

英伟达卖GPU。

开源模型越多,全球就有越多公司愿意自己部署、自己微调、自己训练,最后需要的GPU也越多。

AMD、戴尔、云计算公司、推理服务商,逻辑差不多。

GitHub、Vercel、Replit、LangChain、OpenClaw这些开发工具和应用平台,也天然希望底层模型越来越多、越来越便宜、越来越容易替换。

因为模型成本每降一块钱,应用层就多出一块钱的空间。

老黄坚定的相信开源,以及老黄是开源模型的最大受益者之一,这两件事不冲突的。

但是我坚定的相信、也拥抱开源。

原因也特别简单,因为,我是个普通人。

这辈子,我可能都训练不起K3这样的模型,我没有几万张卡,我什么都不懂,技术报告里的公式,我都只能在AI的加持下勉勉强强看懂一点点。

但是不妨碍我,今天,踩在无数前人开源的工作、框架还有模型上,来创作我自己的作品。

普通人能参与每一次技术革命,靠的其实就是前面那些前辈,愿意把终点留下来,给后来的人,当起点。

我们没有突然变成天才。

我们只是,不用从零再走一遭。

开源真正厉害的力量就在这里。

一个团队花掉巨大算力、无数大佬熬了很久才得到的东西,一旦公开,第二天就会成为全世界无数普通人的公共起点。

我觉得,这就是文明的复利。

最后,向所有为人类世界、开源世界、AI世界的大佬们。

致以我最崇高的敬意。

aK6p0ngOZ5cMYNJQ1DGZ64rQ23QiyQj9XZpU1Pb0.png

评论 (8)

登录 后即可发表评论
豆芽尖尖
豆芽尖尖 55分钟前

Kimi K3开源太猛了,把家底都掏出来,感觉开源社区要大发展。

0 回复
天涯明月在
天涯明月在 56分钟前

老黄这是为了卖卡拼了,不过开源确实对大家都有好处,普通人也能沾光。

0 回复
L某人
L某人 58分钟前

开源就是好,普通人能利用现成的成果搞创作,这就是文明进步。

0 回复
黑不溜秋熊
黑不溜秋熊 58分钟前

老黄支持开源又能赚钱又有理想,这算盘打得挺响。

0 回复
这位小官人
这位小官人 58分钟前

美国还搞制裁那一套,现在这么多公司支持开源,他们这是逆势而为。

0 回复
更多