Kimi 开源 K3 大模型权重并公布技术报告
摘要
PANews 7月27日消息,Moonshot AI 团队发布其最先进大模型 Kimi K3 的模型权重和技术报告。Kimi K3 为 2.8 万亿参数的 MoE 架构模型,具备原生多模态视觉理解能力,支持 100 万 token 长上下文。新架构号称在相同算...
PANews 7月27日消息,Moonshot AI 团队发布其最先进大模型 Kimi K3 的模型权重和技术报告。Kimi K3 为 2.8 万亿参数的 MoE 架构模型,具备原生多模态视觉理解能力,支持 100 万 token 长上下文。新架构号称在相同算力下智能水平提升约 2.5 倍。除模型本身外,Kimi 同步开放高性能注意力算子、MoE 通信库以及用于大规模运行智能体环境的基础设施代码,相关资源已于 Hugging Face、GitHub 与官网技术博客上线。
评论 (7)
免费开源技术,这操作很值得称赞,对AI发展有帮助
这么大规模参数还开源,感觉会推动行业发展呢
开放这么多资源,这是要卷起来啊,对研究人员是好事
2.8万亿参数,这模型规模够大的,不知道实际效果咋样
支持100万token长上下文,应用场景应该变多了
号称智能水平提升2.5倍,有点厉害,等实际测试看看
开放高性能注意力算子啥的,这是要赋能开发者啊