1600代码造出水下曼哈顿， Fable 5让Karpathy看呆了

【导读】Fable 5重新上线，Arena.ai的Gostev在一段视频中甩出63个3D世界，几乎都是一次成型。看了视频，就连刚加盟Anthropic预训练团队的Karpathy，也直呼没想到。 一头熊站在河边，一口咬住跃起的鲑鱼。 鱼在它嘴里拼命挣扎。 这个画面，直接把Andrej Karpathy看呆了。 他看完这一组3D视频后，在推文中说： 太不可思议了，我之前没意识到模型竟然能创造出如此精彩、丰富且可玩的世界。 还撂下一个新词：fablemaxxing。 这太美了，属于顶级的fablemaxxing！每一个新的模型层级，总会有一些全新的东西在质上实现飞跃并带来惊喜。 Karpathy今年5月刚加盟Anthropic，加入的正是预训练团队。 6月，Fable 5首发，三天后被美国出口管制一纸叫停，7月1日刚解禁。视频作者，是AI评测平台Arena.ai的Peter Gostev。 他用Fable 5一口气跑了63个高难度3D生成，几乎全是三维图形库（Three.js），多数一次成型。 一个多月前，想让AI一次成型造出能走进去玩的3D世界，还近乎天方夜谭。如今，Fable 5一口气能搓出63个。 于是，Gostev不由在视频中感慨：连实验室里的人，都还没完全搞清它能干什么。 1600行代码，一座活着的水下曼哈顿 先说视频中最令人印象深刻的那个。 整座曼哈顿沉在水下。中央公园、摩天楼、街道纹理，细节丰富到让人难以置信。 Gostev翻出代码一看：1600行。就这1600行，撑起了一座活着的水下之城。 Fable 5生成的曼哈顿，从Battery到Inwood整座岛尽收眼底，几万栋楼各有轮廓，全部由1600行代码撑起。（图源：Peter Gostev视频） 这样的世界，Gostev一共做了63个，分成6大主题。 在巨型3D世界里，横跨欧亚两岸的伊斯坦布尔、2000年变迁的伦敦、宏伟的金字塔、庞贝火山喷发、车流穿行的金门大桥，一一被搭了出来； Fable 5一次成型的伊斯坦布尔，横跨欧亚、层叠入海。（图源：Peter Gostev视频） Fable 5生成的可食用王国，一座糖果做的巧克力工厂。（图源：Peter Gostev视频） 能上手玩的场景，有纽约屋顶跑酷、把整座城拆着玩的物理游乐场、仪表盘一应俱全的飞行模拟。 最让人不可思议的，是走进世界名画。梵高星空、莫奈睡莲，一幅幅铺成可以穿行的3D世界。 还有一类是不可能的视角：一毫米高的蚂蚁在雨里打量花园，一睁眼就撞见一座金山。 Fable 5把视角压到一毫米高，草叶长成高耸的山峰。（图源：Peter Gostev视频） 自然奇观里，尼亚加拉大瀑布、萤火虫同步闪烁的森林，那条让Karpathy震撼的熊吃鲑鱼，就在此类。 最后，是元素与宇宙，被劈开的红海、正在诞生的火山岛、直插云霄的太空电梯。 Fable 5生成的红海从中劈开，人走进两道水墙之间。（图源：Peter Gostev视频） 在Gostev看来，单一场景好不好看，从来不是难点。难的是模型能不能同时管住海量元素，让它们彼此协调。 弱一点的模型，往往前80%做得像模像样，最后20%全线崩掉，剩下的debug时间反而更长。  你没法照抄一幅画，它得先看懂 如果说造城市还算有逻辑可依，那下面这批画，才是让Gostev一连说了好几个「难以置信」的。 梵高的《星空》。 你没法照抄这样一幅画，满画布厚颜料堆叠，一道道笔触卷成漩涡。 Fable 5的做法，是用一根根独立的线条，在三维空间里重新拼出那片星空，再让你飞进去，在漩涡之间穿行。 Fable 5把梵高《星空》拆成一根根立体线条，在三维空间里重拼，让你飞进旋动的星群与漩涡之间。（图源：Peter Gostev视频） 莫奈的睡莲、葛饰北斋的浪花，同样被「打开」成可以漫游的世界。 在Gostev看来，Fable这次特别擅长把一件事讲明白，能一边演示一边说清事情怎么运作。这种解释力，是他之前没料到的。 当然，这些世界并非「一句话」变出来的。 Gostev喂给模型的，是又长又细的规格文档，多数案例一次成型，也有一部分做了一到两轮微调。 真正的分水岭在于：过去要十几轮才磨得出的东西，现在一个HTML文件，多数一次就跑出来了。 魔法背后，也有短板 Gostev坦言，自己这批案例是筛过的。他生成的总量比展示的多出约两成，剔掉了有明显bug的，才留下这63个。 游戏，是它的弱项。 他坦言那几个能玩的场景，「玩30秒就腻」。有个罗马帝国的版本，他嫌太卡通。 更微妙的是，他觉得模型有时候像在偷懒、藏着实力，得反复催它更有野心，才肯拿出真本事。 Fable 5上线时，就在Arena.ai自家的Agent Arena榜上以史上最大优势登顶。 Arena.ai官方称，这份榜单衡量的，是模型在数百万次真实任务里真正把事干成的能力。 这场探索，才刚刚开始 再回到视频中那条狗熊捉鲑鱼的场景。 让Karpathy感到奇怪的是，鱼被咬住会挣扎，这样一个没人要求的细节，一个只从互联网学习的大模型，怎么就知道了这些？ 知道了，又怎么把这份理解，翻译成xyz坐标、网格、变换、动画、效果、交互，乃至一个个微型故事？ 这个问题，已经越过了「AI画得好不好」，落到了「它到底懂了多少」。 Karpathy还感慨道：再往上加一到三个模型层级，能造出什么，真是不敢想。 Gostev同样也惊叹于AI的快速发展，「别被半年前的模型框住了。你或许不在乎3D，但你手上一定有件事，是过去的模型干不了、而今天的它能干的。去试。」 连造模型的人，都还没摸到它的边界。 这场探索，才刚刚开始。 参考资料： https://github.com/petergpt/3d-prompt-collection#prompt-01  https://x.com/karpathy/status/2073505440479293773  https://www.youtube.com/watch?v=rTc2_-1KuRE&t=14s  本文来自微信公众号“新智元”，作者：ASI启示录；编辑：元宇，36氪经授权发布。