The Numbers 断电启示录：当90%流量是机器，网站如何生存？

2026年3月5日，一个运行30年的电影数据站突然沉默

那天，The Numbers 网站彻底下线。不是维护，不是升级，而是系统性停摆。八天后，它以极简形态回归——历史图表消失，单片详情页下架，Report Builder 功能永久移除。这不是迭代，是一次主动截肢。 创始人 Bruce Nash 没有谈技术故障，只说了一个数字：90%。90%的流量来自AI爬虫与智能体。服务器持续过载、反复崩溃，日志里还夹杂着针对后门的未明攻击痕迹。这些攻击是否与预测市场结算挂钩，他未再深谈，但信号已足够清晰：旧架构在新型流量面前，已无修补价值。

三十年不是积淀，是技术债务的雪球

1997年10月17日，Bruce Nash 在 Geocities 上建起这个站点。那时网页稀少，搜索引擎尚在襁褓，“爬虫”还是个中性词。The Numbers 从个人兴趣起步，逐步成为行业公认的票房数据基准——78396部电影、236176人、178375条发行记录、约200万个页面，源文件达16万个。 在人类浏览时代，这是护城河；在AI洪流中，这是引爆点。团队90%的时间花在“保活”上：修一个bug牵出三个新错误，加一个功能压垮一个子系统。16万个源文件背后，是无人敢碰的黑箱、失效的依赖、过时的框架。当机器以毫秒级频率发起请求，这套为人类阅读设计的系统，连喘息的机会都没有。

1:38000——被撕毁的流量契约

过去，网站与搜索引擎之间存在默契：你开放抓取，我回流访客。Google 的交换比约为1:5——每5次抓取，带来1个真实用户。这笔账能算清，也能变现。 AI爬虫彻底改写了规则。OpenAI 的交换比超过1:1000；Anthropic 达到惊人的1:38000以上。它们拿走结构化数据，训练模型、生成摘要、驱动智能体，却几乎不反哺任何人类点击。你的服务器在燃烧，而用户早已在ChatGPT里得到答案。 截至2026年6月，机器人占HTML页面请求的57.5%；AI驱动流量年增速达187%，是人类流量增速的8倍。流量主体，已经易主。

机器不是虚拟访客，是真金白银的成本

Read the Docs 曝光：单个AI爬虫月耗带宽73TB，成本超5000美元；维基媒体基金会发现，65%的昂贵带宽来自仅占35%页面浏览量的机器人；SourceHut 创始人直言：“每周20%到100%的运维时间都在对抗爬虫”；iFixit 记录到ClaudeBot单日发起近百万次请求。 这些不是抽象指标，是CPU占用、是带宽账单、是工程师深夜重启服务的疲惫。The Numbers 的崩溃，不是性能瓶颈，是经济不可持续——当90%的访客不产生收入却消耗全部资源，维持旧系统，等于慢性失血。

重构不是所有网站的必选项，但判断边界必须清晰

脆弱性取决于两个核心维度：数据暴露面 + 变现依赖度。 最危险的是三类特征叠加的网站：长尾页面极多（如200万静态页面）、内容完全裸露（无需登录、结构清晰、可直接解析）、商业模式深度绑定人类流量（靠广告或免费导流转化）。The Numbers 正是典型。 而 Box Office Mojo 和 IMDb 虽同属电影数据领域，却因背靠Amazon基础设施、设置登录墙与付费层，大幅压缩了爬虫可获取的数据面。社交平台、电商、SaaS服务天然具备动态性、交互性和权限隔离，爬虫难以规模化攫取核心价值。 因此，判断是否需要重构，关键不在“有没有被爬”，而在“爬走的是什么”以及“你靠什么赚钱”。若数据可被白盒式提取，且变现全赖人类点击，那警报早已拉响。

出路不在封禁，而在重定义价值归属

robots.txt 已成摆设。7.9%的AI爬虫会被403拒绝，多数直接无视规则。靠君子协定，守不住基础设施。 真正的防线正在转移：Cloudflare 推出 Pay-per-Crawl 机制，从2026年9月起，默认屏蔽未付费的混合用途爬虫。这不是技术防御，而是商业重置——让数据使用者为带宽与算力买单。 对独立站长而言，应对需分三层：先识别，用日志看清机器流量占比与来源；再隔离，通过边缘缓存与WAF将高频爬虫导向静态响应，减轻数据库压力；最后重构商业模式，探索API授权、数据订阅、认证准入等路径。这不是代码重写，而是把“流量资产”重新核算为“数据服务”。

断电不是终点，是重新校准坐标的开始

The Numbers 放弃了30年积累，换来一次清醒。它提醒所有内容生产者：当机器成为主要访客，网站就不再是信息门户，而成了数据基础设施。它的成本、它的产权、它的价值分配逻辑，都必须重写。 互联网的流量主权已经转移。现在，轮到网站主人拿起计算器，重新算清每一笔请求背后的代价与回报。