前两天 Cloudflare 发了个新功能叫 Markdown for Agents,简单说就是 AI 去读网页的时候,不用再读一堆 HTML 标签了,Cloudflare 直接把网页转成干净的 Markdown 再返回。
对用户最直接的好处就是省钱。之前 Vercel 发布过一个 Skill,在浏览器操作场景下可以大幅节省 token,我写过一篇介绍:省 93% Token!Vercel 的新工具,让 AI 操作浏览器更省钱。Cloudflare 这次的思路类似,但切入点不同,它直接从网络层解决问题。

了解下 AI 是咋读网页的
让 AI 去读一个网页,它实际拿到的是 <div>、<nav>、<script> 这些 HTML 标签包着的内容。真正有用的正文可能只占 20%,剩下全是标签和样式代码,做过前端的应该很清楚。
Cloudflare 官方给了个数据:同一篇博客文章,HTML 格式 16,180 tokens,转成 Markdown 只要 3,150 tokens,省了 80%。一个 <h2 class="section-title" id="about">About Us</h2> 要 12 到 15 个 token,换成 Markdown 的 ## About Us 只要 3 个。
如果你在做 AI 产品,每天要抓几百个网页喂给模型,这个差距就是实打实的成本。
Cloudflare 怎么做的
原理很简单,就是 HTTP 的内容协商(Content Negotiation)机制。
AI Agent 请求网页的时候,在 header 里加一个 Accept: text/markdown,Cloudflare 检测到这个 header,就在边缘节点自动把 HTML 转成 Markdown 返回。不是新 URL,不是新接口,就是同一个地址,根据客户端的请求偏好返回不同的响应格式。普通浏览器访问还是正常的 HTML 页面,完全不受影响。
前提是这个网站用了 Cloudflare 并且开启了这个功能 https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/。目前处于 Beta 阶段,Pro、Business 和 Enterprise 计划可以免费使用,Free 计划暂时不支持,可以加入等待列表。

Cloudflare 自己的博客和开发者文档已经率先支持了。
响应里还会多带一个 Content-Signal 头,表明这个内容允许被 AI 训练、搜索引擎索引和 AI Agent 使用。这算是 Cloudflare 在推动的一个内容授权标准。
实操体验
最简单的方式,curl 加个 header 就能试。
先看看 HTML 版本长什么样:
curl -s https://blog.cloudflare.com/markdown-for-agents/ | head -8

一堆 <script>、<meta> 标签,这就是 AI 平时要处理的东西。
再看 Markdown 版本:
curl -s https://blog.cloudflare.com/markdown-for-agents/ \
-H "Accept: text/markdown" | head -20

干净的标题、正文、结构化内容,AI 直接就能用。
看一下响应头里的数据:

HTML 版本 278,557 字节(272KB),Markdown 版本 16,052 字节(16KB),体积缩减了 94%。响应头里还有一个 x-markdown-tokens: 4001,直接告诉你这个文档转换后有多少 token。做 AI 产品的时候可以拿这个值来判断是否超出 context window,或者决定分块策略,挺实用的。
Claude Code 和 OpenCode 已经支持了
这个比较关键。Claude Code 和 OpenCode 已经在请求里默认带了 Accept: text/markdown 这个 header。也就是说,如果你用 Claude Code 让它去读一个 Cloudflare 托管的网页,它已经在自动享受这个优化了,不需要你做任何配置。
Claude Code 的 WebFetch 工具优先请求 Markdown 格式。如果对方支持就返回 Markdown,不支持就回退到 HTML,再由本地的 Turndown 库转换。两层保障,用户无感。
对于用 OpenCode 的朋友也一样,它的 web fetch 工具同样会利用这个特性。
Google 的 John Mueller 前段时间在 Bluesky 上说,给 AI 提供 Markdown 是个 "stupid idea",原话是:"Converting pages to markdown is such a stupid idea. Did you know LLMs can read images? WHY NOT TURN YOUR WHOLE SITE INTO AN IMAGE?"
不过这里有个重要的上下文。Mueller 批评的是一些站长专门为 AI 爬虫创建单独的 Markdown 页面。
Cloudflare 用的是标准的 HTTP 内容协商机制,同一个 URL 根据 Accept header 返回不同格式,这和服务端根据 User-Agent 偷偷换内容是两码事。
一些思考
Web 正在从"只给人看"变成"人和 AI 都要看"。以前优化网站主要考虑 Google 爬虫,现在要开始考虑 AI Agent 了。
Cloudflare 掌握着全球大约 20% 的 Web 流量,它带头推动这件事,说明 AI 友好的 Web 内容分发正在成为基础设施层面的需求。
目前这个功能还有一些限制,比如只支持 HTML 转换,不支持 PDF 等其他格式,源站响应超过 1MB 也不会转换。但作为一个 Beta 功能,已经够用了,后续应该会继续完善。
相关链接
💡 AI 工具的爆发,让普通人也能快速做出产品。
但如何做?如何变现?如何真正走向海外市场?
👇 想了解更多 AI 编程 & 出海实战信息,扫码添加好友了解更多
🔗 更多教程请访问 ipengtao.com
文章评论