llms.txt 机制探究：为何 AI 爬虫需要一份纯文本内容地图

我在豆包搜了 4 个核心提问词，抓回 25 条引用源，我的博客一篇都没被引用，0%。这个 0 让我意识到，光有好内容不够，还得让 AI 知道怎么找到它。llms.txt 就是解决这个问题的方案——一个放在网站根目录的纯文本文件，用 Markdown 格式告诉 AI 爬虫你的网站结构、核心内容和权威信息源。配置它不需要写代码，10 分钟能搞定，但它能直接影响 AI 引擎怎么理解你的网站。