llms.txt — предложенная спецификация Markdown-файла, который помогает AI-агентам получить краткое описание сайта или раздела и список важных материалов в удобном текстовом виде.
Это не аналог robots.txt и не обязательный поисковый стандарт. Файл не управляет индексацией, не гарантирует использование контента моделью и не заменяет sitemap.xml.
Как устроен формат
В версии v2 спецификация описывает файл /llms.txt в корне или внутри раздела. В нём используются H1 с названием, краткое описание и секции со ссылками на полезные документы. Также предлагаются ссылки на Markdown-версии страниц и механизмы их обнаружения.
Где это может быть полезно
- техническая документация и API;
- базы знаний и справочные разделы;
- сайты со сложной навигацией, где агенту полезен заранее собранный маршрут к ключевым материалам;
- эксперименты с агентными системами, которые явно поддерживают этот формат.
Чего llms.txt не делает
- не запрещает и не разрешает обход как robots.txt;
- не ставит или снимает
noindex; - не гарантирует попадание в ответы ChatGPT, Google или другого сервиса;
- не является заменой качественному HTML, внутренним ссылкам и нормальной структуре сайта.
Google отдельно пишет, что для его генеративных поисковых функций специальный файл llms.txt не требуется. Поэтому внедрять его стоит как дополнительный эксперимент под конкретных агентов, а не как обязательную «AI SEO настройку».
Источники
llms.txt specification v2 · Google Search Central: generative AI optimization guide.