robots.txt — это маленький текстовый файл в корне сайта (example.ru/robots.txt), который подсказывает поисковым роботам, какие разделы можно обходить, а какие — нет. Файл крошечный, но одна строка в нём способна убрать из выдачи весь сайт. Ниже — ошибки, которые мы чаще всего находим при аудитах.
1. Случайно закрыт весь сайт
Самая дорогая ошибка. Часто остаётся с этапа разработки:
User-agent: *
Disallow: /Disallow: / означает «не обходить ничего». Сайт открыт для людей, но невидим для Яндекса и Google. Проверяйте это первым делом после запуска и после каждого переезда с тестового домена.
2. Заблокированы CSS и JavaScript
Disallow: /assets/
Disallow: /wp-includes/Раньше так «прятали» технические папки. Сегодня Google рендерит страницу как браузер и должен видеть стили и скрипты — иначе он считает страницу сломанной и хуже её ранжирует. Не закрывайте каталоги с CSS/JS.
3. Нет ссылки на sitemap
Директива Sitemap: помогает роботам найти карту сайта быстрее. Её отсутствие — не критично, но это упущенная возможность:
Sitemap: https://example.ru/sitemap.xmlУказывайте полный абсолютный URL, а не относительный путь.
4. robots.txt пытаются использовать как защиту
robots.txt — это рекомендация, а не запрет. Добросовестные роботы её соблюдают, но файл публичный, и закрытые в нём пути видны всем. Никогда не «прячьте» через него админки и приватные разделы — для этого нужны авторизация и заголовок noindex.
5. Путаница Disallow и noindex
Disallowв robots.txt — «не заходи на страницу».noindexв мета-теге — «зайди, но не добавляй в индекс».
Если закрыть страницу через Disallow, робот не сможет прочитать noindex на ней — и парадоксально страница может остаться в выдаче (без описания). Чтобы убрать страницу из индекса, оставьте её открытой в robots.txt и поставьте <meta name="robots" content="noindex">.
6. Устаревшая директива Host
Host: example.ruHost: использовалась Яндексом для указания главного зеркала, но отменена в 2018 году. Сейчас главное зеркало определяется 301-редиректами и rel="canonical". Директиву можно удалить.
7. Опечатки и неверный регистр
Disalow, User-Agnet, лишние пробелы — робот молча проигнорирует строку. Имена директив регистронезависимы, но пути (/Catalog/ ≠ /catalog/) — чувствительны к регистру.
Как проверить свой robots.txt
Открывать файл глазами и сверять с документацией долго и легко что-то пропустить. Мы сделали бесплатный валидатор robots.txt: вставляете содержимое или указываете URL — инструмент за секунду прогоняет 18 проверок и подсвечивает проблемные строки с объяснением, что и почему чинить.
А чтобы увидеть robots.txt в контексте всего технического SEO — запустите бесплатный аудит сайта: он проверит не только индексацию, но и скорость, мета-теги и разметку, и переведёт каждую находку на язык бизнеса.