Генератор файла robots.txt

195 использований

Генератор robots.txt — готовые шаблоны для популярных CMS в России (1C‑Битрикс, WordPress, OpenCart и др.) и конструктор правил по параметрам: Allow/Disallow, Sitemap, Host/Clean-param (Яндекс), Crawl-delay.

Выберите шаблон

Если пусто — Sitemap/Host будут выключены
Формат Яндекса: Clean-param: a&b /path/

robots.txt

Подсказки появятся после генерации

История (локально)

Конструктор правил

robots.txt

Инструкция

Как пользоваться генератором robots.txt

Выберите готовый шаблон CMS или соберите правила вручную. Укажите User-agent, Allow, Disallow, Sitemap и дополнительные директивы, если они нужны. После генерации проверьте результат и скачайте файл robots.txt.

Основные директивы

  • User-agent — для какого робота применяются правила.
  • Disallow — какие разделы не рекомендуется обходить.
  • Allow — какие URL можно обходить даже внутри закрытого раздела.
  • Sitemap — ссылка на карту сайта.

Пример

User-agent: *
Disallow: /admin/
Disallow: /search
Sitemap: https://example.com/sitemap.xml

Важное ограничение

Robots.txt управляет рекомендациями для краулеров, но не защищает приватные данные. Закрытые разделы должны быть защищены авторизацией и настройками доступа на сервере.

Частые ошибки

  • Закрывать важные CSS, JS или изображения, нужные для рендера страницы.
  • Путать запрет обхода и запрет индексации.
  • Указывать неправильный URL sitemap.

Часто задаваемые вопросы

Robots.txt запрещает индексацию?

Не всегда. Robots.txt ограничивает обход, но URL может попасть в индекс по внешним ссылкам. Для запрета индексации HTML-страниц обычно используют meta robots noindex.

Можно ли закрыть личные данные через robots.txt?

Нет. Robots.txt публично доступен и не является защитой. Приватные данные нужно закрывать авторизацией и серверными правами доступа.

Зачем указывать Sitemap?

Директива Sitemap помогает поисковым роботам быстрее найти карту сайта и список важных URL.

Чем Allow отличается от Disallow?

Disallow запрещает обход пути, а Allow разрешает конкретный URL или подпуть внутри закрытого раздела, если это нужно.

Нужна ли директива Host?

Host в основном относится к Яндексу и используется для указания главного зеркала. Google эту директиву не учитывает.

Похожие сервисы