Генератор файла robots.txt

Генератор robots.txt — готовые шаблоны для популярных CMS в России (1C‑Битрикс, WordPress, OpenCart и др.) и конструктор правил по параметрам: Allow/Disallow, Sitemap, Host/Clean-param (Яндекс), Crawl-delay.

Выберите шаблон

Если пусто — Sitemap/Host будут выключены
Формат Яндекса: Clean-param: a&b /path/

robots.txt

Подсказки появятся после генерации

История (локально)

Конструктор правил

robots.txt

Инструкция

Как использовать генератор robots.txt

1. Выберите шаблон CMS

Выберите готовый шаблон для популярной CMS (1C‑Битрикс, WordPress, OpenCart, Joomla, Drupal, MODX и др.) — он автоматически заполнит типовые правила.

2. Настройте правила

  • User-agent группы (общая для * и отдельная для Яндекса/Google)
  • Allow/Disallow пути
  • Sitemap (один или несколько)
  • Host и Clean-param (директивы Яндекса)
  • Crawl-delay (опционально)

3. Получите итоговый robots.txt

Сервис соберёт файл, покажет предупреждения по типичным ошибкам и позволит скопировать или скачать результат.

Часто задаваемые вопросы

Часто задаваемые вопросы

Нужен ли Host в robots.txt?

Директива Host используется в основном Яндексом. Google её игнорирует. Используйте Host только если понимаете зачем (например, для выбора основного зеркала).

Что такое Clean-param?

Это директива Яндекса для описания параметров URL, которые не влияют на содержимое страницы. Помогает бороться с дублями в поиске.

Нужно ли запрещать /admin/ и служебные разделы?

Чаще всего да: административные панели, корзины, поиск, фильтры и служебные endpoints лучше закрывать от индексации.