Генератор robots.txt
Укажите поисковым системам и другим ботам, какие разделы сайта им можно посещать.
Запечатано на этом устройстве
Работает в вашем браузере. Ничего не загружается на сервер.
Запечатано
Правила
По одному пути в строке, начиная с /. Используйте * как подстановочный знак и $ для конца адреса.
Необязательно. Bing и некоторые другие боты её учитывают, Google игнорирует.
Отдельные боты
По одному полному адресу в строке, например https://example.com/sitemap.xml.
Ваш robots.txt
Что стоит проверить
Проверить адрес
Оставьте пустым, чтобы закрыть для этого бота весь сайт.
Как это работает
-
Выберите общее правило
Разрешите всё, запретите всё или перечислите пути, которые ботам нужно пропускать. Готовые шаблоны помогут начать.
-
Добавьте ИИ-ботов, отдельных ботов и карты сайта
Заблокируйте ботов для обучения ИИ одним нажатием, добавьте правила для отдельных ботов и укажите карты сайта.
-
Проверьте и опубликуйте
Проверьте несколько адресов, затем скачайте файл и положите его в корень сайта: example.com/robots.txt.
Частые вопросы
Куда положить файл robots.txt?
В корень домена, чтобы он открывался по адресу https://vash-sayt.ru/robots.txt. Каждому поддомену нужен свой файл. В других местах боты его не ищут.
robots.txt скрывает страницу из Google?
Нет. Он просит ботов не посещать страницу, но она всё равно может появиться в результатах, если на неё ссылаются другие сайты. Чтобы убрать страницу из Google, разрешите её обход и добавьте мета-тег noindex или защитите её паролем.
Как заблокировать ИИ-ботов вроде GPTBot?
Отметьте «Запретить ботов для обучения ИИ». Тогда файл попросит GPTBot, ClaudeBot, Google-Extended и других ботов для обучения не заходить на весь сайт. Добросовестные боты это соблюдают, но robots.txt — это просьба, а не замок.
Что происходит, если правила Allow и Disallow противоречат друг другу?
Google и большинство современных ботов применяют самое конкретное правило — с самым длинным совпадающим путём. Если два правила одинаковой длины, побеждает Allow. Проверка на этой странице работает по той же логике.
Что означают * и $ в пути?
Звёздочка соответствует любой последовательности символов, поэтому /*.pdf подходит ко всем PDF. Знак доллара обозначает конец адреса, поэтому /*.pdf$ подходит только к адресам, которые заканчиваются ровно на .pdf.
Стоит ли добавлять карту сайта в robots.txt?
Да, это простой способ помочь любой поисковой системе её найти. Указывайте полный адрес, включая https://. Можно перечислить несколько карт сайта.