Генератор robots.txt
Підкажіть пошуковим системам та іншим ботам, які розділи сайту їм можна відвідувати.
Запечатано на цьому пристрої
Працює у вашому браузері. Нічого не завантажується на сервер.
Запечатано
Правила
Один шлях у рядку, що починається з /. Використовуйте * як шаблон будь-яких символів і $ для кінця адреси.
Необов’язково. Bing та деякі інші боти її враховують, Google — ні.
Окремі краулери
Одна повна адреса в рядку, наприклад https://example.com/sitemap.xml.
Ваш robots.txt
Що варто перевірити
Перевірити адресу
Залиште порожнім, щоб заблокувати для цього краулера весь сайт.
Як це працює
-
Виберіть загальне правило
Дозвольте все, заблокуйте все або перелічіть шляхи, які краулери мають пропускати. Готові шаблони допоможуть почати.
-
Додайте ШІ-боти, краулери й карти сайту
Заблокуйте краулери для навчання ШІ одним кліком, додайте правила для окремих ботів і вкажіть свої карти сайту.
-
Перевірте й опублікуйте
Перевірте кілька адрес, а потім завантажте файл і розмістіть його в корені сайту: example.com/robots.txt.
Поширені запитання
Куди розміщувати файл robots.txt?
У корінь домену, щоб він був доступний за адресою https://your-site.com/robots.txt. Кожному піддомену потрібен власний файл. Ніде більше краулери його не шукають.
Чи приховує robots.txt сторінку від Google?
Ні. Він просить краулери не відвідувати сторінку, але вона все одно може з’явитися в результатах, якщо на неї посилаються інші сайти. Щоб сторінки не було в Google, дозвольте її сканування й додайте метатег noindex або захистіть її паролем.
Як заблокувати ШІ-краулери на кшталт GPTBot?
Позначте «Блокувати краулери для навчання ШІ». Тоді файл попросить GPTBot, ClaudeBot, Google-Extended та інших ботів для навчання не заходити на весь ваш сайт. Сумлінні боти це враховують, але robots.txt — це прохання, а не замок.
Що відбувається, коли правила Allow і Disallow суперечать одне одному?
Google і більшість сучасних краулерів застосовують найконкретніше правило — те, у якого найдовший відповідний шлях. Якщо два правила однакової довжини, перемагає Allow. Тестер на цій сторінці працює за тією самою логікою.
Що означають * і $ у шляху?
Зірочка відповідає будь-якій послідовності символів, тож /*.pdf охоплює всі PDF. Знак долара позначає кінець адреси, тож /*.pdf$ охоплює адреси, що закінчуються саме на .pdf.
Чи варто додавати карту сайту до robots.txt?
Так, це простий спосіб допомогти будь-якій пошуковій системі її знайти. Вказуйте повну адресу разом із https://. Можна вказати кілька карт сайту.