Зачем нужен robots.txt
Файл robots.txt в корне сайта подсказывает поисковым роботам, какие разделы можно обходить, а какие — нет. С его помощью закрывают служебные страницы, корзину, дубли и админку от индексации, экономя краулинговый бюджет.
Создайте robots.txt с нужными директивами для поисковиков.
User-agent: * Disallow:
Файл robots.txt в корне сайта подсказывает поисковым роботам, какие разделы можно обходить, а какие — нет. С его помощью закрывают служебные страницы, корзину, дубли и админку от индексации, экономя краулинговый бюджет.
User-agent задаёт, для какого робота правило, Disallow закрывает путь, Allow открывает, Sitemap указывает адрес карты сайта. Генератор собирает корректный файл, чтобы не закрыть случайно нужные страницы.
Нет. robots.txt лишь рекомендует не обходить страницу. Чтобы исключить из индекса наверняка, используйте мета-тег noindex.
Желательно: директива Sitemap помогает роботам быстрее найти карту сайта и проиндексировать страницы.
Строго в корне домена: site.ru/robots.txt. В подпапках он не работает.
Title, description и Open Graph теги.
Ссылки с UTM-параметрами для аналитики.
Анализ частоты слов в тексте.
Карта сайта из списка адресов.
JSON-LD разметка для страниц.
Как страница выглядит в выдаче.