Как настроить файл robots.txt в интернет-магазине

Файл robots.txt сообщает поисковым роботам, какие страницы сайта нужно индексировать, а какие — нет. Это помогает улучшить поисковую выдачу и снизить нагрузку на сервер.

Правила для файла robots.txt укажите в панели управления магазином. Перейдите в раздел Настройки и найдите поле robots.txt.

---

Как запретить индексацию ненужных страниц

Особенности для магазинов в подпапке

Примеры ниже составлены для магазина в корне домена (например, mydomain.ru).

Если магазин находится в подпапке (например, mydomain.ru/shop/), добавьте имя подпапки в начале каждого правила вместо символа «/».

Для магазина mydomain.ru/shop/ правило:

Disallow: /tag/

нужно изменить на:

Disallow: /shop/tag/

Примеры директив

Директива	Что запрещено индексировать
Disallow: /search/?query=	Страница с результатами поиска товаров
Disallow: /compare/	Страница с результатами сравнения товаров
Disallow: /tag/	Страница с результатами поиска по тегам
Disallow: *&sort= Disallow: */?sort=	Страницы с результатами сортировки товаров в категории
Disallow: /cart/	Страница корзины покупателя
Disallow: /order/	Страница оформления заказа в корзине
Disallow: /checkout/	Страницы пошагового оформления заказа
Disallow: /my/	Личный кабинет покупателя
Disallow: /signup/	Страница регистрации покупателя
Disallow: /login/	Страница входа в личный кабинет
Disallow: /forgotpassword/	Страница восстановления пароля
Disallow: /webasyst/	Страница входа в панель управления магазином

---

Как снизить нагрузку на сервер

Директива Crawl-delay ограничивает частоту обращений поисковых роботов к сайту. После каждого запроса робот сделает паузу указанной продолжительности.

Значение указывается в секундах.

Пример

Crawl-delay: 10

Некоторые поисковые системы не учитывают этот параметр. Регулировать частоту индексации для «Яндекса» и Google нужно в «Яндекс.Вебмастере» и Google Search Console соответственно.