Как правильно настроить файл robots.txt в Opencart 3

После того как вы создали свой магазин на Опенкарт 3, одно из самых важных действий которое необходимо выполнить в первую очередь, это настроить файл robots.txt

Что такое robots.txt и для чего он нужен в Опенкарт 3

Robots.txt это текстовый файл который содержит рекомендации для роботов поисковых систем какие страницы индексировать, а какие нет.
В Opencart 3 есть множество страниц, которые нужно закрыть от индексирования поисковиками.
Это все страницы админки, служебные страницы, страницы кабинета пользователя, оформления заказа, регистрации и т.д.
Во первых делать это нужно для того, что бы все эти второстепенные страницы не конкурировали в поисковой выдаче с основными страницами (страницами товаров, категорий) по коммерческим запросам.
Во вторых, для того что бы снизить нагрузку на сайт при обходе поисковыми роботами.

Файл robots.txt поддерживает следующие директивы:

• User-agent * - Указывает для какого робота действуют перечисленные правила.
• Disallow -Запрещает роботу индексировать разделы или отдельные страницы сайта.
• Allow - Разрешает роботу индексировать разделы или отдельные страницы сайта.
• Clean-param - Указывает роботу, что URL страницы содержит параметры (например, UTM-метки), которые не нужно учитывать при индексировании.
• Host - указывает главное зеркало сайта
• Sitemap - Указывает путь к xml карте сайта sitemap.

В базовой версии Опенкарт 3 уже есть файл robots.txt, в котором перечислены основные правила для роботов. При необходимости вы можете дополнить его своими правилами. Так же вам нужно указать директивы (User-agent: Yandex) - Clean-param Host, Sitemap непосредственно для домена вашего сайта.

Как заполнить robots.txt если у вас кириллический домен?

Использование кириллицы запрещено в файле robots.txt и HTTP-заголовках сервера.
Для указания домена используйте Punycode. (Для кодировки воспользуйтесь этим конвертером) А адрес страницы указывайте в кодировке, соответствующей кодировке текущей структуры сайта.

Правильно настроенный файл robots.txt для Опенкарт 3

Ниже Вы можете скопировать уже готовый, правильный robots.txt и разместить его на своем сайте.
Только ВАЖНО!!! Не забудьте изменить в 3-х нижних строчках site.ru на ваш домен.

User-agent: *
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*?tracking=
Disallow: /*&tracking=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*brands
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
 
User-agent: Yandex
Disallow: /*route=account/
Disallow: /*route=affiliate/
Disallow: /*route=checkout/
Disallow: /*route=product/search
Disallow: /index.php?route=product/product*&manufacturer_id=
Disallow: /admin
Disallow: /catalog
Disallow: /system
Disallow: /*?sort=
Disallow: /*&sort=
Disallow: /*?order=
Disallow: /*&order=
Disallow: /*?limit=
Disallow: /*&limit=
Disallow: /*?filter_name=
Disallow: /*&filter_name=
Disallow: /*?filter_sub_category=
Disallow: /*&filter_sub_category=
Disallow: /*?filter_description=
Disallow: /*&filter_description=
Disallow: /*compare-products
Disallow: /*search
Disallow: /*cart
Disallow: /*checkout
Disallow: /*login
Disallow: /*logout
Disallow: /*vouchers
Disallow: /*wishlist
Disallow: /*my-account
Disallow: /*order-history
Disallow: /*newsletter
Disallow: /*return-add
Disallow: /*forgot-password
Disallow: /*downloads
Disallow: /*returns
Disallow: /*transactions
Disallow: /*create-account
Disallow: /*recurring
Disallow: /*address-book
Disallow: /*reward-points
Disallow: /*affiliate-forgot-password
Disallow: /*create-affiliate-account
Disallow: /*affiliate-login
Disallow: /*affiliates
Disallow: /*?filter_tag=
Disallow: /*brands
Disallow: /*specials
Disallow: /*simpleregister
Disallow: /*simplecheckout
Disallow: *utm=
Allow: /catalog/view/javascript/
Allow: /catalog/view/theme/*/
Clean-Param: utm_source&utm_medium&utm_campaign site.ru
Host: https://site.ru
Sitemap: https://site.ru/index.php?route=feed/google_sitemap