Что такое IndexNow? Как он работает в Яндекс? Как добавить IndexNow в Opencart?

В октябре 2021 года Яндекс презентовал новый протокол IndexNow для ускорения индексирования сайтов.
IndexNow — это API, который позволяет мгновенно информировать поисковые системы об изменениях на сайте: добавлении новых страниц, удалении старых страниц, обновлении контента на существующих страницах.

Теперь не надо ждать пока поисковой робот зайдет на сайт и найдет новую или обновленную страницу.

Поисковые системы, которые поддерживают протокол IndexNow, договорились о том, что принятые URL-адреса в одной из них, будут автоматически переданы всем другим поисковым системам, поддерживающим этот протокол.
Поэтому, когда вы уведомите одну ПС - вы уведомите все поисковые системы.
На сегодняшний день этот протокол поддерживают Яндекс и Bing. Скорее всего в ближайшее время к ним присоединится и Google.

Как работает IndexNow в Яндексе. Ключ для верификации владельца сайта.

Для отправки URL-адресов с помощью IndexNow в Яндекс необходимо подтвердить, что вы являетесь владельцем сайта, данные которого передаются.
Для подтверждения прав используется специальный ключ — его нужно сформировать самостоятельно и разместить файл с ключом на вашем сайте.
При каждом запросе к API Яндекс проверяет ключ.

Требования к ключу

• Ключевой файл должен быть в кодировке UTF-8.
• Количество символов в ключе — от 8 до 128.
• Ключ может содержать символы a-z, A-Z , 0-9, -.

Пример ключевого файла с ключом.

Вы должны разместить текстовый ключевой файл с расширением txt и в кодировке UTF-8 в корневой директории вашего сайта.
Название файла и его содержимое должно быть одинаковым.
Например: файл "IndexNow-1234567890.txt" должен иметь содержимое/ключ "IndexNow-1234567890" без пробелов.

Допускается размещение ключевого файла не в корневой директории. В этом случае при отправке запроса нужно передавать Яндексу параметр "keyLocation" - Указание на расположение файла с ключом, если он размещен не в корневой директории сайта.

Как отправить IndexNow в Яндекс.

Чтобы отправить URL-адрес с помощью HTTP-запроса, отправьте запрос по следующему URL-адресу:

https://yandex.com/indexnow?url=url-page&key=your-key

Отправка одного URL-адреса

Например, если вы хотите уведомить поисковые системы о том, что https://www.example.org/product.html был обновлен, и вы хотите использовать этот ключ IndexNow-1234567890, запрос будет выглядеть так:

https://yandex.com/indexnow?
url=https://www.example.org/product.html&
key=IndexNow-1234567890

Вы можете выдать HTTP-запрос с помощью браузера, wget, curl или любого другого механизма по вашему выбору. Успешный запрос вернет код ответа HTTP 200; Если вы получили другой ответ, убедитесь, что вы отправляете не слишком часто, что ключ и URL-адрес действительны, и повторно отправьте запрос. Код ответа HTTP 200 указывает только на то, что поисковая система получила ваш URL-адрес.

Отправка списка URL-адресов

Чтобы отправить список URL-адресов с помощью HTTP-запроса, отправьте запрос POST JSON на URL-адрес, предоставленный поисковыми системами.

POST /IndexNow HTTP/1.1
Content-Type: application/json; charset=utf-8
Host: yandex.com
{
"host": "www.example.org",
"key": "IndexNow-1234567890",
"urlList": [
"https://www.example.org/url1",
"https://www.example.org/folder/url2",
"https://www.example.org/url3"
]
}

Допускается отправлять до 10 000 URL-адресов в одном сообщении.

Как начать работать с IndexNow в Опенкарт?

Наша команда занимается SEO продвижением интернет магазинов созданных на Опенкарт, и как только Яндекс презентовал новый протокол IndexNow мы добавили эту технологию в виде модуля на сайты наших клиентов, чьи магазины находятся у нас на SEO сопровождении.
В Opencart это работает следующим образом.
При создании нового или редактировании уже имеющегося товара или категории в админке, после сохранения товара, скрипт модуля записывает URL этого товара/категории в текстовое поле и ставит в очередь на отправку.
Если при редактировании товара вы поставили ему статус "Отключено" - урл этой страницы не отправляется в очередь.

Для ручной отправки запроса в Яндекс, на странице настройки модуля вы жмете Кнопку "Отправить IndexNow".
Для автоматической отправки есть возможность настроить отправку через Cron. Скрипт будет проверять через заданный промежуток времени наличие URL в очереди на отправку. И если такие имеются, скрипт отправит запрос Яндекс.

Если вас заинтересовал данный модуль для Опенкарт, то приобрести его можно здесь.

P.S. После написания данной статьи, мы отправили запрос IndexNow в Яндекс с URL адресом данной страницы, и вот что мы увидели в поиске через 16 минут: