IndexNow: как автоматически удалять неактивные ссылки из индекса WordPress

Ведение сайта на WordPress предполагает постоянную работу с обновлением контента, изменением структуры и удалением устаревших страниц. Одной из частых проблем является появление неактивных, битых или удалённых ссылок, которые продолжают попадать в индекс поисковых систем. Это негативно сказывается на SEO и пользовательском опыте.

Почему важно удалять неактивные ссылки из индекса

Поисковые системы, индексируя страницы с ошибками 404 или устаревшим контентом, снижают рейтинг сайта и могут уменьшить частоту обхода актуальных страниц. Автоматическое уведомление поисковиков об удалении или изменении URL с помощью протокола IndexNow позволяет значительно ускорить процесс обновления индекса и улучшить качество выдачи.

Ручное удаление ссылок из индекса — трудоёмко и неэффективно, особенно для крупных сайтов с сотнями или тысячами URL. Поэтому автоматизация этого процесса — необходимость.

Как обнаружить неактивные ссылки на сайте WordPress

Для начала необходимо выявить, какие URL возвращают ошибки или ведут на пустые страницы. Вот несколько способов:

• Плагин Clearfy Pro имеет встроенный инструмент поиска битых ссылок и ошибок 404, что помогает быстро получить список проблемных URL.
• Использование внешних сервисов, например, Screaming Frog или Ahrefs, для сканирования сайта.
• Анализ логов сервера для выявления частых ошибок 404.

После сбора списка неактивных ссылок стоит настроить их автоматическую отправку в поисковые системы с помощью IndexNow.

Автоматическое удаление неактивных ссылок из индекса с помощью IndexNow

Протокол IndexNow позволяет отправлять поисковикам список URL, которые были удалены или изменены, чтобы они оперативно обновили индекс. В WordPress можно реализовать автоматическую отправку с помощью плагинов или собственного кода.

Пример кода для автоматической отправки удалённых URL в IndexNow

Добавим функцию, которая при удалении записи в WordPress будет отправлять URL в IndexNow с указанием, что страница удалена:

function indexnowsu_send_deleted_url_to_indexnow($post_id) {
    if ( wp_is_post_revision($post_id) ) {
        return;
    }

    $url = get_permalink($post_id);
    if ( !$url ) {
        return;
    }

    $key = 'ВАШ_КЛЮЧ_INDEXNOW'; // Получите ключ по инструкции IndexNow
    $hostname = parse_url(home_url(), PHP_URL_HOST);
    $endpoint = 'https://api.indexnow.org/indexnow?key='.$key.'&url='.urlencode($url);

    $response = wp_remote_post($endpoint, [
        'headers' => [
            'Content-Type' => 'application/json',
        ],
        'body' => json_encode(['host' => $hostname, 'key' => $key, 'urlList' => [$url]]),
        'timeout' => 10,
    ]);

    if ( is_wp_error($response) ) {
        error_log('IndexNow error: '.$response->get_error_message());
    }
}
add_action('before_delete_post', 'indexnowsu_send_deleted_url_to_indexnow');

Этот код использует хук before_delete_post для отправки URL удаляемого поста в IndexNow. Обратите внимание, что необходимо получить и указать свой уникальный ключ IndexNow.

Плагины для интеграции IndexNow и управления неактивными ссылками

Если вы предпочитаете готовые решения, обратите внимание на следующие плагины:

• Clearfy Pro — содержит функционал для управления индексированием и отправки URL по протоколу IndexNow.
• Redirection — позволяет автоматически отслеживать ошибки 404 и настраивать редиректы, что уменьшит количество неактивных ссылок.

Обработка массовых удалений и обновлений URL

Для крупных сайтов, где удаление страниц происходит пакетно, рекомендуется реализовать массовую отправку URL. Это можно сделать через WP-CLI или отдельный скрипт, который формирует массив URL и отправляет их пачками через IndexNow API.

Пример запроса для отправки нескольких URL:

$urls = [
    'https://site.ru/page1',
    'https://site.ru/page2',
    'https://site.ru/page3'
];

$body = json_encode([
    'host' => $hostname,
    'key' => $key,
    'urlList' => $urls
]);

$response = wp_remote_post('https://api.indexnow.org/indexnow', [
    'headers' => ['Content-Type' => 'application/json'],
    'body' => $body,
    'timeout' => 15
]);

Такой подход значительно ускоряет процесс актуализации индекса и снижает нагрузку на сайт.

Рекомендации по мониторингу и поддержке чистоты индекса

Для поддержания актуального индекса необходимо регулярно:

• Проводить аудит сайта на предмет битых ссылок и ошибок 404.
• Настраивать автоматическую отправку удалённых URL в IndexNow.
• Использовать кэширование и CDN, чтобы минимизировать нагрузку при массовой отправке.
• Обращать внимание на отчёты поисковых систем и своевременно реагировать на предупреждения.

В комплексе эти действия помогут удерживать сайт в топе поисковой выдачи и улучшать пользовательский опыт.