IndexNow и WooCommerce: решение проблем отправки URL при масштабных изменениях

Диагностика проблем с массовой отправкой URL в WooCommerce через IndexNow

При крупных обновлениях в WooCommerce — например, массовом изменении цен, статусов или наличия товаров — стандартные методы отправки URL в IndexNow могут не справляться с нагрузкой. Это приводит к задержкам в индексации, ошибкам 429 (слишком много запросов) и неполной обработке изменений поисковыми системами.

Для диагностики проблем используйте следующие шаги:

• Проверьте логи сервера и плагина, который отвечает за отправку URL. Ищите ошибки с HTTP-кодами 429, 503 или таймауты.
• Используйте отладочные инструменты IndexNow (например, отправку тестового URL через curl) для проверки отклика сервера поисковой системы.
• Проверьте, не превышаете ли вы лимиты частоты запросов IndexNow (обычно не более 10 000 URL в сутки).
• Используйте WP-CLI для мониторинга очередей отправки URL, если используете плагин с очередью.

Пошаговое решение: оптимизация отправки URL из WooCommerce в IndexNow при массовых изменениях

1. Разделение отправки URL на пакеты

Отправляйте URL партиями по 10–50 штук с небольшими паузами между запросами. Это минимизирует риск превышения лимитов и ошибок.

function send_indexnow_batch(array $urls) {
    $endpoint = 'https://www.bing.com/indexnow';
    $key = 'ваш_ключ_IndexNow';
    $host = parse_url(home_url(), PHP_URL_HOST);

    $payload = [
        'host' => $host,
        'key' => $key,
        'urlList' => $urls
    ];

    $args = [
        'body' => json_encode($payload),
        'headers' => [
            'Content-Type' => 'application/json'
        ],
        'timeout' => 10
    ];

    $response = wp_remote_post($endpoint, $args);

    if (is_wp_error($response)) {
        error_log('IndexNow error: ' . $response->get_error_message());
        return false;
    }

    return wp_remote_retrieve_response_code($response) === 200;
}

2. Использование WP Cron для поэтапной отправки

Активируйте WP-Cron-задачу, которая будет по таймеру отправлять очередные пакеты URL, избегая перегрузки.

add_action('indexnow_send_batch', 'process_indexnow_queue');

function process_indexnow_queue() {
    $urls = get_option('indexnow_url_queue', []);
    if (empty($urls)) {
        return;
    }

    $batch = array_splice($urls, 0, 20); // берем 20 URL за раз

    if (send_indexnow_batch($batch)) {
        update_option('indexnow_url_queue', $urls);
    } else {
        // при ошибке можно добавить логику повторной попытки
    }

    if (!empty($urls)) {
        wp_schedule_single_event(time() + 60, 'indexnow_send_batch'); // следующая отправка через минуту
    }
}

3. Добавление URL в очередь при массовых изменениях

При массовом обновлении товаров добавляйте измененные URL в очередь:

function enqueue_indexnow_urls_on_bulk_update($product_ids) {
    $queue = get_option('indexnow_url_queue', []);

    foreach ($product_ids as $product_id) {
        $url = get_permalink($product_id);
        if ($url && !in_array($url, $queue)) {
            $queue[] = $url;
        }
    }

    update_option('indexnow_url_queue', $queue);

    if (!wp_next_scheduled('indexnow_send_batch')) {
        wp_schedule_single_event(time(), 'indexnow_send_batch');
    }
}

add_action('woocommerce_product_bulk_edit_save', 'enqueue_indexnow_urls_on_bulk_update');

Проверка результата после внедрения

• Проверьте логи, чтобы убедиться, что нет ошибок при отправке URL.
• Отслеживайте статистику индексации в Bing Webmaster Tools — новые или изменённые URL должны быстро попадать в индекс.
• Используйте инструменты разработчика, чтобы проверить, что запросы к IndexNow отправляются пакетами и с задержками.
• Следите за нагрузкой на сервер — она должна оставаться стабильной без резких пиков.

Частые ошибки и как их исправить

• Ошибка 429 (Too Many Requests): Часто возникает при отправке слишком большого количества URL за короткий промежуток. Решение — разбивать отправку на меньшие пакеты и использовать WP Cron с задержками.
• Отсутствие обновления индекса: Проверьте правильность ключа IndexNow и домена. Убедитесь, что ключ размещен в корне сайта и совпадает с указанным в запросах.
• Повторные попытки без успеха: Добавьте логирование ошибок и реализуйте экспоненциальный бэкофф в повторных запросах.
• Потеря URL в очереди: Используйте надежное хранение очереди (опции WordPress или transient с длительным сроком) и избегайте очисток данных плагинами оптимизации.

Практические советы по безопасности и производительности

• Храните ключ IndexNow в wp-config.php или защищенной опции с правами доступа, не выводите его в публичный код.
• Ограничьте количество URL в одном запросе до рекомендованных 50 — большее количество не поддерживается.
• Используйте транзиенты для кеширования списка измененных URL, чтобы избежать повторных вычислений при массовых операциях.
• Если у вас большой магазин, рассмотрите использование сторонних очередей (Redis, RabbitMQ) для более надежной обработки отправки.
• Регулярно обновляйте WooCommerce и используемые плагины, чтобы избежать конфликтов и ошибок с хук-системой отправки URL.

Таблица сравнения вариантов отправки URL в IndexNow для WooCommerce