Техническое SEO для WordPress: Sitemap, robots.txt и canonical-теги

Почему техническое SEO — основа ранжирования WordPress

Техническое SEO для WordPress охватывает все меры, которые обеспечивают правильную индексацию, сканирование и понимание вашего сайта поисковыми системами. Без надёжного технического фундамента даже самый качественный контент теряет эффективность.

Три столпа технического SEO:

1. Краулируемость — Может ли Google найти все важные страницы?
2. Индексируемость — Индексируются ли нужные страницы?
3. Рендеринг — Может ли Google корректно отображать контент?

XML-карта сайта: Дорожная карта вашего сайта

Карта сайта WordPress — это XML-файл, в котором перечислены все важные URL вашего сайта для поисковых систем. Она помогает Google быстрее обнаруживать новые и обновлённые страницы.

Стандартная карта сайта WordPress vs. Карта сайта плагина

Начиная с WordPress 5.5 существует нативная карта сайта по адресу /wp-sitemap.xml. Однако у неё есть ограничения:

Функция	WP Нативный	Yoast SEO	Rank Math	SEOPress

|---|---|---|---|---|

Автоматическая генерация	✅	✅	✅	✅
Фильтрация типов записей	❌	✅	✅	✅
Исключение страниц	❌	✅	✅	✅
Карта сайта изображений	❌	✅	✅	✅
Дата последнего изменения (lastmod)	❌	✅	✅	✅
Установка приоритетов	❌	❌	✅	✅

Рекомендация: Используйте карту сайта вашего SEO-плагина и отключите нативную карту сайта WordPress.

Отправка карты сайта в Google Search Console

1. Откройте Google Search Console
2. Перейдите в *Карты сайта*
3. Введите URL карты сайта (например, /sitemap_index.xml)
4. Нажмите *Отправить*

Регулярно проверяйте статус — Google показывает, сколько URL было отправлено и сколько индексировано.

Что должно быть в карте сайта — а что нет?

Включать:

• Все страницы и записи, которые должны индексироваться
• Важные страницы категорий и тегов
• Страницы товаров (WooCommerce)

Исключать:

• Страницы с тегом noindex
• Страницы благодарности и подтверждения
• Страницы внутреннего поиска
• Пагинированные страницы архивов (/page/2/, /page/3/)

robots.txt: Стратегическое управление краул-бюджетом

Файл robots.txt находится в корневой директории вашего домена и указывает ботам поисковых систем, какие области они могут сканировать, а какие нет.

Оптимальный robots.txt для WordPress

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

# Block spam and parameter URLs
Disallow: /?s=
Disallow: /wp-json/
Disallow: /wp-login.php

# Declare sitemap
Sitemap: https://your-domain.com/sitemap_index.xml

Распространённые ошибки в robots.txt

• Весь сайт заблокирован: Disallow: / блокирует всё — фатальная ошибка
• CSS/JS заблокированы: Google должен иметь возможность сканировать CSS и JavaScript для корректного рендеринга страниц
• wp-admin/admin-ajax.php не разрешён: Многие темы и плагины загружают контент через AJAX — этот URL должен быть доступен
• Карта сайта не указана: Указание карты сайта в robots.txt ускоряет обнаружение

Редактирование robots.txt в WordPress

Без плагина WordPress создаёт виртуальный robots.txt. Для его редактирования:

1. SEO-плагин: Yoast и Rank Math предлагают редактор robots.txt
2. Вручную: Загрузите файл через FTP/SFTP в корневую директорию
3. Плагин: "WP Robots Txt" для простого интерфейса редактирования

Canonical-теги: Предотвращение дублированного контента

Canonical-теги () указывают Google, какая версия страницы является «оригинальной версией». Это крайне важно, поскольку WordPress часто генерирует несколько URL для одного и того же контента.

Типичные сценарии дублированного контента в WordPress

• www и non-www: www.domain.com и domain.com
• HTTP и HTTPS: http:// и https://
• Завершающий слеш: /page и /page/
• Параметры URL: /page/?utm_source=newsletter
• Пагинация: /category/ и /category/page/2/
• Страницы архивов: Архивы по автору, дате и тегу

Правильная настройка canonical-тегов

SEO-плагины WordPress устанавливают canonical-теги автоматически. Как правило, canonical указывает на чистый URL без параметров:

<!-- On page /article/?utm_source=newsletter -->
<link rel="canonical" href="https://domain.com/article/" />

Разметка Schema / Структурированные данные

Структурированные данные помогают Google отображать ваш контент в виде расширенного сниппета. Внедрите разметку schema для статей, товаров, FAQ и отзывов, чтобы повысить видимость в результатах поиска.

Проверка технического SEO: Инструменты и методы

Инструмент	Бесплатный	Проверяет

|---|---|---|

Google Search Console	✅	Индексация, ошибки краулинга, Core Web Vitals
Screaming Frog SEO Spider	До 500 URL	Canonical, robots.txt, редиректы, дублированный контент
Ahrefs Site Audit	❌	Комплексная техническая проверка
PageSpeed Insights	✅	Core Web Vitals, производительность
AniSEO	Freemium	Автоматизированный SEO-анализ с помощью ИИ

---

AniSEO: Автоматическая оптимизация WordPress SEO

Сэкономьте часы ручной работы — AniSEO анализирует ваши страницы WordPress с помощью ИИ, создаёт оптимизированные мета-теги, улучшает контент и автоматически отслеживает ваши позиции.

Попробуйте AniSEO бесплатно →

---

Часто задаваемые вопросы (FAQ)

Нужна ли XML-карта сайта для WordPress?

Строго говоря, нет — Google находит большинство страниц через ссылки. Но карта сайта значительно ускоряет индексацию, особенно для новых страниц и крупных сайтов. Нет причин отказываться от неё.

Что произойдёт, если canonical-тег настроен неправильно?

Google может проиндексировать неправильную страницу или разделить ваши позиции между несколькими URL. Регулярно проверяйте в Google Search Console в разделе «Страницы» наличие проблем с canonical.

Стоит ли блокировать /wp-json/ в robots.txt?

Для большинства сайтов — да. Конечные точки REST API не представляют SEO-ценности и потребляют краул-бюджет. Исключение: если вы используете headless WordPress или вам нужен API для публичных интеграций.

В чём разница между robots.txt и мета-тегом Robots?

robots.txt блокирует сканирование — Google вообще не видит страницу. Мета-тег robots (noindex) разрешает сканирование, но предотвращает индексацию. Для «не индексировать» мета-тег является лучшим выбором, поскольку Google всё равно может анализировать контент и переходить по ссылкам на странице.