sitemap
sitemap

13 лучших практик по оптимизации XML-карты сайта

Создание XML-карты сайта – это важный шаг в оптимизации любого ресурса. Этот файл не только предоставляет поисковым системам сведения о структуре сайта, но может также включать такие важные данные, как:

Частота обновления каждой страницы;
Дата последнего изменения страниц;
Какие связи существуют между страницами.
Наличие XML-карты необходимо для тех ресурсов, которые:

Содержат большое количество архивированного контента, не связанного между собой;
Практически не имеют внешних ссылок;
Содержат сотни или даже тысячи страниц.
Как следует из названия, файлы XML Sitemap предоставляют поисковым роботам карту сайта, что помогает им находить и индексировать его страницы.

В этой статье мы обсудим самые важные моменты, которые нужно знать для создания и оптимизации карты сайта.

Используйте инструменты и плагины для автоматического создания карты сайта

При наличии подходящих инструментов создание карты сайта не представляет собой особого труда. Например, с этой целью можно использовать популярный плагин Google XML Sitemaps. WordPress-сайты могут использовать с этой целью плагин Yoast SEO.

Кроме того, вы можете создать карту сайта вручную, следуя структуре кода XML-карты. Технически, ваша карта сайта даже не должна быть в формате XML – достаточно текстового файла с новой строкой для каждого URL.

Тем не менее, если вы хотите настроить атрибут hreflang, вам нужно будет создать полную XML-карту сайта, поэтому гораздо проще позволить инструменту сделать эту работу для вас.

Более подробную информацию о создании файлов Sitemap для Google можно найти в Справке Search Console.

Отправляйте карту сайта в Google

Отправить файл Sitemap можно через Search Console. Перед отправкой его нужно проверить, чтобы исключить ошибки, которые могут помешать индексации целевых страниц.

В идеале, файл должен содержать все те страницы, которые должны быть проиндексированы.

При этом важно понимать, что отправка файла Sitemap позволяет сообщить Google, какие страницы вы считаете высококачественными и достойными индексации, но не гарантирует, что они будут проиндексированы.

Вместо этого отправка файла Sitemap позволяет:

Помочь Google понять структуру сайта;
Выявить ошибки, которые можно исправить, чтобы страницы корректно индексировались.
Приоритезируйте страницы высокого качества

Когда речь заходит о ранжировании, то качество сайта в целом является ключевым фактором. Если ваша карта сайта направляет ботов к тысячам низкокачественных страниц, поисковые системы интерпретируют эти страницы как знак того, что ваш сайт не является тем, что хотят видеть пользователи – даже если это URL, важные для сайта, например, страницы авторизации.

Вместо этого направляйте поисковых роботов к самым важным страницам сайта. Отлично, если эти URL:

Хорошо оптимизированы;
Содержат изображения и видео;
Имеют большое количество уникального контента.
Повышайте вовлечённость пользователей через комментарии и отзывы.

Изолируйте проблемы индексации

Сложностью работы с Search Console является тот факт, что если Google не индексирует все страницы, то сервис не сообщает, какие URL являются проблемными.

Например, вы отправили в Google список из 20 тыс. страниц, из которых были проиндексированы только 15 тыс. Какие 5 тыс. страниц Google расценил как «проблемные», вы не узнаете.

Это особенно актуально для крупных интернет-магазинов, имеющих несколько страниц для очень похожих товаров.

Для выявления проблемных URL SEO-консультант Майкл Коттам (Michael Cottam) рекомендует разделять страницы товаров на разные XML-карты и тестировать каждую из них. При этом он советует создавать файлы Sitemap, которые подтверждают отдельные гипотезы, такие как «страницы, у которые нет изображений, не индексируются» или «страницы, не имеющие уникального описания, не индексируются».

Когда вы изолируете основные проблемы, далее вы сможете поступить двумя способами: начать работу над улучшением этих URL; добавить на эти страницы атрибут noindex, чтобы они не снижали качество сайта в целом.

Включайте в файл Sitemap только канонические версии URL

Когда у вас есть несколько очень похожих URL, таких как страницы для разных расцветок одного и того же товара, вам следует использовать атрибут rel=canonical, чтобы Google было понятно, какая страница является основной и должна индексироваться.

Поисковым роботам будет проще определить ключевые URL, если вы не будете добавлять в карту сайта страницы с каноническими ссылками, ведущими на другие страницы.

Используйте метатег robots вместо файла robots.txt, когда это возможно

Если вы не хотите, чтобы страница индексировалась, используйте метатег robots “noindex,follow”, чтобы запретить Google индексировать контент, но разрешить переходить по ссылкам. Так вы сохраните ссылочный вес. Этот способ особенно полезен для тех utility-страниц, которые важны для сайта, но не должны показываться в результатах поиска.

Использовать файл robots.txt для блокировки страниц от индексации следует лишь в том случае, если у вас ограниченный бюджет сканирования.

Если вы заметите, что Google повторно сканирует и индексирует не очень важные страницы (например, страницы отдельных товаров) за счёт основных страниц, вы можете использовать файл robots.txt.

Не включайте URL с атрибутом noindex в файл Sitemap

Когда вы отправляете в Google карту сайта, которая содержит заблокированные и закрытые атрибутом noindex страницы, вы одновременно сообщаете Google две противоречащие друг другу вещи: «эти страницы нужно индексировать» и «эти страницы запрещено индексировать».

Непоследовательность – это распространённая ошибка. Избегайте таких ситуаций.

Создавайте динамические XML-карты для крупных сайтов

На крупном сайте практически невозможно везде, где нужно, добавить тег robots с нужными атрибутами.

Вместо этого вы должны настроить логику правил, чтобы определить, когда страница будет включена в вашу XML-карту сайта и/или изменена с noindex на «index, follow».

Подробная инструкция по созданию динамической XML-карты сайта доступна по ссылке (на английском языке). Однако, опять же, это намного проще сделать с помощью инструмента, который выполняет эту задачу автоматически.

Используйте и файлы XML Sitemap, и RSS/Atom-фиды

Фиды RSS/Atom оповещают поисковые системы всякий раз, когда вы обновляете страницу или добавляете свежий контент на сайт.

Google рекомендует использовать и файлы Sitemap, и фиды RSS/Atom, чтобы поисковые системы могли понять, какие страницы должны быть проиндексированы и обновлены.

Добавляя в RSS/Atom-фиды только недавно обновлённый контент, вы облегчите нахождение свежего контента и для поисковых роботов, и для посетителей сайта.

Обновляйте дату последней модификации страницы только при существенных изменениях

Не пытайтесь заставить поисковые системы повторно индексировать URL, меняя время их последнего обновления без внесения существенных изменений в содержимое страницы.

Помните, что Google может начать удалять ваши временные метки, если они постоянно обновляются, а на странице практически ничего не меняется.

Не беспокойтесь слишком много о настройках приоритетности

В некоторых XML-картах сайта имеется столбец «Priority», сообщающий поисковым системам, какие страницы являются наиболее важными. Однако, действительно ли эта функция работает, вопрос спорный.

Поддерживайте размер файла Sitemap как можно меньшим

Чем меньше размер файла Sitemap, тем меньше нагрузка на сервер. Google и Bing оба увеличили допустимый размер файлов Sitemap с 10 до 50 МБ в 2016 году, однако до сих пор лучшей практикой является поддержание небольшого размера этого файла и приоритезация основных целевых страниц.

Создавайте несколько файлов Sitemap, если сайт содержит более 50 тыс. URL

Вы ограничены 50 тыс. URL из расчёта на одну карту сайта. Хотя для большинства сайтов этого более, чем достаточно, некоторым ресурсам нужно создавать больше одного файла Sitemap. Например, еcommerce-сайтам нужно создавать несколько карт сайта для обработки дополнительных страниц товаров.

Posted in web