Содержание

Как сделать XML-карту и задать режим обхода сайта

Создание XML-карты сайта (sitemap.xml) — обязательный пункт в списке работ по внутренней оптимизации. Зачем нужен файл sitemap, где он находится и как его создать, разбираемся в статье.

Отличие XML-карты сайта от HTML версии

Под термином «карта сайта» понимают 2 вида документов:

  • HTML (веб-страница) — перечень ссылок на страницы сайта. Нужна для навигации пользователей, обычно оформлена как древовидная структура, имеет адрес вида site.com/sitemap/ или site.com/karta-saita/ и т.п.

Пример оформления html-карты сайта

  • XML — файл в корневой папке сайта, который содержит список URL с информацией об их последнем обновлении и приоритете в индексировании. Нужна для поисковых роботов, должна быть доступна по адресу site.com/sitemap.xml.

Фрагмент XML-карты сайта

На сайте должны присутствовать и HTML карта, и XML. Первая нужна для пользователей, вторая — для роботов. Далее будем говорить об XML-карте сайта.

XML-карту удобно использовать для парсинга данных с сайтов. Парсер мета-тегов и заголовков системы PromoPult: быстро, с любого сайта. Соберем мета-теги и заголовки h2 с любого сайта. Подгрузите список страниц или карту сайта.

Синтаксис файла sitemap.xml

Первой строкой в файле sitemap указывается ссылка на пространство имен языка XML (описание стандарта, на основе которого составлен файл). Строка стандартная и всегда выглядит вот так:

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">

XML-карта сайта должна иметь кодировку UTF-8 и содержать следующие теги:

  • <urlset> — открывающий/закрывающий тег, в него заключаются все ссылки файла sitemap.
  • <url> — заключает в себе всю необходимую для робота информацию о каждой ссылке: URL, с какой периодичностью обновляется информация по этому адресу, дату последнего обновления и приоритет в индексировании.
  • <loc> — ограничивает конкретный URL:
  • <changefreq> — задает периодичность обновления информации на странице: always, hourly, daily, weekly, monthly, yearly, never (всегда, ежечасно, ежедневно, еженедельно, ежемесячно, ежегодно, никогда). Благодаря этому тегу робот может понять, насколько часто меняется содержание в документе и нужно ли его сканировать. Тег необязателен и сейчас используется крайне редко.
  • <lastmod> — указывает на дату последнего обновления страницы. Так робот понимает, изменилось ли что-нибудь с момента его предыдущего посещения.
  • <priority> — дает роботам рекомендацию о приоритете индексирования. Главная страница всегда имеет <priority> 1, остальные можно расставить в зависимости от предпочтений оптимизатора (например, 0,8, 0,6 и так далее до 0,1).

Рекомендация по количеству ссылок в файле sitemap.xml — не более 50 тысяч. Если количество страниц сайта превышает это число, нужно сделать несколько карт, а в файле по адресу site.com/sitemap.xml указать на них ссылки:

Модуль SEO в системе Promopult: все инструменты для улучшения качества сайта и поискового продвижения. Полный комплекс работ — с нами вы не упустите ни одной мелочи. Чек-листы, подсказки, прозрачная отчетность и рекомендации профессионалов. Гарантии, оплата работ в рассрочку.

XML-карта позволяет экономить краулинговый бюджет

Краулер (паук) — поисковый робот, который сканирует страницы сайта и добавляет их в индекс. Краулинговый бюджет — это количество страниц за одно посещение робота, для разных сайтов бюджет ограничен — это может быть несколько десятков или сотен документов. Именно поэтому нужно направить краулера по тем страницам, которые важны для продвижения сайта, и сделать все, чтобы он не добрался до некачественных, малоинформативных, служебных страниц.

Важно понимать, что указания в файлах robots.txt и sitemap.xml — только рекомендации для роботов.

Отсутствие файла sitemap не является критичной ошибкой. Но если поисковый бот не найдет файл sitemap.xml, он станет сканировать и добавлять в индекс документы по своему усмотрению, и тогда наличие «мусорных», служебных страниц, дублей, страниц с ошибкой 404 в индексе может стать препятствием к выходу сайта в топ.

Роботы всех поисковых систем могут самостоятельно обнаружить XML-карту сайта, если она доступна по адресу site.com/sitemap.xml, но есть способы донести до поисковиков важную информацию быстрее.

Как рассказать поисковым роботам о карте сайта

1. Указать ссылку на файл в директиве sitemap файла robots.txt:

2. Добавить файл sitemap.xml в разделы «Индексирование — Файлы Sitemap» Яндекс.Вебмастера и «Файлы Sitemap» в Google Search Console.

Яндекс и Google не только просканируют добавленный файл, но и укажут на возможные ошибки.

4 cпособа создать sitemap.xml

  1. Вручную, руководствуясь правилами синтаксиса, которые мы описали выше. Этот вариант подходит для небольших сайтов. Не забудьте разместить файл sitemap.xml в корневой папке сайта (потребуется доступ к хостингу или ftp) и проверить, открывается ли он корректно по адресу site.com/sitemap.xml.
  2. Использовать платные и бесплатные программы для генерации XML-карты сайта (например, Sitemap Generator, Sitemap Writer Pro, SiteMap XML Dynamic). Такой софт использовался до широкого распространения онлайн-генераторов. На момент написания статьи все три программы давно не обновлялись.
  3. Использовать генераторы карты сайта онлайн — самый простой и бесплатный способ создать файл sitemap.xml.
  4. Воспользоваться возможностями системы управления сайтом.

При любом способе обратите внимание на следующие моменты:

  • Разместить файл sitemap.xml нужно в корень сайта.
  • Ссылки в sitemap не должны конфликтовать с правилами в файле robots.txt. Иначе говоря, страниц, закрытых от индексации в robots.txt, не должно быть в XML-карте сайта.
  • После автоматической генерации нужно проверить и скорректировать XML-карту на предмет попадания в нее ненужных для индексации URL.

Рассмотрим подробнее самые популярные способы создания XML-карты.

Онлайн генераторы карты сайта

Если на сайте небольшое количество страниц, создайте sitemap при помощи онлайн-генераторов.

Самые популярные:

  • Mysitemapgenerator: бесплатно сканирует до 500 страниц, есть платный тариф и подписка на автоматически обновляемый файл sitemap.xml.
  • Xml-sitemaps: бесплатно без регистрации позволяет просканировать до 500 страниц, есть платный аккаунт и php-версия для установки на сервер. Англоязычный сервис.
  • Web-Site-Map: количество бесплатных страниц для генерации динамически меняется с учетом реальной нагрузки на сервер. Имеет валидатор и сообщает о битых ссылках.
  • Gensitemap: бесплатно можно просканировать до 1000 страниц.

Большой недостаток онлайн-генераторов — они создают файл sitemap.xml раз и навсегда. Если на сайт постоянно добавляются новые страницы, такой способ не подходит.

Как создать sitemap.xml в разных CMS

Во всех популярных системах управления сайтом (CMS) есть возможность создать XML-карту. Файлы sitemap в этом случае обновляются автоматически, вам не придется генерировать карту сайта заново после каждой добавленной страницы.

1C-Битрикс: встроенная функция

Настройка sitemap.xml доступна в разделе «Маркетинг» административной панели сайта:

Добавьте файл, назовите его и активируйте чекбокс о добавлении ссылки в robots.txt:

Во вкладке «Файлы» выберите разделы, которые вы хотите предоставить для индексации поисковым роботам:

То же самое проделайте во вкладке «Инфоблоки».

Сохраните все изменения и нажмите кнопку «Запустить»:

После создания карты сайта вы увидите сообщение, что генерация закончена:

WordPress: используйте плагины

XML-карта сайта настраивается в двух популярных SEO-плагинах: All in One SEO Pack и Yoast SEO. Есть также отдельный плагин для создания XML-карты — Google XML Sitemaps.

Покажем настройку на примере первого.

Сначала нужно установить плагин. Это делается в разделе «Плагины» консоли сайта. После установки он будет доступен для настройки. Нам нужен раздел «Управление модулями»:

В нем активируем модуль, который отвечает за XML-карту:

После активации модуль становится доступным для редактирования:

Далее вы можете оставить настройки по умолчанию или задать свои. Полная документация по модулю — здесь. Она на английском языке, но даже встроенный переводчик в Chrome поможет вам разобраться.

В Yoast SEO карта сайта создается автоматически по адресу site.com/sitemap_index.xml. Модуль также доступен для редактирования или можно оставить настройки по умолчанию.

Модули для других популярных CMS

  • Joomla: используйте плагины OSMap (бесплатная версия Free и платная Pro), jSitemap (платное расширение, фактически целый набор SEO-инструментов).
  • Drupal: модуль XML Sitemap.
  • Magento: настройте Site Map Configuration.

Выбирайте подходящий способ создания XML-карты сайта и сообщайте поисковым роботам, какие страницы им стоит посетить — это даст вам уверенность в том, что поисковый робот проиндексирует все нужные страницы вовремя.

Как сделать карту сайта онлайн

Сегодня расскажу про бесплатный онлайн сервис, которым я пользуюсь постоянно. Сервис называется Sitemap Generator. Как видно из названия, его предназначение состоит в создании карты сайта. Он будет крайне полезен тем, у кого свой собственный движок для сайта, но даже владельцам сайтов на WordPress (таким как и я) советую к нему присмотреться.

Думаю Вам не надо рассказывать о том, для чего нужен файл sitemap.xml и какую важную роль он выполняет в деле индексирования сайта поисковым роботом. Так вот, этот файл, помимо информации о доступных страницах, сообщает роботу еще дату их изменения и частоту, с которой они обновляются.

После того, как я установил плагин для WordPress по созданию карты сайта, оказалось, что в файле sitemap.xml была прописана частота обновления «monthly», в то время как я ежедневно обновляю контент. В настройках плагина была возможность выбора частоты сканирования, но никакие изменения этого параметра не запоминались в файле карты сайта.

Меня конечно же не устроило то, что я сам же сообщал, чтобы поисковый робот заглядывал ко мне лишь раз в месяц, а не ежедневно.

Онлайн генератор карты сайта

Я решил удалить данный плагин, а карту сайта в .xml формате создавать с помощью онлайн сервиса Sitemap Generator, указывая в ней именно те параметры, которые мне необходимы:

  • Change frequency: частота обновления контента на сайте (ставлю «Daily»)
  • Last modification: время последнего изменения страниц (ставлю «Use server’s response»)
  • Priority: приоритет сканирования страниц (ставлю «None»)

Помимо стандартного sitemap.xml файла данный онлайн сервис умеет создавать также:

  • sitemap.xml.gz – архивированный вариант карты сайта
  • ror.xml – набирающий популярность XML формат для описания любых объектов сайта для любых поисковиков
  • sitemap.html – карта сайта в HTML формате
  • urllist.txt – файл со списком всех доступных для индексации адресов страниц

Помимо этого сервис сообщит о количестве битых ссылок на Вашем сайте, если найдет таковые. Но вот их названия он готов выдать Вам лишь за 5$ ))). Еще одно ограничение бесплатной версии этого онлайн сервиса – он отобразит максимум 500 страниц в карте сайта. Я думаю это не большая беда, потому что 500 страниц как правило появляются не вдруг, поэтому никаких ограничений по этому параметру Вы долгое время не будете испытывать.

Удачи Вам в использовании этого сервиса и не забывайте следить за картой сайта для роботов!

Автор статьи: Сергей Сандаков, 40 лет.
Программист, веб-мастер, опытный пользователь ПК и Интернет.

Карта сайта (Sitemap), создание и генераторы онлайн ✔ PROject SEO

Карта сайта — это определенная страница ресурса формата html или xml. Она помогает посетителям и поисковым роботам удобно «бродить» по сайту благодаря упорядоченной системе меню. Также в ней содержится детальный список всех страниц ресурса. При помощи карты сайта можно легко сократить уровень вложенности страницы вне зависимости от изначального размера сайта. При помощи грамотно сформированной сайтмап ресурса можно в значительной степени повлиять на индексацию в положительном аспекте.

Что дает использование Sitemap

Большинство современных поисковиков обучены процессу самостоятельной индексации сайтов по заданным критериям. Но иногда бывают случаи, когда лучше им лично подсказать правильность и последовательность ходов. При помощи сайтмапа можно сделать следующие действия:

  • помочь поисковому роботу (краулеру) находить необходимые страницы сайта и своевременно проводить их индексацию;
  • расставить приоритетность страниц сайта для индексации роботом;
  • отслеживать внесенные изменения (дату изменения) на каждой странице сайта даже в случае их большого количества (при условии автоматической генерации).

Также сайтмап позволяет своевременно отслеживать частоту обновления страниц и корректировать параметр в необходимое русло.

Разновидности карт сайтов

Среди разработчиков основными считаются два типа сайтмапов — html и xml. У каждого варианта имеются свои особенности и предназначение, знание которых поможет грамотным образом использовать оба формата в личных целях.

Что такое сайтмап в формате html

Так называется статистический тип страницы, на которой перечисляются все основные страницы сайта. Данная карта сайта нужна, прежде всего, для удобства аудитории и дает возможность за 1 нажатие перейти на необходимую страницу, экономя время на поиск. Отмечается удобство формата в виде структуры дерева с наличием развернутых страниц. Располагается статистическая ссылка на карту обычно в футере. Если сайт имеет сложную структуру, сайтмап может иметь вид вложенных страниц с группировкой по удобным критериям.

Что такое карта сайта в формате xml

Так называется файл, который лежит в корневой директории ресурса и считывается всеми доступными поисковыми системами. В его задачи входит показ системам поиска всех адресов страниц, которые требуют индексацию. Также он показывает информацию по последним обновлениям интересующих разделов.

Мастера отмечают, что один такой файл может содержать до 50 тысяч ссылок за один раз. Большее количество ссылок подразумевает наличие нескольких файлов такого типа. К дополнительным бонусам пользователи относят возможность указания частоты обновления ресурсов и приоритетность индексации.

Грамотной кодировкой файлов такого типа считается форма UTF-8. Также стоит помнить и об ограничении по размерам, которое не должно превышать 10 Мб, карты большего размера также стоит разделять на несколько файлов.

Каким образом можно создать карту своего сайта

Неопытным новичкам такая процедура может показаться сложной. Существует несколько методик создания грамотного сайтмапа html и xml:

  • создание карты ручным методом. Данный метод пригодится более опытным пользователям, у которых ранее имелся опыт с основными наборами тегов. Также такой способ актуален для ресурсов с небольшим количеством страниц;
  • настройка sitemap.xml c помощью онлайн сервисов. Данные сервисы работают по схожему принципу – указываете адрес главной страницы своего сайта (https:/example.com/), а также необходимые настройки (частоту обхода, приоритетность). Чаще всего они имеют ограничение по количеству ссылок, как для платных, так и бесплатных версий, а также не все сервисы предоставляют гибкие настройки карты сайта (нет возможности задать приоритетности, либо она выставляется одинаковая для всех страниц сайта и т.д.), и такую карту необходимо дорабатывать вручную.
  • при помощи использования программ-генераторов карт сайтов. Такие программы широко используются как мастерами со стажем, так и новичками в данной области. Имеются как бесплатные, так и платные аналоги с разным набором возможностей. Схема действий аналогична онлайн-сервисам;
  • создание карты xml при помощи плагина для ЦМС или посредством движков. Еще одним хорошим методом является автоматическая генерация карты сайта. У такого метода имеется целый арсенал преимуществ в виде настроек под необходимые параметры и максимального количества возможных адресов. Также при использовании плагинов CMS после внесения изменений на страницы, дата обновления будет автоматически отображаться на в карте сайта ресурса, новые страницы также будут попадать в карту автоматически.

Перед применением системы с плагинами стоит помнить о том, что для каждой платформы сайта существует свой вариант плагина. Например, для Вордпресс актуален вариант сео-плагинов с встроенной функцией создания карты сайта. А для движка Джумла имеется вариант аналога в виде Xmap. Чем более корректно подобран плагин под движок сайта, тем более продуктивной будет их совместная работа. Помните: нагромождение плагинов также замедляет загрузку сайта, а скорость загрузки является одним из фактором ранжирования.

Некоторые мастера рекомендуют исключать из индексации страницы сайта, которые не несут коммерческой или иной важной пользы владельцу. Таким образом веб-краулер экономит свое время на индексацию, а это в свою очередь повышает их уровень доверия к ресурсу. Ввиду ограниченности ресурса повышается также вероятность того, что роботы сами найдут необходимые страниц из меньшего числа.

Как часто можно обновлять карту сайта .xml

Норматива общепринятого формата по частоте обновлений, к сожалению, не существует. Это зависит от частоты создания новых страниц, изменений в адресах или контенте, а также наличия связи с уже существующими страницами. Важно при этом знать, что не стоит злоупотреблять манипуляциями по частоте обхода (changefreq),  а также обновлять дату изменения на странице, если она в действительности не изменялась. Например, если установить частоту обновлений 1 раз за год, роботы будут приходить почаще на сайт.

Если указать частоту 1 раз за час, робот скорее всего не станет тратить свое время на индексацию таких страниц. Также с датой обновления — если в карте сайта будет много страниц без изменений, но со “свежей” датой, роботы не будут посещать данные страницы. Директивы, указанные в карте сайте, являются рекомендациями,  а не правилами для поисковых краулеров.

Карту сайта html создается для удобства пользователей,  поэтому ее обновление необходимо каждый раз, когда вы вносите изменения в структуру сайта (добавляете новые важные для посетителя страницы сайта, удаляете их или перемещаете в иной раздел).

Наиболее часто возникающие ошибки

Существует ряд типовых ошибок, которые маркетологи допускают в создании и обработке карт сайтов. К ним относят:

  • наличие битых ссылок;
  • наличие редиректов;
  • неправильно указанные даты публикации или обновления.

Наличие большого количества ошибок не только делают карту сайта бесполезной, а также запутывают поискового робота, что может негативно сказаться на индексации и ранжировании страниц.

Устранение ошибок позволит роботу использовать освободившиеся ресурсы на обход важных страниц, а следовательно повысить их позиции в выдачи поисковой системы.

Размещение xml карты сайта

Созданный сайтмап следует загрузить в корень каталога сайта. Поисковые краулеры вполне могут сами отыскать карту, но также есть способы указания ссылки на сайт, для того, чтобы робот нашел ее раньше. Прежде всего это указание ссылки на карту в файле robots.txt . Директива имеет следующий вид:

Sitemap: http://mysite.com/sitemap.xml

Также ссылку на карту сайта можно указать в веб-мастерах Google и Яндекс.

Проверка корректности работы карты сайта xml

Чтобы проверить правильность работы карты сайта созданы специальные программы, работающие в режиме онлайн. Они сделают проверку в автоматическом режиме, кроме того предоставят ряд дополнительных бонусов. Например, укажут на наличие возможных ошибок со стороны ресурса. Преимущество в том, что данные программы являются бесплатными и работают практически на всех площадках.

Чтобы провести процесс проверки необходимо открыть страницу искомого сервиса, загрузить необходимый файл в формате html, либо ввести в поле соответствующий URL сайта. При наличии ошибок на сайте программа вовремя подскажет, какие из них дают сбои и подскажет пути их решения.

По итогу можно сказать, что карты сайтов являются удобным инструментом, задача которого состоит в упрощении передачи не только пользователям структуры базовых страниц, но и поисковым роботам. Без карт можно в принципе добиться индексации роботами, но с ними процесс будет более быстрым и грамотно оформленным. При отсутствии опыта работы с картами сайта можно обратиться к профессионалам PROjectSEO, которые грамотно настроят sitemap и помогут Вашему сайту быстрее выбраться в топ поисковых систем.

СимволЭкранированная последовательность
Амперсанд&&amp;
Одинарные кавычки‘&apos;
Двойные кавычки“&quot;
Больше чем>&gt;
Меньше чем<&lt;