Почему не индексируется сайт в яндексе: Почему Яндекс не индексирует сайт, как проиндексировать сайт

Распространенные ошибки — Вебмастер. Справка

Одним из важнейших свойств интернета является свобода представления информации и большое разнообразие всевозможных форматов. Поисковая система Яндекс стремится корректно индексировать и ранжировать все документы, которые ей доступны. Однако, к сожалению, все еще возможны ситуации, когда та или иная информация будет воспринята нашими роботами не так, как это предполагалось вебмастерами:

• Навигация через скрипты. Наиболее распространенным способом размещения ссылки является HTML тег <A>. Но существуют и другие способы навигации между страницами. Например, можно использовать технологии JavaScript или Flash. Робот Яндекса не переходит по таким ссылкам, поэтому следует дублировать ссылки, реализованные при помощи скриптов, обычными текстовыми ссылками.

• Использование <iframe>. Для корректного ранжирования документа не рекомендуется использовать тег <iframe>, так как поисковый робот Яндекса не индексирует документы, подгружаемые в него.

• Избыточное автоматическое перенаправление (редиректы). По возможности избегайте использования редиректов. Редирект может быть полезен только в том случае, если адреса страниц меняются по техническим причинам и необходимо перенаправить пользователя на новый адрес страницы. Подробно см. в разделе Обработка редиректов.

• Адреса страниц. Каждая страница должна быть доступна по единственному и постоянному адресу. Желательно, чтобы адреса страниц сайта не содержали идентификаторы сессий, по возможности они также должны быть избавлены от списков cgi-параметров, заданных в явном виде.

• Клоакинг. Избегайте ситуаций, когда поисковый робот индексирует одно содержание страницы, а пользователь при обращении к этой странице получает другое. Например, в версиях сайта для разных регионов, о которых будет рассказано в разделе «Региональность».

• Изображения вместо текста. Избегайте создания страниц, не содержащих текст. Если главная страница сайта выполнена в виде изображения, являющегося ссылкой на основную часть сайта, и сама не содержит текста, это может помешать ранжированию сайта. Это происходит из-за того, что большинство внешних ссылок, как правило, ведут на главную страницу сайта, и если это документ без текста, надежность определения содержания документа несколько уменьшается.

• Soft 404. Одна из распространенных ошибок заключается в замене сообщения об ошибке 404 (страница не найдена) для несуществующих страниц на страницу-заглушку, которая возвращается с кодом ответа 200 (ОК). В этом случае поисковая система считает, что страница с некорректным адресом существует, и не удаляет ее из своей базы. Это приводит к более медленному индексированию полезных страниц на сайте.

• Движок сайта. Следите за корректностью работы программного обеспечения сайта — ошибки в скриптах сайта могут привести к тому, что одни и те же страницы при переходе на них из разных разделов будут иметь разные адреса. Это может негативно отразиться на индексировании сайта. Кроме того, ошибки в «движках» могут быть использованы злоумышленниками (например, для размещения ссылки на вредоносный сайт).

Узнавать об ошибках индексирования, если таковые возникают, можно в сервисе Яндекс.Вебмастер.

Примечание.

Чем проще и понятнее будет устроен ваш сайт, тем лучше он будет индексироваться.

К следующему разделу

Google и Яндекс не индексируют сайт: причины, руководство что делать

Форумы вебмастеров пестрят грустными постами по поводу того, что сайт плохо индексируется поисковыми системами. А ведь это основа SEO-продвижения, без которой популяризация интернет-ресурса практически невозможна.

Обидней всего, когда над созданием web-проекта трудился дорогостоящий программист, а на его наполнение контентом ежемесячно тратится внушительная сумма.

Однако Яндекс и Гугл не спешат индексировать отдельные страницы или даже целый сайт. Почему так происходит?

На этот вопрос нет однозначного ответа: существует множество причин.

Важно выявить конкретную проблему (технические ошибки, дубляж страниц, нестабильную работу хостинга или санкции поисковиков) и сделать все для ее решения. Есть хорошая новость — ситуацию можно исправить. Хотите, знать как? Читайте дальше!

Нормы индексации сайтов

В Яндекс

Yandex сканирует и добавляет новые страницы примерно два-четыре раза в месяц. Попасть в поисковую выдачу раньше способны лишь трастовые и часто обновляемые порталы — внушающие доверие сайты индексируются быстроботом Яндекса ежедневно.

В Google

Что касается Гугла, обновления могут занять от одного дня до двух недель. Здесь многое зависит от категории вашего сайта. Например, ресурсы с актуальными новостями и живые форумы роботы проверяют с завидной регулярностью.

Материалы часто обновляемых порталов обычно сканируются в тот же день или на следующий. Индексация блога, в котором каждую неделю появляется новый контент, нередко задерживается на 2–4 дня.

Совсем печально обстоит дело с третьесортными сайтами, а также совсем молодыми веб-проектами, только что появившимися в Сети. Поисковые роботы могут игнорировать их в течение месяца.

Важно! Вышеописанные данные актуальны при добавлении малого количества страниц в индекс. При добавлении большого количества страниц одномоментно, скорость индексации может увеличиться в несколько раз.

Особенно долго будут индексироваться страницы с малой ценностью для посетителей.

Что делать, если новый сайт не индексируется поисковиками?

Под это определение подходит ресурс с возрастом домена до полугода, который не имеет обратных ссылок и ранее не продвигался.

Добавить сайт в панели вебмастеров

Вы только что создали сайт и ждете чуда под названием «быстрая индексация»? Такая стратегия ошибочная, ведь в первое время Гугл и Яндекс не обращают на новый сайт внимание. Помогите своему проекту заинтересовать роботов — сделать это достаточно просто: надо лишь добавить сайт в поисковые системы.

Важно! Использование сервиса Яндекс. Вебмастер и Google Webmaster не только ускорит добавление страниц в индекс, но и позволит эффективнее работать над оптимизацией сайта. Представленные инструменты бесплатно открывают вебмастерам множество возможностей для диагностики, получения рекомендованных для продвижения запросов и привязки сайта к конкретному региону.

Улучшить сайт

Пора заняться внутренней оптимизацией: систематически создавать первоклассный контент, улучшить юзабилити, сделав удобные рубрики, а также позаботиться об адаптивности и перелинковке. После этого следует задуматься о внешнем продвижении. Оно включает в себя работу с социальными факторами и размещение естественных ссылок у надежных доноров.

Если сайт все так же не индексируется Яндексом, необходимо написать в техническую поддержку поисковика. В результате вашего запроса вы получите информацию о наличии бана, фильтра или установите другую объективную причину возникшей проблемы.

Как проверить индексацию сайта?

Используйте в запросе оператор Site

Узнайте количество просканированных и добавленных в индекс страниц путем введения в строку поиска Гугл и Яндекс «site: url вашего сайта». Благодаря дополнительным настройкам легко получить данные о произошедших за конкретный промежуток времени изменения.

К примеру, сегодняшняя проверка российской версии Википедии показала, что за последние 2 недели на этом сайте появилось 143 новых материалов.

Учтите! Разница между показателями разных поисковых систем является поводом для тревоги. Чаще всего это свидетельствует о возможном попадании под фильтр Гугла или Яндекса.

Введите в поисковик url страницы

Этот способ идеален для проверки индексации отдельно выбранной страницы.
Для Google

url:https://ru.wikipedia.org/

Для Яндекс

info:https://ru.wikipedia.org/

Через панель вебмастеров

Если вы ранее уже зарегистрировались в Яндекс. Вебмастер, то при переходе на данный сервис сразу увидите число загруженных материалов и тех, что находятся в поиске. В идеале их количество должно совпадать или быть похожим на реальное количество страниц сайта.

Более детальную информацию вы получите при переходе на основную панель, после чего необходимо нажать «Индексирование» и «Страницы в поиске».

Анализируя полученный отчет и ищите страницы, которые не индексируются.

В новом Google вебмастере также есть инструмент для анализа индексации.

С помощью Key Collector проверяем индексацию большого количества страниц

Скачанный и установленный на компьютере многофункциональный инструмент облегчит работу любому оптимизатору. Он позволяет автоматизировать процесс, значит, вам не придется вручную проверять сотни, а то и тысячи документов.

Чтобы воспользоваться этим методом, требуется собрать парсером список всех страниц, а затем добавить перед каждым адресом оператор url для Google или info для Яндекс. Хотите сэкономить время и нервы — воспользуйтесь для этого автозаменой в блокноте. Дальше надо загрузить полученные данные в Key Collector, не забыв о настройке XML для быстрого анализа результатов.

Также, нужно настроить правильно поисковые системы, для корректного парсинга. URL лучше добавлять без смены регистра.
У проиндексированных материалов в графе «Позиция по запросу» будет стоять единица. Сверьте ваш URL со страницей на первом месте. Они должны совпадать.

Это метод не идеален, но имеет право жизнь.

Как решить проблемы индексации?

Вариант 1: Сайт долго не индексируется, роботы не видят свежие материалы — в индекс попадает мало новых страниц, процесс осуществляется медленно.

Узнайте далее, что может быть причиной столь плачевной ситуации.

Редкое обновление контента

Для SEO-продвижения нужно вовремя подкармливать роботов новой порцией качественного контента, тогда они будут чаще заходить на ваш сайт. Причем на поведение поисковиков положительно влияют даже незначительные улучшения старых статей в виде более удачных иллюстраций, обновлений даты публикации или добавления цитаты эксперта.

А вот если робот приходит и видит, что за период его последнего посещения ничего не изменилось, сайт не будет нормально индексироваться в будущем. Более того, ждите ухудшения позиций в выдаче: ресурс, остановившийся в развитии, опережают конкуренты.

То есть

Если вы публикуете не регулярно — это может быть причиной. Если это не ваша ситуация, то читайте далее.

Плохое качество контента

За последние годы и читатели, и роботы стали более требовательными к размещенной в Рунете информации. Важную роль играет не только техническая, но и смысловая уникальность / полнота статей, картинок, видео.

При этом ключевые слова должны вписываться в текст естественно, а за переспам есть шанс попадания под фильтры поисковиков.

То есть

Если публикуемый контент малополезен или состоит из 100 слов, то вряд ли он попадет в индекс. Необходимо менять подход к написанию контента или качеству страниц.

Заинтересованы в генерации отличного контента?

Возьмите на вооружение LSI-копирайтинг, который сейчас в почете у поисковых систем. При качественном оформлении, полном раскрытии темы с использованием ключей и списка дополнительных синонимов, ассоциаций вам не придется беспокоиться о том, что страница не будет индексироваться в поисковых системах.

Наличие дубликатов

Секретом успешной технической оптимизации является отсутствие одинаковых мета-тегов и текстов; полных копий страниц. Если таковые имеются, закройте лишние данные от индекса при помощи meta name=«robots» content=«noindex, nofollow» или пропишите на них 301 редирект.

В противном случае поисковики запутаются в похожих документах и удалят их из выдачи.

Проблемы с краулинговым бюджетом

Существует определенный лимит на количество страниц, индексируемых роботом за единицу времени.

Краулинговый бюджет Google напрямую зависит от PageRank ресурса. Чем выше данный показатель, тем большее число документов будет проиндексировано. Соответственно, для масштабных сайтов крайне важно повышать критерий своей ценности путем регулярных обновлений, увеличения посещаемости и приобретения ссылок. Иначе некоторые страницы могут не индексироваться в Гугле.

То есть

Если сайт молодой, то у него низкий краулинговый бюджет. И если вы хотите проиндексировать большое количество страниц, то эта процедура может занять на порядок больше времени.

Технические нюансы для ускорения сканирования

Добавление sitemap.xml

Эта карта, созданная для поисковых систем, дает роботам возможность быстро найти все страницы, независимо от их числа и уровней вложенности. Кроме того, она повышает доверие к вашему сайту, позволяет указывать дату обновления и расставлять приоритеты.

Алгоритм действий следующий: сгенерируйте sitemap.xml с учетом стратегии продвижения, загрузите карту в корень сайта и добавьте в панели вебмастеров.

Обновление http-заголовков Last-Modified и If-Modified-Since.

Last-Modified сообщает поисковикам о последних изменениях в документе, направляя роботов сразу к обновленным страницам и свежим материалам.

Ответ сервера на запрос If-Modified-Since снижает нагрузку на краулинговый бюджет, к тому же улучшает позиции контента при сортировке по дате.

Проверить этот заголовок можно тут — https://last-modified.com/ru/if-modified-since.html

Вариант 2: Сайт вообще не индексируется в Яндексе и Гугле, страницы выпадают из индекса.

Код ответа сервера

Убедитесь, что страница содержит код сервера 200 ОК — это означает: она действительно существует, доступна к просмотру для пользователей и поисковых систем.

Проверка осуществляется при помощи специальных сервисов.

Например, http://www.bertal.ru/index.php?a1910327/
Если код ответа не 200 ОК, то именно в этом может быть причина не индексации страницы.

Robots.txt

В файле robots.txt недопустимы запреты на индексацию сайта и отдельных страниц, а также работу конкретного поисковика.

Важно! Обязательно проверьте сформированный robots.txt на ошибки. Сделать это можно в Google Вебмастер: нажмите на «Сканирование», а затем на «Инструмент проверки файла robots.txt».

Meta Robots

Часто сайт не индексируется в Гугле, если добавление сведений в базу данных запрещено в мета-тегах. Обязательно удалите в HTML-коде строкии если они есть на важных страницах.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Либо используйте плагины для браузера, такие как расширение Seo Meta in 1 Click для Google Chrome.

Rel Canonical

Многие неопытные оптимизаторы неверно настраивают атрибут rel=canonical.

Хотите, чтобы страница попала в индекс поисковика? Тогда она не должна ссылаться на другой канонический документ.

Чтобы проверить откройте код страницы и сделайте поиск строки.

Либо через тот же плагин

Вебмастера

Используйте Google Webmaster Tools для выявления ошибок сканирования, из-за которых роботы не получают ответы на запросы.

Перейдите в раздел «Просмотреть как Googlebot» введите адрес страницы, и нажмите кнопку «Получить и отобразить».

Когда получите результат, сравните, что видит Google и пользователь. Картинки должны быть одинаковыми. Если нет, то ищите причины блокировки файлов.

Протестируйте скорость загрузки и время ответа сервера. Убедитесь, что выбранный вами хостинг работает стабильно.

Файл .htaccess

Если сайт не индексируется, он может быть заблокирован в файле .htaccess.

Проверьте .htaccess на наличие таких строк:

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [F]

Либо такой вариант, который будет отдавать роботу Google 404 ошибки.

RewriteCond %{USER_AGENT} Googlebot
RewriteRule.* — [R=404]

Поищите в файле другие варианты блокировок с использованием USER_AGENT или названия поисковых ботов: googlebot, yandex и т. д.

AJAX и JavaScript

Распространены проблемы с языками AJAX и JavaScript. Блог Яндекса для вебмастеров рекомендует создать в структуре ресурса определенную схему, которая сообщит поисковым системам о необходимости индексации.

Санкции

Еще одна серьезная проблема — наложение санкций на страницу или даже весь сайт. Узнайте в техподдержке поисковой системы (только Яндекс), за что именно (ссылки, переспам, неуникальный контент) вас наказали, после чего оперативно исправьте ситуацию.

Как уже говорилось ранее, причиной отсутствия внимания к странице часто является низкокачественный и дублированный контент.

Вряд ли робот будет заинтересован в ваших материалах, если в выдаче уже имеются похожие документы, продвигаемые по тому же семантическому ядру.
Негативно влияет на скорость индексирования незрелый возраст домена, а также забаненный ранее б/у домен. В таком случае стоит написать запрос на пересмотр в Яндекс.

Итоги

Если сайт не индексируется Яндексом или Гуглом, значит, на то есть объективная причина. Ваша цель — выявить и решить проблему. Спустя некоторое время необходимо снова проверить индексацию страницы. Если вы все сделаете правильно, положительные изменения не заставят себя долго ждать!

Если у вас сложный случай, рекомендую обратиться за консультацией к специалистам. Команда Livepage проконсультирует и выполнит SEO-аудит, который решит все проблемы с индексацией в поисковых системах.

Яндекс не индексирует сайт | Хостинг сайтов AvaHost.Ru.

Некоторые пользователи сталкиваются с проблемами, возникающими в результате того, что Яндекс не индексирует сайт. Причины отсутствия индексации могут быть самыми разными. Чаще всего, это технические ошибки и наличие плохого контента. Но могут быть и другие причины. Поговорим о них подробнее.

Причины, почему не индексируется сайт

Есть несколько основных причин, по которым ваш сайт может плохо индексироваться или не индексироваться вовсе.

1. Стоит запрет индексации.

Если после создания нового сайта вы в течение нескольких месяцев не можете дождаться индексации Яндексом, причиной может быть установленный запрет. Чтобы это проверить, зайдите в корневую папку сайта и откройте robots.txt. Проверьте, не прописана ли там директива Disallow. Кроме этого, индексация может быть запрещена путем простановки тегов noindex и nofollow в исходном коде.

2. Отсутствие контента.

Роботы Яндекса не станут заходить на сайт, если там нет информации. Пустые страницы не привлекут поисковую систему. Малозаполненные страницы также могут стать причиной отсутствия роботов. Такое бывает с сайтами интернет-магазинов, где размещается скудное описание товара. Чтобы привлечь роботов, надо наполнять страницы хорошим контентом в достаточном объеме. Чем чаще сайт будет обновляться, тем интереснее он станет для поисковиков.

3. Неуникальный контент.

Хотите, чтобы роботы забыли о вашем сайте, и он покинул ТОП-100 Яндекса? Тогда размещайте неуникальные тексты, которые уже проиндексированы на других площадках. Такой контент часто становится причиной отсутствия индексации и наложения санкций Яндексом.

4. Плохая навигация.

Крупные сайты часто сталкиваются с проблемами индексации, связанными с плохой навигацией. Роботы не видят некоторые страницы из-за того, что они имеют высокий уровень вложенности. Чтобы устранить проблему, потребуется провести качественную перелинковку. Сделайте так, чтобы на непроиндексированные страницы ссылались страницы, которые уже находятся в индексе.

5. Долгая загрузка.

Если страницы грузятся слишком медленно, роботы не станут их индексировать. Проверьте скорость через Яндекс Метрику или другие специализированные сервисы. Если она окажется низкой, займитесь оптимизацией сайта.

6. Ссылочный спам.

Сайты, переполненные рекламными ссылками, часто попадают под фильтры Яндекса. Оцените качество ссылочной массы и постарайтесь убрать все лишние ссылки.

7. Переоптимизация.

Для более быстрой индексации и продвижения в ТОП некоторые владельцы сайтов используют большое количество запросов в текстах. Такие попытки приводят к обратному результату – роботы перестают индексировать страницы. Более того, переоптимизация становится причиной фильтрации сайта. О возможности попадания в выдачу Яндекса можно будет забыть до тех пор, пока система не снимет с сайта фильтр. А на это требуется достаточно много времени.

Яндекс не индексирует сайт, индексирует его плохо или неправильно по перечисленным причинам. Устранив их, вы избавите себя от ряда проблем, связанных с продвижением сайта в крупнейшей поисковой системе.

Почему сайт не в поиске: причины и способы проверки

Проверка индексации сайта через Яндекс Вебмастер и Google Search Console

Для того, чтобы проверить качество индексации страниц сайта, достаточно воспользоваться сервисами от двух поисковиков: Яндекс Вебмастер и Google Search Console. Каждая из этих панелей показывает количество находящихся в индексе страниц для своего поисковика (Яндекс и Google, соответственно).

Google Search Console

Зайдя в этот инструмент, на главной странице находим блок «Покрытие». В нем показывается график с количеством страниц сайта в индексе Гугла (зеленый график), и количество страниц, которые содержат ошибки (красный график). В таком виде удобно смотреть как добавлялись/удалялись страницы из индекса в определенный отрезок времени.

Из блока «Покрытие» есть возможность перехода в полный отчет. На отдельной странице будет показан график, количество ошибок, загруженных страниц без ошибок и исключенные страницы. Кликая по каждому из показателей, получаем графические данные по нему, а также списки самих URL-адресов.

Заходим в блок «Покрытие»

Просматриваем нужный отчет

Яндекс Вебмастер

Аналогичные возможность есть у Яндекс Вебмастера. Чтобы посмотреть проиндексированные страницы Яндексом, заходим в пункт «Индексирование – Страницы в поиске». Пролистав ниже, находим все страницы сайта, которые на текущий момент находятся в индексе.

Выбираем раздел «Индексирование – Страницы в поиске»

Список проиндексированных страниц

Инструмент позволяет просматривать исторические данные о том, как менялось количество проиндексированных страниц. Для этого вверху графика нажимаем «История», а внизу слева выставляем необходимый временной диапазон.

Анализируем историю индексации

Как видно из примера, сайт выпадал из индекса полностью, но через какое-то время вернулся вновь.

Почему сайт может выпасть из индекса? Причины и их решения

Причин, по которым сайта нет в поиске, может быть множество, рассмотрим основные.

Новый сайт или страница

Процесс индексации представляет собой сканирование поисковым краулером документов сайта. После чего данные обрабатываются, а уже после появляются (или не появляются) в поисковой выдаче. Обновление поисковой базы называется Update, и у каждого поисковика он происходит с разной скоростью. Поэтому если страницы недавно созданного сайта не отображаются в поиске, то чаще всего они еще просто не были проиндексированы.

Отсутствие запрета на индексацию сайта

Закрыть от индексации можно весь сайт, либо отдельные его документы. Поэтому вторым шагом по поиску причины отсутствия сайта в индексе, будет проверка файла robots.txt, находящегося в корне файловой системы.

Данный файл открывается с помощью любого текстового редактора, в нем должны отсутствовать следующие строки:

Блок на весь сайт
User -agent: *
Disallow: /
Или для отдельных страниц:
User-agent: *
Disallow: /page.html

Страницы могут быть закрыты от индексации посредством метатегов. Если известно, каких именно нет страниц в индексе, проверьте их вручную (либо с помощью автоматизированных инструментов, например, Screaming Frog SEO Spider) на наличие следующего метатега (он доступен только для Яндекса, Google его игнорирует):

<meta name="robots" content="noindex" />

Кроме этого, любой документ можно проверить на доступность поисковыми роботами в инструменте Яндекс Вебмастера: Индексирование – Анализ robots.txt. Вставляем в блоке «Разрешены ли URL?» адрес страницы и смотрим результат.

Проверяем отдельные URL на индексацию

Дублированный контент

Поисковые системы заинтересованы в том, чтобы их выдача была как можно более качественной, максимально отвечающей запросам пользователей. Нет смысла добавлять в поиск страницы, если их дубли уже есть в интернете.

Поэтому перед публикацией контента, особенно текстового, обязательно проверяйте его на уникальность, это можно сделать в следующих сервисах:

• Text.ru.




• Etxt.ru.




• Advego.ru.

Уникальность не должна быть ниже 75%, но для технических или юридических текстов этот порог может быть ниже в силу специфики контента.

Если сайт наполняется текстами на основе рерайтинга, то обращайте внимание на его качество. На сегодняшний день поисковики хорошо «понимают» структуру текстов, грамматику и прочие его характеристики. Поэтому, если рерайт был поверхностным с простой заменой слов на синонимы и т.Googlebot» search_bot

Запрет в самой CMS

Это больше всего касается сайтов созданных на платформе WordPress, дело в том, что в админке этого движка есть настройка запрета индексации сайта, и даже если в Robots.txt индексация открыта, то сайт индексироваться не будет. Важно проверить что галочка в данном разделе снята и индексация разрешена.

WordPress — проверка запрета индексации

Отсутствие четкой структуры сайта

Весь контент на сайте должен находиться в структурированном виде, на различных уровнях вложенности (Главная – Категория – Подкатегория – и т.д.). Причем не рекомендуется создавать уровни вложенности более 5. Если эти два правила не соблюдаются, то процесс индексации может затянуться по времени, особенно, если страниц на сайте много.

Страница или сайт недоступны

Сайт и его страницы должны быть доступны как посетителям, так и поисковым краулерам, и отдавать код 200. По разным причинам, этот код может отличаться:

• 4xx – документ недоступен по текущему адресу. Не рекомендуется удалять страницы, находящиеся в индексе поисковика, т.к. это может негативно сказать на ранжировании сайта. Лучше сделать 301-редирект (перенаправление) с удаленной страницы на другую релевантную.




• 5xx – сервер не в состоянии выполнить запрос.

Чтобы проверить код ответа сервера, заходим в одноименный инструмент в Яндекс Вебмастере.

Инструмент для просмотра кода ответов сервера

Пример отчета

На сайт наложены фильтры

Если сайт или его страницы резко выпали из индекса, скорее всего, был наложен фильтр со стороны поисковой системы. Проверить на наличие некоторых фильтров можно в панелях вебмастеров.

В Google Search Console заходим в пункт «Меры, принятые вручную». Если на сайт применена какая-либо санкция со стороны сотрудников Google, то эта информация будет доступна здесь.

Google Search Console

Автоматически наложенные санкции не отображаются в панели, но их можно обнаружить по косвенным признакам.

Проблемы с Яндексом также частично отображаются в Вебмастере на странице «Сводка».

Проблемы сайта в Яндекс.Вебмастере

Вот список некоторых действий, которые могут привести к санкциям со стороны поисковиков:

• Неадекватное наращивание внешней ссылочной массы. Поисковики не любят манипулирование факторами ранжирования, поэтому при обнаружении накладывают фильтры, понижая сайт в результатах выдачи, либо вовсе удаляют его (или отдельно взятые страницы) из индекса. Фильтры: Минусинск и Пингвин.




• Низкокачественный или неуникальный контент. Фильтры: АГС, Panda, Баден-Баден.




• Переоптимизация контента. Недопустимо превышать порог 3-5% плотности ключевых слов, а также использовать вхождения в неестественном виде (например, «купить квартира Москва»).




• Накрутка поведенческих факторов, например, фейковые посещения сайта.

Сайт заблокирован государственными органами

В РФ действует закон, запрещающий распространение определенного типа контента в интернете. За это (кроме уголовного преследования), возможна блокировка сайта по решению ряда государственных органов: Роскомнадзора, Ген. Прокуратуры, МВД, Роспотребнадзора и т.д.

Эта причина блокировки одна из самых явных, т.к. при посещении сайта пользователь получает всю информацию со ссылками на федеральный закон.

Блокировка сайта

Небольшой список материалов, которые подлежат такой блокировке:

• Информация о способах изготовления и т.д. наркотических веществ.




• Антиправительственная информация, по типу организации митингов, призывы к массовым беспорядкам и т.д.




• Описание способов совершения самоубийств.




• И прочее.

Дублированный контент внутри сайта

Если на сайте появляются страницы-дубли, то часть из них выпадет из индекса. Причем может случиться так, что выпадет именно целевая страница.

Дубли чаще всего появляются в силу специфики работы CMS, когда одна и та же страница доступна по разным адресам, но для поисковика это разные документы. Чтобы этого избежать, рекомендуется изучить подобные нюансы используемой CMS и настроить ее таким образом, чтобы дубли не появлялись (например, установив плагин), либо с них было перенаправление (301-редирект) на основную страницу.

В рамках данной статьи мы рассмотрели основные причины, по которым сайт может выпасть из поиска. Определив и решив их, после одного или нескольких Update поисковой базы, страницы сайта вернутся в органическую выдачу. 

12 причин, почему Google и Яндекс не индексирует ваш сайт

Без нормальной индексации сайта – поисковое продвижение в принципе невозможно.

Первое, что нужно сделать – это проиндексировать сайт и сделать так, чтобы новый контент на нем быстро индексировался поисковиками.

В данной статье мы рассмотрим 12 причин, по которым у вашего сайта могут быть проблемы с индексацией в поисковых системах Google и Яндекс.

Переходим к причинам:

1. Google и Яндекс пока не нашел ваш сайт

Такое случается в том случае, если вы только что выложили свой сайт и ничего не делали для того, чтобы поисковые системы его заметили.

В таком случае не стоит ожидать быстрой индексации. Но это легко можно поправить.

Для этого нужно сделать:

• Добавить сайт в поисковые системы (Add url)
• Добавить сайт в Google и Яндекс вебмастер

Статьи в тему:

— Как добавить сайт в поисковые системы

— Google Webmaster Tools

— Добавляем сайт в Яндекс Вебмастер

После чего, нужно немного подождать и ваш сайт должен проиндесироваться. Обычно это занимает от пару часов, до пару дней и более.

 2. Сайт или страницы закрыты в robots.txt

Это часто бывает причиной, которую не учитывают разработчики и выкатывают сайт закрытым от индексации в файле robots.txt. Но такое легко можно поправить.

Для начала читаем статью: Robots.txt – инструкция для SEO

Если у вас не много технических разделов, то можно обойтись и таким robots.txt:

Но если на сайте нужно много чего закрывать, то:

• читаем статью по ссылке выше
• закрываем только те разделы, что не нужно индексировать
• оставляем для индексации все остальное

Тогда все с вашим сайтом должно быть нормально.

 3. Включены приватные настройки

Если вы используете систему управления сайта WordPress, то по умолчанию могут стоять приватные настройки. Это действительно может быть причиной того, что сайт до сих пор не проиндексирован.

Для этого нужно зайти в:

• Настройки
• Чтение
• Видимость для поисковых систем
• Убрать галочку

Многие забывают убрать эту галочку и потом не могут понять, в чем же причина не индексации сайта.

4. Сайт закрыт от индексации в noindex в мета тегах

Индексацию контента или страницы так же можно закрыть с помощью мета тега. Выглядит он так:

<meta name=»robots» content=»no index, nofollow»>

Все что нужно:

• проверить код на наличие такого тега и что в нем прописано
• убрать строку кода
• или просто сделать follow и index

Пример:

Из нашей практики встречались и такие сайты, на которых это было причиной индексации.

 5. Ошибки сканирования

Если возникает много ошибок при сканировании, то поисковый бот просто может не дойти до нужных страниц.

Чтобы это проверить:

• Заходим в Google Webmaster Tools
• Сканирование
• Ошибки сканирования

Если есть какие-то критические ошибки. Просто нужно их исправить и все будет хорошо.

6. Сайт заблокирован в .htaccess

В этом файле обычно прописывается 301 редирект. Но в нем, так же можно закрыть от индексации поисковыми системами.

Для того, чтобы это проверить:

• находим на сервере файл .htaccess
• в коде смотрим, чтобы не был закрыт сайт

Это может быть причиной, но многие даже не думаю в этом направлении. А как вариант не стоит исключать.

7. Хостинг или сервер работает не стабильно

Если в момент, когда поисковый бот пришел на сайт индексировать страницы, сайт не доступен, то это может быть причиной не индексации.

Как минимум стоит позаботиться о том, чтобы up time у вашего сервера был хорошим и хостинг стабильным.

Сервисов, которые позволяет это проконтролировать множество. Если нужно бесплатно, то Яндекс Метрика оповещает о том, когда сайт не доступен.

Как я сказал, сервисов множество, вводим в поиск uptime checker и получаем множество результатов сервисов. А дальше выбираем на вкус и цвет.

8. Проблемы с AJAX/JavaScript

Не секрет, что Google индексирует AJAX и JavaScript. Вот ссылка для разработчиков с инструкцией: https://support.google.com/webmasters/answer/174992

Но на данный момент поисковая система индексирует эти языки не так легко и просто как HTML.

В случае, если вы не правильно настроили все для поиска в AJAX и JavaScript, то Google не проиндексирует ваш сайт и страницы.

Вот полезная информация из справки Гугла на этот счет: https://support.google.com/webmasters/answer/174993

9. У вас на сайте много дублированного контента

Если на сайте много дублированного контента, как:

• страницы
• мета тегов

То во первых можно получить санкции от Google Панды. Во вторых это может быть причиной того, что сайт не индексируется.

Статьи в тему:

— Как найти дубликаты страниц на сайте

— Как убрать или закрыть дубли от индексации

На эту причину стоит обращать внимание. Так как сейчас это № 1 причина, за которые можно получить санкции и сложности в дальнейшей раскрутке сайта.

 10. Очень медленная скорость загрузки сайта

Скорость загрузки сайта влияет на позиции и это один из факторов ранжирования. Поэтому если ваш сайт грузиться очень долго, то вполне вероятно, что он не будет нормально индексироваться.

Для начала читаем статью: Как время загрузки влияет на позиции в Google

После чего, нужно учесть все моменты со скоростью загрузки и сделать ее очень быстрой.

11. Ваш домен ранее был забанен

Такое часто случается. Когда:

• регистрируешь хороший и звучный домен
• по обратным ссылкам все нормально
• делаешь хороший сайт с нормальным дизайном
• наполняешь уникальным и толковым контентом
• а он не хочет никак индексироваться

В таком случае дела не очень хороши. Но все равно это можно поправить. А именно:

• написать запрос на пересмотр (если Яндекс, узнать в чем причина)
• написать на форуме Google (постараться узнать в чем причина)
• развивать проект

Статья в тему: Как проверить сайт на бан поисковых систем?

Но по опыту скажу. Если домен не лезет в течении 3-4 месяцев нормально. То лучше развивать проект на другом домене. Как минимум это будет быстрее и на порядок проще.

12. У вас нет sitemap на сайте

Это очень редко может быть причиной. Но все же может быть. Поэтому нужно сделать карту сайта и добавить ее как Google вебмастер, так и в Яндекс вебмастер.

Статья в тему: Создаем sitemap для Google и Яндекс

В заключение

Индексация сайта важнейший момент для поискового продвижения сайта. Поэтому сначала нужно найти причину, понимать следствия. В итоге не допускать того, чтобы с индексацией сайта были проблемы.

Хорошие статьи по индексации сайта в помощь:

— Как быстро проверить индексацию страниц всего сайта?

— Как быстро проиндексировать сайт или страницу?

— Почему Яндекс медленно индексирует молодые сайты?

А что вы думаете про причины не индексации или плохой индексации сайта?

PS: если вы перепробовали все причины и сайт не индексируется, то однозначно стоит писать в поддержку поисковых систем и узнавать причину у них.

Оцените статью

Загрузка…

Индексация сайта — что это такое, определение в маркетинге на ROMI center

Что это такое

Индексация страниц сайтов в поисковиках происходит по алгоритмам поисковых систем: учитываются ссылки ресурса, релевантность и распределение контента по разделам. Роботам важно понять, насколько представленная информация ценна для пользователя, который ввёл запрос в поисковую строку. Именно это и позволяет выявить поисковая индексация сайта. 

Как настроить свой ресурс для наилучшей поисковой выдачи и как проверить все показатели? Обо всём этом расскажем далее.

Как проходит индексация сайта

Как только появилась глобальная сеть, у владельцев поисковых систем возникла необходимость фильтрации результатов запросов. В эти времена и появилась индексация сайта по ключевым словам. Такой односторонний метод оценки привёл к тому, что на первых строках результатов появлялись совершенно бесполезные страницы, сплошь и рядом заполненные необходимыми словоформами. 

С тех пор многое изменилось и поисковые роботы научились оценивать сайты сразу по нескольким параметрам для получения наиболее достоверной информации. Сейчас индексация сайта бесплатная и высота отображения ресурса зависит исключительно от его качества. 

Для улучшения индексации ресурса большинству русскоязычных сайтов достаточно учесть особенности алгоритмов двух основных поисковиков: Google и Яндекс. Подача данных нового сайта может происходить автоматическим и ручным методами. Рассмотрим далее самые распространённые вопросы о прохождении индексации: 

Как происходит автоматическая проверка?

Автоматическая индексация сайта в поисковых системах происходит при помощи механизмов, которые самостоятельно находят ресурс и анализируют его контент, релевантность информации, ссылки, трафик, время визитов пользователей и многое другое. Началу прохождения такой проверки способствует наличие ссылок на сайт на других ресурсах.

Индексация в Google сайта: как сделать вручную? 

Необходимо зарегистрировать ресурс в сервисе Google Search Console. 

Где проверить количество страниц в индексе?

Чтобы узнать, сколько страниц сайта проиндексировано Яндексом, перейдите по ссылке. Для аналогичного мониторинга в Google необходимо ввести в поисковую строку значение site: домен сайта. Например site:moisait.ru

Почему Яндекс не индексирует сайт? 

Яндекс сканирует ресурсы с более низкой скоростью, в сравнении с Google. Для получения заветной отметки в базе данных необходимо зарегистрироваться в Яндекс.Вебмастер. 

Индексация Яндекс и Google: что важно учесть?

Помимо регистрации в Яндекс.Вебмастер и Search Console необходимо проверить карту сайта — sitemap, а также указать необходимые параметры индексации в файле Robots.txt.

Сколько времени индексируется новый сайт

Сколько занимает проверка — зависит от поисковой системы. Google является скоростным лидером в данном процессе, управляясь с индексацией примерно за одну неделю. Время индексации в Яндексе может быть больше — до нескольких недель. 

Скорость, с которой поисковик заметит ресурс зависит от множества параметров, поэтому указанные сроки весьма условны. Например, дополнительные страницы уже проиндексированного сайта рассматриваются быстрее.

Что значит переиндексация сайта

Переиндексация — повторный анализ страниц, производимый алгоритмами поисковых систем. Как часто происходит данный процесс? Во многом это зависит от регулярности обновлений. Чем чаще на сайте появляется новая информация, тем с большим вниманием поисковик рассматривает ресурс, чтобы не пропустить новости. О прочих лайфхаках для ускорения индексации поговорим далее. 

Проверить сайт на запрет индексации

При индексации сайта могут возникнуть проблемы, которые требуется оперативно устранить. Чтобы страницы успешно прошли проверку и отображались в поиске.

Яндекс.Вебмастер и Search Console содержат разделы, в которых можно посмотреть проблемы, найденные на ресурсе. Например, система может сделать запрет на индексацию страниц за нарушение правил безопасности или за отсутствие подверждённого домена.

Последствия запрета индексации части сайта отразятся на показах этих страниц. Пользователь просто не увидит их, когда введёт в поисковик целевой запрос. 

Как открыть сайт для индексации, скрыв отдельные страницы

Однако иногда часть страниц требуется закрыть от индексации преднамеренно, прописав их в файле robots.txt. Вот в каких случаях это может пригодиться:

1. Дублированные страницы.
2. Страницы в разработке.
3. Технические разделы, которые необходимо скрыть.

Во-первых, запретить индексацию специально можно путём указания имени нужного файла или папки в файле robots.txt: 

User-agent: *

Disallow: /folder/file.php

Disallow: /folder/

Системы не смогут проверить noindex и nofollow, поэтому второй вариант скрытия ненужного контента — это указание данных тегов. 

Запретить индексацию сайта полностью

Иногда требуется полностью удалить сайт из базы данных поисковых систем. Для это необходимо прописать в robots.txt значение:

User-agent: *

Disallow: /

Если же сайт не индексируется, но требуется обратное — необходимо в первую очередь проверить этот же файл. Возможно, во время работ на ресурсе он был временно скрыт от посторонних взглядов.

Проверка индексации сайта в поисковых системах

Проверить индексацию страницы можно:

• При помощи поисковой строки, добавив к домену сайта символы «site:».

• Встроенными инструментами Яндекс.Вебмастер и Google Search Console.
• Специальными сервисами, например RDS Bar или XSEO.in.

Как ускорить индексацию?

Индексирование сайта — это целый ряд процессов, повлиять на которые возможно, улучшив качество ресурса. Как проверить, достаточно ли хорош продукт с точки зрения поисковых роботов? Выполните перечисленные пункты и потенциальные клиенты уже совсем скоро увидят вас на страницах Яндекса и Google. 

• Поисковые боты ценят частое обновление контента, поэтому нужно публиковать новости регулярно. 
• Файлы sitemap.xml и robots.txt должны быть корректно заполнены.
• Индексация ссылок — краеугольный камень SEO, поэтому стоит включить внутреннюю перелинковку и добавить внешние ссылки. 
• Необходимо проверить наличие ошибок.
• Провести индексацию сайта наилучшим образом поможет качественный контент и удобство ресурса для пользователей.
• Проверить контент сайта и включить в него ключевые слова, по которым необходимо отображаться. 
• Исключить дубли страниц или скрыть их от индексации.

Как ускорить индексацию сайта в Яндексе и Google

Актуальные способы ускорить индексирование страниц в обоих поисковиках.

Быстрое индексирование страниц — это хорошо. Чем быстрее страница займет место в выдаче поисковой системы, тем быстрее ее смогут увидеть пользователи. А также эта страница с большей вероятностью будет считаться первоисточником контента, который на ней находится.

К сожалению, нельзя точно сказать, когда боты поисковых систем просканируют страницу и она появится в выдаче — это зависит от размера и оптимизации сайта.

Частые проблемы с индексацией сайта в ПС

Страницы вообще не индексируются

Если роботы и Яндекса, и Google игнорируют страницы сайта, нужно убедиться, что ботам не запретили обход. Проверьте настройки хостинга и файл robots.txt — там не должно быть запрета на индексацию.

Страницы не индексируются одним из поисковиков

Если либо Google, либо Яндекс не индексируют страницы сайта, проблема может быть в санкциях от этого поисковика. Нужно определить, какие санкции лежат на сайте, и исправить ошибки. Помогут материалы о санкциях Яндекса и фильтрах Google.

Страницы индексируются, но долго

Если приходится долго ждать индексации новых страниц, вариантов может быть много: контент редко обновляется и поэтому боты редко его посещают, страницы не оптимизированы, не участвуют в перелинковке или что-то еще.

Посмотреть динамику индексации страниц и наличие фильтров можно в Анализе сайта:

Индексация и санкции ПС в Анализе сайта

Итак, если страницы не индексируются, то проверьте ограничения, если игнор от одного из ПС, то возможны санкции, а если индексирование идет, но долго, это повод попытаться его ускорить. Посмотрим, что можно сделать.

Как ускорить индексацию страниц

Представитель Google Джон Мюллер на вопрос об индексировании ответил так:

«Лучший способ улучшить процесс индексирования – создавать превосходный, а значит уникальный и убедительный контент. Именно в нем должны нуждаться пользователи, именно его они затем будут рекомендовать другим. Нужно также понимать, что поисковые системы не индексируют абсолютно все, что выложено в сети».

Создавайте превосходный контент, а если ваш контент плохо индексируется, то он недостаточно превосходный 🙂 Это все, конечно, хорошо, но давайте посмотрим, что конкретно можно сделать, чтобы ускорить процесс.

Отправить страницу на переобход

Можно дополнительно обратить внимание поисковиков на конкретные URL. В Google Search Console и Яндекс.Вебмастер найдите переобход страниц и отправьте нужные URL на индексацию.

В Яндекс.Вебмастере это раздел Индексирование — Переобход страниц. В консоли Google это Инструмент проверки URL.

Проверить разрешения в robots.txt

В файле robots.txt веб-мастер прописывает рекомендации для поисковых ботов Яндекса и Google. Можно запретить ботам посещать некоторые страницы, для этого есть директива «disallow», «nofollow», можно использовать мета-тег «noindex» или «none». Тогда при следующем посещении сайта бот увидит запрет и может к нему прислушаться. А может и не прислушаться.

Как говорит Ксения Пескова, SEO-TeamLead в Siteclinic:

«Если вы закроете сканирование в файле robots.txt — это всё равно может не уберечь от индексации страницы, так как в файле мы запрещаем сканирование, и это всего лишь рекомендации, а не прямое указание».

В любом случае, лучше проверить файл robots, вдруг там стоят запреты, к которым прислушались боты поисковых систем.

Создать Sitemap — Карту сайта

Карта сайта помогает поисковым ботам понять структуру ресурса и обнаруживать обновления контента.

Почитать по теме:
Карта сайта (файл Sitemap) от А до Я

Для ускорения индексации карту можно сделать динамической, то есть по мере создания новых страниц она сама будет обновляться. Для проектов на конструкторах сайтов, например, на WIX и Tilda, карта по умолчанию динамическая, для других CMS есть плагины и отдельные сервисы. К примеру, на WordPress с этой задачей справится All in One SEO Pack.

Можно обновить файл Sitemap вручную. Обновленные страницы Google рекомендует отметить в Карте тегом . Обновленный файл отправьте с помощью специального отчета. Не стоит загружать один и тот же файл повторно: если вы ничего не поменяли в Карте сайта, никаких изменений не будет.

Но опять же, ссылки в Карте сайта — это рекомендации, важнее создать грамотную структуру сайта и организовать внутреннюю перелинковку.

Проверить структуру и перелинковку разделов

На сайте не должно быть страниц, оторванных от других. Если на страницу не ведут ссылки с категорий, разделов и других страниц, поисковикам сложнее определить ее релевантность и неоткуда перейти на нее для сканирования. Такие страницы называют сиротами.

Страница-сирота в структуре сайта

Нужно встроить их в структуру сайта. К примеру, в этой схеме каждая страница имеет ссылку с родительской категории, но они вполне могут линковаться и между собой:

Упрощенный пример структуры сайта, подходит для меню

Еще один момент, который влияет на поведение бота — это Click Distance from Index (DFI), то есть количество кликов от главной до текущей страницы. Чем оно меньше, тем важнее считается страница, тем больший приоритет она получит с точки зрения бота. Приоритетные страницы он смотрит первее остальных.

DFI не определяется по числу директорий в URL, они могут не совпадать. Например, если на главной странице будет ссылка на хит продаж — конкретную модель холодильника Atlant, то DFI будет равен двум. Но при этом карточка модели может находиться в каталоге и подразделе каталога, тогда директорий будет больше — site.com/shop/refrigerator/one_chamber_refrigerators/atlant/h_1401_100.

Если страница не индексируется, проверьте ее расположение в структуре сайта и количество кликов до нее с главной.

Взять за правило обновлять контент

Поисковики ценят, когда веб-мастер следит за актуальностью контента, исправляет его и добавляет что-то новое. Регулярно обновляющийся сайт бот будет чаще сканировать. Чем реже обновлять контент, тем реже боту понадобится его перепроверять.

Сотрудник Google советовал добавлять на страницу видео с Youtube, если странице нечего добавить и содержание еще актуально. Поведенческие улучшатся за счет просмотра видео, на странице появится новый формат контента — это тоже хороший сигнал для поисковика.

Публиковать ссылки в соцсетях и на других площадках

Если вы ведете страницы в социальных сетях, размещайте на них анонсы ваших новых материалов. С помощью разметки OpenGraph можно задать ссылке красивое превью с нужной картинкой и заголовком, и получить переходы пользователей на страницу.

Превью поста с сайта на Фейсбуке

Найдите сторонние площадки по вашей тематике, где можно оставлять ссылки или публиковать посты, и размещайте таким образом ссылки на новые материалы. Ссылки должны быть естественными и подходить по теме. Используйте пресс-релизы, форумы, другие соцсети, отзовики, сервисы вопросов и ответов и другие площадки.

Ускорить загрузку сайта

Ограничивать индексацию может долгий ответ сервера. По словам Джона Мюллера из Google, сли в среднем это время составляет больше одной секунды, Google не будет сканировать столько страниц, сколько мог бы.

Медленная загрузка страниц вредит им по всем параметрам: пользователи не ждут, ПС считают некачественными, могут даже понизить сайт в выдаче, если сайт в принципе медленный.

По ускорению у нас есть подробные материалы о том, как оптимизировать код верхней части страницы, использовать сжатие gzip, brotli и минификацию кода, оптимизировать изображения.

Многое из перечисленного можно проверить на сайте автоматически. Поможет сервис «Анализ сайта»: проверит сайт по 70+ тестам, оценит и главную, и внутренние страницы, найдет ошибки и даст советы по исправлению.

Фрагмент анализа сайта

Многие функции сервиса и графики доступны на платных тарифах Анализа, но вы можете попробовать неделю бесплатно и оценить все возможности.

До конца лета на любой тариф «Анализа сайта» действует скидка 30% по промокоду LAST_DAYS.
Промокод сработает сразу при переходе на страницу —> Купить со скидкой

FAQ: что еще влияет на скорость индексации сайта

Как страницы вне индекса могут повлиять на отношение поисковика к сайту?

Качество контента на сайте поисковики оценивают только по проиндексированным страницам.

Тег noindex может влиять на индексацию страницы после его снятия?

По словам Джона Мюллера из Google, у веб-мастера не будет проблем с реиндексацией URL, на которых когда-то был noindex.

Как редирект влияет на индексацию страниц?

Джон Мюллер утверждает, что поисковик скорее всего не проиндексирует конечный URL при использовании ссылок с 301 редиректом.

Как ускорить индексацию страниц, которые были 404?

Если адрес страницы отдавал 404 и не был индексирован, на индексирование может потребоваться некоторое время. Как советуют Seroundtable, можно создать новый URL для этого контента и настроить 301 редирект со старого адреса, либо запросить повторное сканирование URL.

Как поисковики относятся к URL c хэшами?

URL с хешами поисковик не проиндексирует. То есть ссылка https://site.ru/news/p/statya проиндексируется, а ссылка на конкретную часть статьи — https://site.ru/news/p/statya#step — нет.

Расскажите в комментариях, что мы упустили в материале, какие способы ускорить попадание в индекс используете вы.

Статистика сканирования — Вебмастер. Справка

Робот-индексатор Яндекса регулярно сканирует страницы сайта и загружает их в поисковую базу. Робот может не загрузить страницу, если она недоступна.

Яндекс.Вебмастер позволяет узнать, какие страницы вашего сайта сканирует робот. Вы можете просмотреть URL-адреса страниц, которые робот не смог загрузить из-за недоступности сервера хостинга или из-за ошибок в содержимом страницы.

Информация о страницах доступна в Яндекс.Вебмастер на странице. Информация обновляется ежедневно в течение шести часов после посещения страницы роботом.

По умолчанию сервис предоставляет данные по сайту в целом. Чтобы просмотреть информацию об определенном разделе, выберите его из списка в поле URL сайта. Доступные разделы отражают структуру сайта, известную Яндексу (за исключением разделов, добавленных вручную).

Если в списке нет страниц, которые должны быть включены в результаты поиска, воспользуйтесь инструментом «Переиндексировать страницы», чтобы сообщить о них Яндексу.

Вы можете скачать информацию о страницах в формате XLS или CSV с помощью фильтров.

Примечание. Данные доступны с 20 февраля 2017 года.

1. Динамика состояния страниц
2. Изменения страниц в базе данных поиска
3. Список страниц, просканированных роботом
4. Фильтрация данных

Информация о странице представлена ​​следующим образом:

• Новые и измененные — количество страниц, просканированных роботом в первый раз, и страниц, статус которых изменился после того, как они были просканированы роботом.

• Статистика сканирования — количество страниц, просканированных роботом, с кодом ответа сервера.

Изменения отображаются, если код ответа HTTP изменился, когда робот снова обратился к странице. Например, 200 OK превращается в 404 Not Found. Если изменилось только содержание страницы, в Яндекс.Вебмастере это не отобразится.

Для просмотра изменений установите для параметра значение «Последние изменения». Может отображаться до 50 000 изменений.

Яндекс.Вебмастер показывает следующую информацию о страницах:

• Дата последнего посещения страницы роботом (дата сканирования).

• Путь к странице из корневого каталога сайта.

• Код ответа сервера, полученный при сканировании.

На основании этой информации вы можете узнать, как часто робот просматривает страницы сайта. Вы также можете увидеть, какие страницы были только что добавлены в базу данных, а какие были повторно просканированы.

Страницы, добавленные в базу поиска

Если страница сканируется в первый раз, в столбце «Была» отображается статус «Н / д», а в столбце «Текущий» отображается ответ сервера (например, 200 OK).

После успешной загрузки страницы в базу данных поиска она может отображаться в результатах поиска после обновления базы данных поиска. Информация о нем отображается в разделе «Страницы в поиске».

Страницы, переиндексированные роботом

Если робот просканировал страницу раньше, статус страницы может измениться при повторном сканировании: в столбце Was отображается ответ сервера, полученный во время предыдущего посещения, в столбце Current отображается ответ сервера получено во время последнего сканирования.

Предположим, что страница, включенная в поиск, стала недоступна для робота. В этом случае он исключается из поиска. Через некоторое время вы можете найти его в списке исключенных страниц в разделе «Страницы в поиске».

Страница, исключенная из поиска, может оставаться в базе данных поиска, чтобы робот мог проверить ее доступность. Обычно робот запрашивает страницу до тех пор, пока на нее есть ссылки, и это не запрещено в файле robots.txt.

Чтобы просмотреть список страниц, установите для параметра значение Все страницы.Список может содержать до 50 000 страниц.

Вы можете просмотреть список страниц сайта, просканированных роботом, и следующую информацию о них:

• Дата последнего посещения страницы роботом (дата сканирования).

• Путь к странице из корневого каталога сайта.

• Код ответа сервера, полученный при последней загрузке страницы роботом.

Наконечник. Если в списке показаны страницы, которые уже удалены с сайта или не существуют, вероятно, робот находит ссылки на них при посещении других ресурсов.Чтобы запретить роботу доступ к ненужным страницам, запретите индексацию с помощью директивы Disallow в файле robots.txt.

Вы можете фильтровать информацию о страницах и изменениях в поисковой базе по всем параметрам (дате сканирования, URL страницы, коду ответа сервера) с помощью значка. Вот несколько примеров:

По ответу сервера

Вы можете создать список страниц, которые робот просканировал, но не смог загрузить из-за ответа сервера 404 Not Found.

Вы можете фильтровать только новые страницы, которые были недоступны для робота.Для этого установите переключатель в положение «Последние изменения».

Также вы можете получить полный список страниц, которые были недоступны для робота. Для этого установите переключатель в положение Все страницы.

По фрагменту URL

Вы можете создать список страниц с URL, содержащим определенный фрагмент. Для этого выберите из списка Содержит и введите фрагмент в поле.

По URL-адресу с использованием специальных символов

Вы можете использовать специальные символы для соответствия началу строки или подстроки и устанавливать более сложные условия с помощью регулярных выражений.Для этого выберите совпадения URL-адресов из списка и введите условие в поле. Вы можете добавить несколько условий, поместив каждое из них в новую строку.

Для условий доступны следующие правила:

Символы, используемые для фильтрации

Символ	Описание	Пример
*	Любое количество символов	Соответствует любому количеству символов	Показать данные для всех страниц, начинающихся с https: // example.com / тариф /, включая указанную страницу: / тариф / * Использование символа * Символ * может быть полезен при поиске URL-адресов, содержащих два или более определенных элемента. Например, вы можете найти новости или объявления за определенный год: / news / * / 2017/.
@	Отфильтрованные результаты содержат указанную строку (но не обязательно строго соответствуют ей)	Отображение информации для всех страниц с URL-адресами, содержащими указанную строку: @tariff
~	Условие — это регулярное выражение	Отображение данных для страниц с URL-адресами, соответствующими регулярному выражению.Например, вы можете отфильтровать все страницы с адресом, содержащим фрагмент ~ таблица | диван | кровать , повторяющийся один или несколько раз.
!	Отрицательное условие	Исключить страницы с URL-адресами, начинающимися с https://example.com/tariff/: ! / Тарифа / *

Использование символов не чувствительно к регистру.

Символы @,!, ~ Можно использовать только в начале строки. Доступны следующие комбинации:

9012 страницы с URL-адресами, соответствующими регулярному выражению

Оператор	Пример
! @	Исключить страницы с URL-адресами, содержащими тариф: ! @Tariff

Почему страницы исключаются из поиска?

Как исключить страницы из поиска?

Иногда необходимо исключить страницу сайта из результатов поиска, например, если она содержит конфиденциальную информацию, является дубликатом другой страницы или была удалена с сайта.

1. Шаг 1. Запретить индексирование страницы или каталога
2. Шаг 2. Ускорить удаление страницы
3. Как мне вернуть страницу в результаты поиска?
4. FAQ

Это можно сделать несколькими способами:

Если страница удалена с сайта

Если страница не должна отображаться в поиске

Проверить, соответствуют ли инструкции в файл robots.txt верен, используйте файл robots.инструмент анализа txt.

Примечание. При сканировании сайта робот сначала обращается к файлу robots.txt, если он есть, а затем просматривает страницы сайта. Постраничное сканирование может занять некоторое время. Если вы хотите удалить много страниц из поиска, добавьте директиву Disallow для нужных страниц.

Когда робот заходит на сайт и обнаруживает, что ему запрещено индексировать, страница исчезает из результатов поиска в течение недели.URL удаленной страницы отображается в списке исключенных страниц на странице в Яндекс.Вебмастере.

Исключение из поиска страниц, нарушающих авторские права, не является приоритетной задачей робота. Чтобы исключить страницу из поиска, воспользуйтесь методами, описанными в этом разделе.

Исключенные из результатов поиска страницы могут отображаться в Яндекс.Вебмастере до следующего сканирования сайта.

Чтобы ускорить удаление страницы из поиска, попросите Яндекс удалить ее, не дожидаясь запланированного сканирования робота.

• Если ваш сайт не добавлен или не верифицирован в Яндекс.Вебмастере:

  1. Перейдите на страницу Удалить страницы из результатов поиска в Яндекс.Вебмастере.

  2. Введите URL-адрес страницы, которую необходимо исключить, в поле, например http://example.com/page.html.

  3. Нажмите кнопку «Удалить».

  Чтобы исключить несколько страниц из поиска, удаляйте их по одной.

• Если ваш сайт добавлен в Яндекс.Вебмастер и вы подтвердили права управления сайтом:

  1. Перейдите на страницу.

  2. Установите переключатель в положение По URL.

  3. Введите URL-адрес страницы в поле, например http://example.com/page.html.

  4. Нажмите кнопку «Удалить».

  Вы можете указать до 500 URL-адресов на сайт в день.

Вы можете удалить все страницы сайта, отдельные каталоги или страницы с указанными параметрами в URL, если ваш сайт добавлен в Яндекс.Веб-мастер и вы подтвердили свои права на управление сайтом.

1. В Яндекс.Вебмастере перейдите на страницу.

2. Установите переключатель в положение По префиксу.

3. Укажите префикс:
   

   Что удалить	Пример
   Каталог сайта	http://example.com/catalogue /	Все страницы сайта
   http: // example.com /
   URL с параметрами	http://example.com/page ?

   Вы можете отправлять до 20 префиксов на сайт в день.

4. Нажмите кнопку «Удалить».

Примечание. Робот удалит страницы, указанные в Яндекс.Вебмастере, только если эти страницы указаны в директиве Disallow в файле robots.txt.

После отправки URL в Яндекс.Вебмастер вы можете отслеживать изменения статусов на:

Убрать запрет на индексацию: директива Disallow в файле robots.txt или метатег noindex. Страницы возвращаются к результатам поиска, когда робот просматривает сайт и узнает об изменениях. Это может занять до трех недель.

Я настроил перенаправление на новые страницы, но старые по-прежнему отображаются в результатах поиска.

Если вы используете перенаправление, робот будет постепенно отслеживать перенаправления, и старые страницы будут исчезать из результатов поиска по мере сканирования сайта. Чтобы робот быстрее узнал об изменениях, отправьте страницы на переиндексацию.

Если URL-адреса страниц изменились из-за изменения доменного имени сайта, обновление данных поиска может занять больше месяца. Проверьте правильность настройки зеркал.

Индексирование сайта по тегу Яндекс.Метрики

Внимание. Этот метод не подходит для индексации:

Робот Яндекса узнает о страницах сайта из разных источников. Один из них — тег отслеживания Яндекс.Метрики. Вы можете указать Яндексу индексировать страницы с тегом.

Для ускорения сканирования подключите Яндекс.Метрика на сайт, который вы проверили в Яндекс.Вебмастере, и включите индексацию сайта с данными тегов.

Кто может запросить и подтвердить привязку

Откуда отправляется запрос	Кто отправляет запрос	Кто подтверждает запрос
Яндекс.Вебмастер.	Пользователь с правами управления сайтом.	Пользователь Яндекс.Метрики с правами редактирования тегов или представительским доступом.
Яндекс.Метрика. Узнайте больше о том, как отправить запрос в Яндекс.Метрике.	Пользователь с правами редактирования тега или с репрезентативным доступом.	Пользователь Яндекс.Вебмастера с правами управления сайтом.

Когда робот завершает сканирование сайта, страницы могут быть включены в результаты поиска, если им не запрещено индексировать. Чтобы помочь роботу найти все страницы, также используйте файл Sitemap.

Вы можете связать несколько доменов с одним тегом или несколько тегов на сайте. Например, вы можете связать один и тот же тег с основным доменом и субдоменом. Для этого добавьте оба сайта в Яндекс.Вебмастер и подтвердите свои права на управление сайтом.

1. Выберите сайт для ссылки на тег.

2. Перейти в раздел.

3. Нажмите кнопку «Добавить тег».

4. Укажите идентификатор тега для ссылки на сайт. Обратите внимание, что сайт должен быть указан в Яндекс.Метрика в настройках тега.

После того, как вы отправите запрос на подтверждение привязки, владелец тега Яндекс.Метрики получит уведомление по электронной почте.

1. Перейти к.

2. Рядом с тегом Яндекс.Метрики, который вы связали с сайтом, включите индексацию.

Робот сможет сканировать страницы, на которых установлен тег. Этот параметр применяется ко всем версиям сайта: по протоколу HTTP или HTTPS, с префиксом www или без него.

Во время индексации робот ищет на сайте страницы, которые могут быть включены в результаты поиска. В некоторых случаях индексация может остановиться, чтобы вы могли проверить страницы. Робот может найти много страниц, но Яндекс.Вебмастер показывает вам только примеры. Эти примеры помогут вам понять, какие группы страниц следует включать, а какие нет.

Вы получите уведомление о том, что список готов к проверке. В зависимости от ваших настроек, уведомление будет иметь следующий вид:

Чтобы проверить примеры, перейдите и щелкните Примеры страниц рядом с тегом, который вы связали с сайтом.

Если вы считаете, что список включает:

1. Внимательно посмотрите на список — он может включать следующие типы страниц:
   

   Тип страницы	Что мне делать?
   Страницы действий. Например, добавление товара в корзину или сравнение товаров.	Запретить индексацию страниц
   Корзина с товаром.
   Личная информация.Например, адрес доставки и номер телефона покупателя.	Ограничить доступ к данным путем аутентификации пользователей на сайте
   . Например, URL с дополнительными параметрами (https://example.com/page?id=1).	Укажите, какая страница предпочтительнее для включения в результаты поиска

2. Подождите, пока служба обновит список. Вы получите электронное письмо об этом на адрес, указанный в настройках уведомлений.

3. Еще раз проверьте образцы страниц.

4. Включить индексацию.

1. Проверьте, готовы ли ваши страницы к показу в результатах поиска. (Содержимое завершено? Правильно ли заданы титровальный элемент и метатег Description?)

2. Включить индексирование.

Кроме того, мы рекомендуем добавлять страницы, которые могут участвовать в поиске, в файл Sitemap, чтобы ускорить их появление в результатах поиска.

Вы можете проверить, какие страницы появляются в результатах поиска, на страницах в разделе поиска.

Когда опция выключена, робот перестает получать информацию о новых страницах сайта от Яндекс.Метрики. Однако он может проиндексировать страницы, если узнает о них из других источников. Мы рекомендуем запретить индексирование непубличного содержания. Чтобы узнать, включены ли страницы, которые вы не хотите индексировать, в результаты поиска, перейдите в раздел «Страницы» в разделе поиска.

Также имейте в виду, что отключение индексации не удаляет страницы из результатов поиска.См. Как мне исключить страницы из поиска ?.

Справочник по ошибкам индексации — Webmaster. Справка

Опция исключенных страниц в Яндексе для веб-мастеров

Яндекс. Инструменты для веб-мастеров предлагают веб-мастерам прекрасную возможность анализировать страницы, не включенные в поисковую систему Яндекса. Этот инструмент помогает понять следующее:

• Не проиндексированные страницы с кодами ошибок HTTP
• Внутренние и внешние страницы, ссылающиеся на страницу ошибки
• Установить уровень важности для каждого кода ошибки

В этой статье объясняется, как использовать этот инструмент, шаг за шагом.

Параметр доступа к исключенным страницам

Чтобы использовать этот инструмент, вы должны добавить и подтвердить свой сайт в Яндексе для веб-мастеров.

Войдите в свою учетную запись и выберите сайт, который хотите проанализировать. Перейдите к опции «Исключенные страницы», доступной в разделе «Индексирование». Яндекс покажет страницы вашего сайта, которые не были проиндексированы ЯндексБотом по разным категориям.

Исключенные страницы в Яндексе для веб-мастеров

Исключенные страницы классифицируются по следующим трем категориям:

Страницы ошибок HTTP:

Все страницы, получившие ошибки HTTP во время сканирования, будут показаны здесь вместе с кодом ошибки.Например, страницы «Страница не найдена» будут отображаться с кодом ошибки 404.

заблокировано Robots.txt:

В этой категории отображается

URL-адресов, заблокированных файлом robots.txt.

Не поддерживаются страницы:

Здесь показаны форматы страниц, не поддерживаемые ЯндексБотом. XML-файлы, включая ваш Sitemap, будут отображаться здесь как недопустимый формат файла, и вы не будете предпринимать никаких действий для XML-файлов, отображаемых в этой категории.

Установка уровня важности кодов ошибок

ЯндексБот не узнает, заблокирована ли страница умышленно владельцем сайта или выдает ошибку только в этот момент.Таким образом, Яндекс предоставляет возможность установить уровень важности индексации для каждого кода ошибки. Вы можете щелкнуть ссылку «Настройки», показанную на картинке выше, чтобы получить доступ к странице с кодом ошибки. Щелкните значок «глаз», чтобы уменьшить важность кода ошибки.

К этой опции также можно получить доступ через вкладку «Настройки» вашей учетной записи в Инструментах для веб-мастеров.

Установка уровня важности кодов ошибок в Яндексе

Состояние ошибки HTTP

Общая ошибка в разделе состояния HTTP — ошибка «Страница не найдена» с кодом состояния 404.Перейдите по ссылке, чтобы просмотреть подробный список URL-адресов, получивших код ошибки 404 при сканировании ЯндексБота.

Страница не найдена Страницы ошибок со ссылками в Яндексе

Вы можете увидеть графическое представление, а также каждый отдельный URL-адрес с ошибкой 404 вместе с последней датой сканирования. В столбце «Ссылки на страницу» будут показаны внутренние или внешние страницы, ссылающиеся на страницу с ошибкой, если применимо. Щелкните значок коробки, отображаемый под столбцом ссылок на страницу, чтобы увидеть все ссылки, ведущие к URL-адресу ошибки.

Детали связанных URL для страницы ошибки в Яндексе

Если вы хотите устранить неполадки с исключенными страницами, вам необходимо понимать ответ, полученный ЯндексБотом при сканировании. Яндекс предлагает инструмент под названием «Проверка ответа сервера», чтобы помочь веб-мастерам получать страницы как Яндекс-бот и проверять полученный ответ. Щелкните здесь, чтобы узнать больше о проверке ответа сервера.

Sitecore SEO | Google, Яндекс и Bing

Хотя Bing и Яндекс могут показаться незначительными в цифрах, они входят в пятерку самых популярных поисковых систем на планете, а Яндекс — на первом месте.1 в России. Они не только доминируют в мире поисковых систем, но и создали новый канал современного маркетинга — поисковую оптимизацию (SEO).

Google, Яндекс и Bing — крупнейшие поисковые системы в настоящее время. У Google колоссальная доля рынка 91,89%, за ней следуют Bing с 2,79% и Яндекс с 0,54% .

С их постоянно развивающимися алгоритмическими изменениями и обновлениями, поисковая оптимизация становится более сложной, чем когда-либо. Упрощение SEO имеет решающее значение для успеха на этом канале.В этой статье рассказывается, что вам нужно сделать, чтобы добиться максимальной производительности Sitecore SEO от вашего сайта Sitecore.

Как попасть в индекс в Google, Яндекс и Bing

Первое и самое важное, что необходимо сделать перед оптимизацией, — это проиндексировать ваш сайт Sitecore поисковыми системами. Есть множество способов подойти к этому, но лучший из них — самый простой.

Подключение вашего сайта Sitecore к консоли поиска Google

Google Search Console — это набор инструментов и ресурсов, которые помогают владельцам веб-сайтов и специалистам по поисковой оптимизации отслеживать и обслуживать веб-сайты.

Некоторые из основных функций включают предоставление информации о внешнем виде поиска, производительности трафика, технических обновлениях, статусе сканирования и данных, обратных ссылках и ссылочных URL-адресах и многое другое.

1. Зарегистрируйтесь в Google Search Console аккаунт
2. Нажмите Добавьте свойство и в поле «Добавить URL-адрес сайта»
3. Выберите HTML-тег в качестве метода проверки
4. Скопируйте метатег и вставьте его в раздел вашего сайта
5. Как только это будет сделано, нажмите Подтвердить в окне консоли поиска Google

Источник: Google

Подключение вашего сайта Sitecore к Bing

После подключения вашего сайта к Google Search Console подключиться к Bing Webmaster довольно просто.Это можно сделать двумя способами. Первый — вручную, а второй — для проверки вашего сайта путем импорта аутентификации из Google Search Console.

1. Открыть учетную запись Bing для веб-мастеров
2. На главной панели инструментов нажмите кнопку в правом верхнем углу с надписью Пропустить проверку, импортировав свой сайт из консоли поиска Google

Источник: Bing

Подключение вашего сайта Sitecore к Яндекс.

Для бизнеса, у которого есть русскоязычный сайт, обязательно присутствие на Яндексе.Это потому, что Яндекс — поисковая система №1, которую выбирают люди в России.

1. Создать аккаунт на Яндексе
2. Перейдите на домашнюю страницу, найдите карточку веб-мастера и нажмите Добавить домен
3. Введите имя вашего домена и нажмите Добавить

Подтвердите, что вы являетесь владельцем сайта:

• Файл HTML : создайте файл HTML с указанным уникальным именем и содержанием и поместите его в корневой каталог вашего сайта
• Мета-тег: Добавить специальный метатег в HTML-код на главной странице сайта (в элементе head)
• Если у вас уже есть основной домен, нажмите Сделать основным .После этого ваш новый домен станет основным доменом, а старый домен будет переведен в псевдоним домена

.

Узнайте о других способах подключения домена к Яндекс.

Источник: Яндекс

Подключение ваших XML-карт сайта к Google, Яндекс и Bing

После подключения и проверки вашего веб-сайта следующим шагом будет загрузка вашей XML-карты сайта во все инструменты для веб-мастеров (Яндекс, Bing и Google Search Console).

XML-карта сайта содержит список всех (включенных) страниц вашего веб-сайта.Хорошо структурированная иерархия / карта сайта в формате xml ведет поисковые системы ко всем вашим важным страницам.

Карту сайта обычно можно найти, добавив /sitemap.xml к URL-адресу вашего веб-сайта. Например: www.nameofyourwebsite.com/sitemap.xml. Если у вас нет карты сайта, попросите своего партнера по технологиям создать ее для вас.

Подключение XML-карты сайта Sitecore к Google Search Console

1. На панели инструментов Google Search Console перейдите к левой панели. Под индексом щелкните Файлы Sitemap
2. Введите URL-адрес вашей карты сайта в поле Добавить новую карту сайта .URL-адрес обычно /sitemap.xml, но обязательно перед отправкой
3. После отправки, в зависимости от размера вашего сайта, в отчете ниже статус будет зеленым.

Подключение XML-карты сайта Sitecore к Bing

1. На панели инструментов Bing Webmasters перейдите к левой панели. В разделе Настроить личный сайт щелкните Файлы Sitemap
2. Нажмите новый Перейти к карте сайта ссылка
3. Нажмите Отправить карту сайта и отправьте URL-адрес, по которому находится ваша карта сайта

Подключение XML-карты сайта Sitecore к Яндексу

1. В панели управления Яндекс Вебмастера перейдите на левую панель.В разделе Индексирование щелкните Файлы Sitemap
2. Нажмите новый Перейти к карте сайта ссылка
3. Введите URL-адрес карты сайта в поле Добавить новую карту сайта поле
4. Нажмите Отправить

Когда веб-сайт проверен и карта сайта успешно отправлена, как вы оптимизируете свой сайт Sitecore для Google, Яндекс и Bing для улучшения SEO? Это может быть очень детализированным, но три наиболее важные и часто используемые категории оптимизации:

• Техническое SEO
• Внутреннее SEO (контент)
• Off-page SEO (профили с обратными ссылками)

Техническое SEO

Более 95% оптимизаций, сделанных для одной поисковой системы, обычно одинаковы для других поисковых систем.

Если вы правильно понимаете технические требования Google к поисковой оптимизации, вы в значительной степени правильно поняли и Bing, и Яндекс, хотя есть некоторые очень отличительные особенности, которым нужно уделять больше внимания, чем другие.

Убедитесь, что ваш веб-сайт оптимизирован для мобильных устройств

Как следует из названия, оптимизированный для мобильных устройств контент предназначен для оптимизации ваших технических, дизайнерских и информационных основ для мобильных пользователей, а также для удобства использования мобильных устройств.

Ниже приведены 26 рекомендаций, которые помогут улучшить индексируемость вашего сайта Sitecore для мобильных устройств.

1. Используйте одни и те же метатеги robots на сайте для мобильных устройств и компьютеров.
2. Не ленитесь загружать основной контент при взаимодействии с пользователем
3. Разрешить Google сканировать все ресурсы
4. Убедитесь, что содержимое одинаково на настольных компьютерах и мобильных устройствах
5. Используйте те же четкие и содержательные заголовки
6. Убедитесь, что на вашем мобильном устройстве и настольном компьютере используются одинаковые структурированные данные.
7. Используйте правильные URL-адреса в структурированных данных
8. Если вы используете Data Highlighter, обучите его на своем мобильном сайте
9. Поместите одинаковые метаданные в обе версии вашего сайта (метатеги, метаописания и т. Д.)
10. Обеспечивает высокое качество изображений
11. Использовать поддерживаемый формат для изображений
12. Не используйте URL-адреса, которые меняются каждый раз при загрузке страницы.
13. Убедитесь, что на мобильном сайте есть тот же замещающий текст для изображений, что и на сайте для настольных компьютеров.
14. Убедитесь, что качество содержимого мобильной страницы такое же хорошее, как и страницы для ПК.
15. Не используйте URL-адреса, которые меняются каждый раз при загрузке страницы для ваших видео
16. Использовать поддерживаемый формат для видео
17. Использовать те же структурированные видеоданные
18. Поместите видео в удобное для поиска место на странице при просмотре на мобильном устройстве
19. Убедитесь, что статус страницы ошибки одинаков как на настольном, так и на мобильном сайте.
20. Убедитесь, что в вашей мобильной версии нет URL-адресов фрагментов.Например, страницы, начинающиеся с #, эти страницы не будут проиндексированы
21. Убедитесь, что настольные версии, обслуживающие разный контент, имеют эквивалентные мобильные версии.
22. Проверьте обе версии вашего сайта в консоли поиска (только если у вашего сайта есть собственный URL)
23. Проверить hreflang ссылки на отдельные URL
24. Убедитесь, что ваш мобильный сайт имеет достаточную емкость для обработки повышенной скорости сканирования.
25. Убедитесь, что ваши директивы robots.txt работают так, как вы предполагаете, для обеих версий (если у вас есть сайт для мобильных устройств)
26. Используйте правильные атрибуты rel = canonical и rel = alternate для отдельных URL-адресов

Вы также можете использовать тест Google Mobile Friendly, чтобы узнать, насколько эффективен ваш сайт на мобильных устройствах.

Узнайте больше о передовых методах работы с мобильными устройствами.

Понимание основ JavaScript для SEO

Все специалисты по SEO и маркетологи должны привыкнуть к некоторым техническим особенностям SEO с использованием JavaScript. JavaScript — важная часть набора инструментов веб-разработки, поскольку он предоставляет множество функций, которые превращают веб-разработку в мощную платформу приложений.

Создание веб-приложений на базе JavaScript, которые можно обнаружить с помощью поисковых систем, может помочь новым пользователям и повторно привлечь существующих пользователей к поиску контента, предоставляемого вашим веб-сайтом.

Понимание того, как AMP выглядит в результатах поиска и работает

В отличие от JavaScript SEO, Accelerated Mobile Pages намного проще, но в равной степени является неотъемлемой частью технического контента и планов SEO.

AMP — это более простые страницы вашего текущего веб-сайта, которые могут быть обслужены пользователями намного быстрее. Это улучшает работу в Интернете для мобильных посетителей, особенно при медленном подключении к Интернету. Google Search и все другие поисковые системы индексируют AMP.

Повышение скорости страницы

Иногда поисковые системы могут быть довольно снисходительными, когда дело доходит до того, что некоторые мелкие технические элементы не совсем правильны, но скорость страницы не входит в их число.Самым важным ожиданием от поисковой системы, будь то Google, Bing или Яндекс, является то, что все они требуют, чтобы ваш веб-сайт и отдельные страницы имели хорошую скорость загрузки.

Все поисковые системы недавно сделали скорость страницы обязательным фактором ранжирования. Инструмент Google Page Speed ​​Tool — отличный способ узнать, насколько эффективно загружается страница вашего сайта Sitecore.

Содержимое HTTPS и смешанное содержимое

HTTPS стал фактором ранжирования в 2014 году для Google и в 2015/2016 для других поисковых систем.

Предполагается, что более 80% веб-сайтов во всех поисковых системах поддерживают протокол HTTPS. Вот почему важно проверять распространенные проблемы HTTPS в рамках ежемесячных аудитов, поскольку новые объекты и вновь созданный контент не всегда могут быть безопасными. Например, проблемы смешанного содержимого обычно возникают, когда защищенный контент (ресурсы и страницы HTTPS) смешивается с незащищенными страницами (ресурсы и страницы HTTP). Это ослабляет воспринимаемую безопасность.

Канонические проблемы и проблемы с hreflang

Канонический тег или rel = canonical сообщает поисковым системам, что конкретный URL-адрес является главной копией страницы.Другими словами, это предпочтительный URL для индексации.

Использование канонического тега предотвращает проблемы идентификации, с которыми сталкиваются сканеры, посещающие веб-страницу, и предотвращает индексацию дублированного контента. Он сообщает поисковым системам, какую версию URL вы хотите проиндексировать и таким образом отобразить в поисковых системах.

Некоторые передовые практики:

• Канонические теги могут ссылаться на себя
• Убедитесь, что вы канонизируете свою домашнюю страницу.
• Проверьте динамические канонические теги (не пытайтесь написать скрипт для заполнения ваших канонических тегов, это может пойти не так и потенциально проиндексировать 100 неправильных страниц)
• Включите поле Canonical URL в редактор содержимого всех ваших страниц Sitecore

Если на вашем сайте Sitecore включено международное управление версиями, то применение атрибута hreflang оптимизирует ваше SEO.

Применение тега hreflang сообщает поисковым системам, какую версию контента показывать в зависимости от языка и региона посетителя. hreflang также предотвращает проблемы с дублированием содержимого. При наличии идентификатора страны / языка в URL-адресе (например, страница www / yourdomain.com / en-gb / ) в сочетании с атрибутами hreflang для региональных / языковых вариантов эта английская версия страницы будет отображаться в поисковой выдаче для пользователь в Великобритании.

Внутренние ссылки и «ссылочный сок»

Внутренние ссылки могут быть частью более сложной технической экосистемы, но также являются частью оптимизации контента.

Внутренние ссылки помогают поисковым системам лучше сканировать сайт. Думайте об этом как о строках, которые связывают все статьи и страницы друг с другом. Сканеры используют эти строки для поиска контента и его индексации. Чем больше строк связано со всеми частями сайта, тем лучше индексация. Это также называется «ссылочным весом».

Очень важно, чтобы вы включали релевантные ссылки на другие части веб-сайта на каждой странице или в каждой статье. Но постарайтесь не переусердствовать, поскольку контент должен хорошо (и естественно) читаться посетителям.

Статьи в блогах — лучшее место для подключения к другим частям вашего веб-сайта.

Чтобы лучше понять, как работают внутренние ссылки, просмотрите отчеты профилей ссылок в Google Search Console, Яндексе и Bing.

Увеличьте свой краулинговый бюджет

Бюджет сканирования — это количество страниц, которые поисковые системы просматривают за определенный период времени. Это не фактор ранжирования, но он помогает чаще приглашать роботов к вашему поиску.

Чтобы понять, как это работает, просмотрите разделы в своих веб-мастерах, в которых указано Статистика сканирования или Статус сканирования .

Если вы видите, что графики краулингового бюджета высоки, это означает, что ваш сайт нуждается в хорошей очистке с точки зрения SEO. Так что же такое хорошая чистка?

• Удалите дублирующийся контент, , чтобы не тратить краулинговый бюджет
• Ограничить индексацию страниц без значения SEO . Страницы со старым контентом, которые не работают должным образом или имеют больше проблем, которые посещают, или, что еще лучше, их повторно используют
• Добавить параметры URL в Google Search Console .По умолчанию Google сканирует все страницы, представленные на веб-сайте, но иногда важно добавить ограничения на параметры URL, чтобы ограничить индексирование страниц, таких как страницы BackToResults или динамические страницы, обнаруженные с помощью расширенных фильтров на вашем сайте
• Исправить цепочки переадресации. Цепочка перенаправления — это цепочка перенаправлений, которая может быть собрана в течение периода перенаправления одних и тех же страниц на другие страницы, не зная, перенаправлялись ли они раньше. Избегайте этого, потому что поисковый робот постоянно индексирует те же самые страницы

SEO на странице

Оптимизация на странице — это практика оптимизации отдельных веб-страниц для повышения их рейтинга в поисковых системах и увеличения посещаемости.В отличие от технического SEO, оптимизация на странице в основном связана с контентом и связанным с ним HTML.

Ниже приведены некоторые методы, которые помогут вашему Sitecore на странице SEO:

Публикуйте высококачественный контент

Качество может иметь большое значение для многих маркетологов. Обычно это приводит к слишком большому количеству контента, слишком маленькому контенту, нерелевантному контенту или контенту, который поглощается ключевыми словами. Ниже приведены несколько советов по улучшению SEO на странице Sitecore:

• Исходное содержимое: Не копировать и не переписывать существующее содержимое и постарайтесь использовать как можно больше исходных ресурсов на странице
• Добавьте канонические теги : убедитесь, что у каждой статьи или сообщения есть канонический URL.
• Значение : публикация содержимого, предоставляющего значение
• Исследование : Напишите хорошо проработанный контент
• Деталь: Изготовление более длинных и подробных статей

Заголовки страниц и метаописания

Это основная форма SEO и фундаментальный фактор ранжирования.Вот несколько советов:

• Каждая страница должна иметь уникальный заголовок и соответствовать тому, что страница пытается сказать
• Добавьте ключевые слова в начало заголовков ваших страниц
• Пишите короткие и описательные заголовки. Пользователи обычно нажимают на короткие точные заголовки
• Не всегда обязательно указывать название вашего домена
• Убедитесь, что заголовок не превышает ограничение на количество символов в поисковой системе.

Мета-описание — это описание страницы в нескольких словах, которое часто можно увидеть прямо на странице результатов поисковой системы.Это возможность превратить холодного пользователя в читателя. Вот несколько способов оптимизации метаописаний:

• Найдите время, чтобы написать оригинальные метаописания и сохранить уникальность тегов
• Убедитесь, что вы также добавили в него целевые ключевые слова.
• Не превышайте ограничение по количеству слов в мета-описании, которое есть в поисковых системах.

Оптимизировать содержимое страницы

Оптимизация общего форматирования контента и самого контента является ключевым моментом, поскольку сканеры всех поисковых систем следуют текстовому формату HTML.Так что убедитесь:

• Все теги заголовков верны (h2, h3, h4 и т. Д.)
• Попробуйте включить ключевые слова в заголовки
• Используйте в тексте хорошо изученные ключевые слова с высокой посещаемостью.
• Используйте ключевые слова LSI (слова, которые имеют прямое или косвенное отношение к вашей теме)
• Сохраняйте изображения высокого качества
• Убедитесь, что изображения имеют замещающий текст и другие атрибуты, например «Название».
• Добавить разметку схемы или структурированные данные
• Добавьте Facebook Open Graph для лучшего обмена в социальных сетях
• Избегайте длинных абзацев.Сделайте статью удобочитаемой и разбейте на кусочки информацию

Оптимизировать URL

Это может быть самый простой из всех методов оптимизации на странице, но в большинстве статей это неверно из-за динамически генерируемых URL-адресов. По возможности избегайте этого и пишите простые, точные и релевантные структуры URL-адресов с соответствующими ключевыми словами.

Внутренняя ссылка

Как уже упоминалось, внутренние ссылки помогают поисковым системам лучше сканировать веб-сайт, поскольку они используют ссылки для перемещения по сайту.

Внешние ссылки

Наличие внешних ссылок из вашей статьи на другой надежный источник или публикацию повышает надежность статьи. Это положительный фактор SEO. Каждый раз, когда вы цитируете или используете контент с другого веб-сайта, упомяните источник и сделайте ссылку на статью.

SEO вне страницы

Off-page SEO — это оптимизация вашего собственного сайта. Он получает рейтинг SEO по сравнению с другими внешними веб-сайтами в виде обратных ссылок. Google недавно подтвердил, что обратные ссылки являются одним из трех наиболее важных факторов ранжирования.Обратные ссылки должны быть в верхней части списка для всех маркетологов.

Как получить обратные ссылки:

• Начать гостевой блог с авторитетными блогами и издателями
• Переверните обратные ссылки ваших конкурентов и внесите свой вклад в их источники обратных ссылок
• Упоминайте ключевых влиятельных лиц отрасли в своих сообщениях в блоге
• Публикуйте загружаемый контент и руководства со ссылками на ваш основной веб-сайт.
• Размещать статьи или контент в качестве приглашенных пользователей на сайтах пользователей и в социальных сетях
• Станьте лидером отрасли, публикуя контент других участников на своем сайте в обмен на публикацию вашего контента на их сайте

Оптимизация для Google похожа на оптимизацию для всех других поисковых систем, поскольку они являются наиболее сложной и доминирующей поисковой системой на рынке.