Содержание

Почему падает трафик: 8 причин

Падение трафика – одна из самых неприятных проблем, с которой может столкнуться вебмастер. Происходит это обычно внезапно: смотришь статистику и с ужасом, вместо привычных цифр видишь новые, в несколько раз меньше. Почему падает трафик и что делать, если ваш ресурс перестал его генерировать? Расскажу об этом ниже.

1. Отсутствие индексации

Если сайт или его отдельные страницы выпали из индекса, значит, пользователи не видят их в поисковой выдаче и не переходят на сайт. Чтобы убедиться в том, что поисковая система не индексирует ваш сайт, зайдите в поисковик и введите запрос «site:адрес_вашего_сайта». В результате вы увидите страницы, которые сейчас есть в индексе поисковика (или ничего не увидите, если сайт полностью выпал из индекса).

Как вернуть сайт в индекс? Проверьте robots.txt – не стоит ли там где-нибудь запрет на индексацию отдельных страниц или разделов (Disallow: /). Кстати, запрет на индексацию может стоять и на самой странице (тег «noindex»).

Другие причины выпадения могут быть не так очевидны. Например, бывает, что из индексации выпадает сайт, который давно не обновлялся.

2. Попадание под фильтры

Сайт может выпасть из индексации из-за санкций, которые в свою очередь накладываются алгоритмами поисковиков из-за переоптимизации. Санкции проявляются в виде попадания сайта под фильтры. Они призваны бороться с поисковым спамом, когда сайты и страницы выходят в топ выдачи не по естественным причинам, а из-за использования приемов черной или серой оптимизации.

Например, из-за подозрительно частого использования ключевой фразы в статьях сайт может попасть под фильтр Яндекса «Баден-Баден», а из-за огромного количества SEO-ссылок – «уехать» в «Минусинск».

Проверить, попал ли сайт под фильтр, можно в панелях вебмастеров (Яндекс.Вебмастер, Google Analytics).

3. Заражение вирусами

Вирусы – еще одна причина, по которой поисковики могут исключить сайт из выдачи, добавив его в черный список. Браузеры тоже будут предупреждать пользователей о вредоносном содержимом, показывая соответствующие таблички при попытке перейти на ресурс.

Посещаемость сразу значительно падает. Да и не она одна: лояльность пользователей также уменьшится, как и доверие. Для интернет-магазинов это может стать очень важной проблемой. Поэтому сайт нужно регулярно проверять на вирусы и, при первом их обнаружении, лечить. После этого нужно ждать переиндексации страниц поисковиками.

4. Изменения на сайте

Любая модернизация сайта может как положительно, так и отрицательно повлиять на позиции сайта в поисковой выдаче. Понятно, что негативных последствий никто не ждет, но о них тоже нужно помнить.

Чаще всего потеря трафика наблюдаются после серьезных изменений – удаления страниц, изменения навигации, ссылок, статей и так далее. Особенное внимание нужно уделить редиректам, если изменения касались URL-адресов.

Что делать после внесения изменений? Ждать, когда поисковые боты снова проиндексируют ваш сайт. Это может занять от нескольких недель до пары месяцев.

5. Неправильное использование ключевых слов

При подборе ключевых слов важно, чтобы:

  • они соответствовали тому, что вводит в поисковик целевая аудитория;

  • они не спорили между собой на нескольких страницах.

Если на сайте произойдет ситуация, когда под одинаковые ключевые запросы будет оптимизировано несколько страниц, то все они будут соперничать между собой в выдаче. Вывод только один – оптимизируйте с умом.

6. Неправильная микроразметка

Микроразметка – полезный инструмент, позволяющий сделать контент более понятным для поисковиков. Ориентируясь на микроразметку, поисковые боты делают выводы о содержании сайта, что положительно влияет на продвижение ресурса в выдаче. Используя микроразметку, можно сформировать товарный сниппет: он будет отображать информацию о товаре и о компании.

Казалось бы, настроил один раз и забыл – какие могут быть сложности? На самом деле за содержанием микроразметки тоже нужно следить – если что-то на сайте меняется, то, скорее всего, и микроразметку нужно будет отредактировать.

7. Конкуренция

Не всегда конкуренты ведут честную борьбу (к сожалению). Иногда конкуренты могут вредить вашему сайту, подводя его под санкции (должно казаться, будто вы подвели сайт под фильтр собственноручно). Просто помните, что купить множество ссылок для вашего сайта может и неопытный SEO-шник, и нечестный конкурент, а вы в результате получаете ссылочный взрыв и санкции от поисковых систем.

Впрочем, бывают ситуации, когда позиции вашего сайта падают из-за повышения позиций сайта-конкурента, так как он лучше оптимизирован и у него хорошие поведенческие факторы. Отчаиваться не надо — нужно продолжать работать над своим сайтом, чтобы перегнать их 🙂

8. Падение интереса/сезонность

Наконец, падение трафика может быть результатом изменения интересов пользователей. Лыжами и коньками люди интересуются зимой, с приходом весны интерес к спортивному инвентарю падает, как и трафик. Расстраиваться по этому поводу не стоит – с наступлением следующего зимнего сезона посещаемость вновь обязательно вырастет.

Бывает, что интерес падает вне зависимости от сезона, а просто с течением времени: «бум» на товар или тему заканчивается, посещаемость сайта падает.

Например, история запросов монопода (он же популярная некогда селфипалка):

Заметно, что основной интерес к этому товару был летом 2016 года. Летом 2017 года популярность запроса вновь чуть-чуть увеличилась, но далеко не до уровня 2016 года.

Посмотреть популярность запросов можно в:

Заключение

Падение трафика может быть результатом самых разных действий, и не только с вашей стороны. Главное, внимательно относитесь к оптимизации сайта, обращайтесь только к квалифицированным специалистам и всегда думайте о пользователях, ведь в конечном итоге все делается именно ради них 🙂 Удачи!

Запустите SEO- и контекстное продвижение из панели хостинга: https://timeweb.com/ru/services/bonuses/2017/2516

Основы SEO-продвижения и оптимизации сайтов под поисковые системы


SEO (англ. search engine optimization) — это оптимизация сайта под поисковые системы. Главная цель продвижения — обойти в органической выдаче конкурентов, чтобы получить больше целевых посетителей из поисковиков. Вторую страницу поисковой выдачи почти не открывают, поэтому борьба идет за места в ТОП-10.


Так как поисковики учитывают сотни факторов при ранжировании, возможностей для улучшений очень много. Эта статья поможет вам освоить основы SEO:

  • Проверку ниши и анализ конкурентов.

  • Техническую оптимизацию.

  • Сбор ключевых слов и создание контента.

  • Разработку структуры сайта, перелинковку страниц.

  • Дизайн и поведенческие факторы.

  • Получение внешних ссылок.

  • Повышение конверсии.

Белое, серое и черное SEO


Принято выделять три группы методов продвижения сайта:

  • Белое SEO продвижение — это строгое следование рекомендациям поисковиков. Запрещенные методы не применяются. Эффект дают полезные материалы, продуманная структура сайта, отсутствие ошибок и т. д.

  • Серое SEO — это то, что формально не запрещено, но и не входит в рекомендации (например, многократная правка текста, чтобы подобрать оптимальную плотность ключевых слов). Если хотите рискнуть, знайте: убедить поисковик, что вы лучше понимаете правила, довольно сложно.

  • Черное SEO — это игнорирование правил и манипуляция выдачей: перенаправление пользователя на другую страницу, подмена содержимого страницы после индексации и т.п. Черные методы часто дают краткосрочный результат с большими штрафами впоследствии (полное удаление из индекса), поэтому неприемлемы для бизнеса.

Инструменты для SEO


Назвать все разработки едва ли возможно. Поэтому перечислим лишь основные инструменты:

  • Основа для раскрутки сайта — панели вебмастеров и системы аналитики: Яндекс Вебмастер, Google Search Console, Яндекс Метрика, Google Analytics. Они дают базовую статистику по запросам, сводку по проблемам, статус индексирования и другую полезную информацию.

  • Программы и сервисы по сбору семантических данных: Key Collector, Magadan, Wordstat от Яндекса, Тренды от Google.

  • Сканеры ошибок: Screaming Frog SEO Spider, Xenu.

  • Сайты конкурентного анализа: SEMrush, SimilarWeb.

  • Сервисы отслеживания позиций и раскрутки: Serpstat.

  • Инструменты анализа ссылок: Ahrefs, LinkPad.

  • Проверка технических решений на сайтах: BuiltWith.

  • Средства проверки уникальности и иных параметров текста: Антиплагиат от ETXT или Advego Plagiatus, text.ru, ГлавРед, «Тургенев» от Ашманова.


Инструменты облегчают выполнение плана продвижения сайта.

Этапы оптимизации


Оптимизация — длительная работа, которую разбивают на отдельные этапы продвижения сайта.


Предварительная подготовка


До того как бросаться менять ресурс или начинать разработку, нужно провести:

  • Конкурентный анализ. Найдите похожие сайты в SimilarWeb, проверьте их в SEMrush («Сравнение конкурентов»).

  • Проверку ниши. Изучите, как устроены сайты в ТОП-10, как собирают ссылочную массу (Ahrefs).

  • Настройку аналитики, аудит текущего состояния сайта. Подключите Яндекс Метрику / Google Analytics, чтобы понять начальные условия. Также аналитические данные пригодятся в процессе оптимизации.


Стратегия раскрутки сайта в поисковых системах создается на основе полученных данных и поставленных перед оптимизатором задач. Также она определяет требования к бюджету на продвижение — сколько выделить на заказ текстов, закупку ссылок и т.д.


Техническая оптимизация: начальный уровень


Технический аудит покажет, насколько сайт готов принимать посетителей. Важно проверить:

  • Хостинг. Можно идеально спланировать SEO продвижение, но если сайт «падает» при десятке посетителей — это не поможет. Хостинг должен быть надежным.

  • CMS (Content Management System — система управления контентом). Исходите из потребностей бизнеса. Нужна пара страниц и блог, где эксперты будут делиться опытом? Возможностей WordPress хватит с запасом. Но учтите, что из-за популярности вам придется противостоять десяткам и сотням хакеров. У собственной разработки может не оказаться простой, но нужной функции. Ищите баланс.

  • Разрешение на индексацию в файле robots.txt. Откройте для роботов посадочные страницы, карточки товаров, информацию о компании и т.д., но закройте технические страницы (например, авторизацию). Проверяйте файл валидатором в панели вебмастера.

  • Отсутствие 404 ответов или иных ошибок, которые мешают использовать сайт.

  • Отсутствие вирусов. Регулярно проверяйте сайт, настройте правила доступа к нему, а также обновляйте CMS при выходе критичных исправлений.


Цель этого этапа — работающий сайт.


Работа с ключевыми словами


Для дальнейших этапов продвижения сайта — оптимизация текстов, создание новых страниц, перелинковка — потребуется собрать семантическое ядро, то есть относящиеся к сайту ключевые фразы. Размер — от сотни слов и до сотен тысяч в случае онлайн-магазина.


Лайфхак: Для коммерческих сайтов ключи, указывающие на бесплатный характер услуги или бесплатное получение товара, невыгодны. Исключите их.


Затем нужно сделать кластеризацию запросов, то есть скомпоновать отобранные ключи по группам для большей эффективности продвижения. Также группировка позволяет не создавать лишние или дублирующие страницы.


Работа со структурой сайта


Структура сайта решает две задачи: удобство посетителя и прозрачность для поисковиков. Учитывайте логику пользователя: если это магазин, то в нем должны быть категории и фильтры для поиска. Также новые страницы создаются под выделенные на предыдущем шаге группы ключей.


Не забывайте про карту сайта. Она «подскажет» поисковику, какие страницы сканировать.


Внутренняя оптимизация страниц


Устраните ошибки, выявленные в ходе проверок. Также избавьтесь от дубликатов, ведь поисковики ценят уникальный контент.


Если позволяет CMS, нужно подключить автоматический режим для формирования метаданных и понятных человеку адресов для страниц. Названия вроде xvmnhgwvd-2 нелегко понимать и людям, и поисковикам.


Обязательно добавьте в код страниц микроразметку для формирования информативных сниппетов в выдаче и проверьте ее.


Техническая оптимизация: продвинутый уровень


На этом этапе может потребоваться доработка или даже написание CMS «под себя». Например, если нужно реализовать что-то, чего нет в стандартном комплекте.


Другой важный момент — скорость загрузки. Если в эпоху раннего интернета пользователи ждали минуты, то сейчас срок идет на доли секунды.


Для ускорения применяйте:

  • Минимально необходимую конфигурацию CMS без лишних плагинов.

  • Оптимизацию графики: использование сжатых форматов, предварительная минимизация изображений.

  • Снижение числа скриптов на странице и минимизацию их размера.

  • Кеширование для браузера и на уровне сервера, чтобы быстро отдавать копию не изменившегося контента.

  • Подключение CDN (Content Delivery Network — сеть доставки контента), которые ускоряют загрузку за счет меньшей дистанции до сервера.

  • Облачные сервисы, такие как Amazon Web Services.


Для безопасной передачи данных, особенно для магазинов, включите https.


Перелинковка страниц


Продуманные связи между страницами дают заметный эффект. Тут и передача «веса» или ценности страницы в глазах поисковика играет роль, и время пребывания пользователя на сайте увеличивается, что также дает позитивный сигнал поисковикам. Перенаправляйте пользователей с малозначимых на важные страницы.


Работа с контентом


На сайте необходимо регулярно публиковать уникальные материалы — за плагиат поисковики наказывают. Для написания используйте собранные и сгруппированные ключевые фразы. По плотности ключей ориентируйтесь на среднее значение для сайтов из ТОП-10, чтобы не попасть под фильтры поисковика.


Еще один критерий отличного материала — польза для посетителя. Поэтому писать тексты должны или опытные копирайтеры, или разбирающиеся в теме специалисты из самой компании. Полезно также учитывать намерения пользователей при вводе запроса. Их можно определить по тому, какие страницы в топе выдачи поисковика. Если весь топ отвечает на вопрос «как использовать товар», стоит подготовить инструкцию или советы.


Автоматически созданные метатеги следует поправить вручную, если они не точно отражают содержимое страницы.


Дизайн, адаптивность, юзабилити и поведенческие факторы


Дизайн разрабатывается с опорой на проверенные практики или тестируется на фокусных группах. Иногда можно сменить дизайн и ждать, пока пользователи привыкнут. Но имейте в виду, что даже Кинопоиску в свое время досталось за неожиданное изменение облика.


Обеспечьте адаптивность или создайте отдельную мобильную версию. Мобильных пользователей уже большинство, да и поисковики ценят их мнение выше. Убедитесь, что управляющие элементы доступны, что их можно без путаницы нажать пальцем.


Если все сделано верно — посетители будут оставаться и улучшать поведенческие факторы: процент возвратов обратно в поисковик, время на сайте, количество просмотренных страниц — положительно влияя на ранжирование.


Внешняя оптимизация


Внешняя оптимизация подразумевает действия за пределами сайта. В первую очередь, это работа со ссылками. Крайне желательно, чтобы ссылочная масса выглядела естественно, то есть не сильно выделялась среди аналогичных ресурсов.


Страница, с которой идет ссылка, должна органично вписываться в структуру сайта-донора и соответствовать по тематике целевому сайту. Обратите внимание на анкоры: если ссылки используют один и тот же ключ, последует наказание от поисковика. Убедитесь, что донор не находится под фильтрами.


Используйте различные методы получения ссылок. Например, разбавляйте закупку крауд-маркетингом — получайте ссылки из комментариев или с сайтов отзывов, публикуйте пресс-релизы на отраслевых ресурсах. Добавьте блоки социального взаимодействия, чтобы пользователи сами делились полезным контентом через соцсети и мессенджеры — это и в ранжировании поможет, и индексацию значительно ускорит. Иногда применим метод небоскреба: сделать исключительно информативную статью и собирать специально для нее большое количество тематических ссылок.


Лайфхак: Найдите в блогах схожей тематики нерабочие ссылки, затем предложите авторам поставить вместо них упоминание вашей статьи.


Фильтры поисковиков и вывод из-под них


Фильтры — наказание за ошибки в оптимизации, которые приводят к нарушению правил поисковиков. Например, если излишне часто вставлять ключи в текст, можно получить санкции за переспам.


Вывод из-под фильтра может затянуться надолго и зависит от конкретных санкций. Лучший способ снять фильтр — не попадать под него.


Оптимизация конверсии


Отдельным этапом проводят всестороннюю оптимизацию конверсии. Улучшить показатели помогут следующие приемы:

  • Постоянное тестирование каналов трафика. На одном проекте работают ссылки у лидеров мнений — экспертов или иных влиятельных лиц в нише, на другом — ссылки с женских форумов и т. д.

  • A/B-тестирование контента и элементов управления на странице. Иногда смена заголовка или цвета кнопки меняет результат в разы. Используйте тепловые карты кликов/прокруток и Вебвизор.

  • Персональный подход к выдаче контента. Обратите внимание, что речь не идет о клоакинге — он запрещен правилами поисковых систем. Личные рассылки с цепочками писем тоже хорошо работают.

  • Аккуратная работа с коммерческими факторами — понятная страница «О компании», наличие номеров телефона, карты и т. д.

  • Добавление чата на сайт. Также Яндекс позволяет добавить чаты для бизнеса и перехватывать клиента на странице выдачи.


Управление репутацией


Хорошая репутация умножает эффект от SEO, плохая — сводит к нулю. Реагируйте на положительные отзывы, а на негативные реагируйте вдвое быстрей. Поддерживайте «адвокатов бренда» и оперативно устраняйте причины недовольства.


Напомним простое правило: или вы создадите себе нужную репутацию, или ее вам сделают другие «как получится».

Важность системной работы для SEO: зачем нужна аналитика и почему нельзя один раз все оптимизировать и расслабиться


Итак, что же такое продвижение сайта? Это комплекс активностей — публикация статей, оптимизация технических показателей, закупка ссылок, постоянное тестирование и множество иных действий, которые в результате повышают позиции в выдаче и приводят посетителей из поисковиков.


Остановка в продвижении недопустима: как бы медленно ни двигались конкуренты, они постепенно улучшат позиции, подстроятся под изменяющиеся правила и обойдут вас. Чтобы этого не случилось, отслеживайте показатели с помощью аналитических систем, при необходимости корректируйте стратегию. Еще выгоднее доверить SEO профессионалам, чтобы освободить время для других задач и уменьшить количество рисков.

Сайт теряет позиции в поиске: в чем причины?

Ранжирование сайтов — процесс динамический. Алгоритмы поисковых систем не стоят на месте и развиваются с каждым днем. Соответственно и позиции сайта не могут оставаться постоянно на одном и том же месте. Если вы заметили снижение трафика и падение позиций, прежде всего необходимо проверить следующее:

  • Кабинеты для вебмастеров Яндекс и Google. В случае получения санкций в них могут быть отображены оповещения, указывающие на причину пессимизации.

  • Индексация целевых страниц. Одна из самых общих и частых причин — выпадение целевой страницы из индекса поисковых систем. Необходимо установить причину (многие из них даны ниже), и устранить ее, после чего вновь добавить страницу на индексацию.

  • Сохраненные копии целевых страниц. На какое-то время целевые страницы сайта могли отличаться, например выводились неверные мета-теги, заголовки или контент. Именно в этот момент они были переиндексированы поисковыми роботами. Проверка сохраненной копии может помочь в определении данной проблемы.

  • Взлом сайта. Если ваш сайт оказался взломан, то может быть много причин, объясняющих падение позиций: от создания «левых» страниц и размещения ссылок до удаления целевых страниц. Также бывает, что владельцы сайта сами могут установить плагины, негативно влияющие на восприятие сайта поисковыми системами.

  • Файл robots.txt. Кто-то мог закрыть от индексации весь сайт полностью или отдельные страницы. Например, когда сайт переносили с площадки разработки. Также в нем могли неверно указать главное зеркало или допустить ошибки при обновлении правил, вследствие чего в индекс попали ненужные страницы. Надо проверить Файл robots.txt.

  • Дублирование страниц или контента страниц. Это могло случиться в результате некорректно проведенных технических работ.

  • Актуальность пострадавших страниц сайта. Выводятся ли на них именно те заголовки, мета-теги и описание, которые были до падения? Возможно, кто-то их изменил или они стали некорректно выводиться вследствие технических ошибок.

  • Корректность кодов ответа. Все целевые страницы должны отдавать код 200. Если они стали отдавать, например, код 404 или 301, то могли довольно быстро вылететь из индекса, а сайт, в свою очередь, потерять трафик и позиции.

  • Теги <meta name=»robots» /> и <link rel=»canonical» /> у целевых страниц. В них могут содержаться запрещающие индексацию правила или указание на другую каноническую страницу.

  • Недавний переезд на https или другой домен. Возможно, переезд был выполнен некорректно, из-за чего и пострадали позиции и поисковый трафик сайта. Правильный процесс переезда описан в нашей статье «Переход с http на https без потери трафика».

  • Проблемы хостинга. Возможно, хостинг-провайдер задержал проведение своих профилактических работ или вообще случился форс-мажор, вследствие чего сайт не работал долгое время. Также рекомендуется проверить, не изменилась ли скорость загрузки сайта и ответа сервера.

  • Крупные обновления поисковых алгоритмов. Необходимо проверить, не было ли анонсов от поисковых систем о выходе новых алгоритмов и фильтров или обновлении существующих. Если есть подозрения, что сайт не соответствует новым требованиям поисковиков, необходимо провести более глубокую аналитику в этом направлении.

Если ни одна из проверок не дала очевидного ответа, необходимо проводить глубокую аналитику: анализ контента, конкурентов, юзабилити сайта, внешней ссылочной массы, анализ коммерческих и поведенческих факторов. Вполне возможно, что сайт стал просто хуже конкурентов по каким-либо параметрам. В таком случае, необходимо проводить работы по его улучшению и развитию.

#133

Сентябрь’21

3728

19

Причины падения органического трафика — Site UP

Органический трафик на сайт — один из основных показателей эффективности маркетинга. Посещаемость сайта не стабильна. Она может падать сезонно или на несколько дней. Иногда трафик падает резко и без очевидной причины. Это значит, что у вашего сайта проблемы, которые нужно быстрее устранить.

Что приводит к резкому падению органического трафика? Разберем типичные ситуации, ошибки, способы исправить ситуацию.

Ситуации, когда трафик на сайт падает:

  • при переносе сайта на новый домен;

  • после переноса на другую CMS;

  • если существенно поменялась структура сайта и появилось много редиректов;

  • отдельные страницы выпали из индекса;

  • на сайте накопились технические ошибки;

  • сайт попал под фильтры из-за переспама ключевых слов, неуникального контента или быстрого и неестественного роста ссылочной массы.

Во всех этих ситуациях на трафик влияет несколько типичных проблем с сайтом. Разберем каждую.


SEO-специалисты знают, что требования поисковиков к сайтам меняются регулярно. В результате трафик может снижаться в разы. В большинстве случаев суть обновлений не раскрывают и профессионалы анализируют выдачу, чтобы понять, что изменилось.

Если вы маркетолог, вебмастер, SEO-специалист или владелец бизнеса, следите за новостями сферы SEO. Часто в новых публикациях можно найти советы о том, как реагировать на апдейты, чтобы быстрее компенсировать падение трафика.


С помощью файла robots.txt дают указания поисковым роботам, как индексировать сайт. Используя специальные команды, можно убрать из выдачи служебные папки, дубли страниц, адреса с параметрами. Все эти адреса важны, но поисковая система считает их беспозеными для пользователя. Поэтому, чтобы не понижать рейтинг сайта, их нужно закрыть от индексации. Для решения этой проблемы Яндекс рекомендует пользоваться инструментом «Анализ robots.txt» из меню Яндекс.Вебмастер. Сервис покажет вам ошибки в сгенерированном файле robots.txt и подскажет, как их устранить.

С другой стороны, можно по ошибке закрыть от индексации важные разделы и страницы. Это значит, что из-за неосторжности вебмастера пользователи не увидят важный контент.


Масштабные изменения URL на сайте могут привести к тому, что проиндексированные страницы будут отдавать ошибку 404.

Мы рекомендуем подходить к изменениям в структуре сайта максимально осторожно. Если это действительно необходимо, используйте 301 редиректы, которые покажут, что страница перемещена на новый адрес. Его можно настроить, дописав несколько строк в файле htacess, который находится в папке с сайтом на хостинге. Второй вариант — дополнения к CMS, расширяющие ее функциональность. Например, редиректы на сайте под управлением WordPress можно настроить с помощью плагина 301 Redirects.


Яндекс и Google активно борются с попытками манипулировать поисковой выдачей. Для этого они используют поисковые фильтры. Основные причины, из-за которых сайты попадают под санкции: Большое количество неестественных, явно купленных ссылок – против этого работают Google Penguin и Яндекс Минусинск.

Переспам поисковыми фразами в тексте на странице – это контролируют Баден-Баден и Panda.

Бесполезный контент с большим количеством исходящих ссылок – за это сайт попадет под фильтр АГС.


Сложности с индексацией возникают, когда контент страницы по-разному отображается для пользователей и поисковых роботов. Фрагменты страницы могут не проиндексироваться. Чтобы проверить, есть ли такая проблема, откройте кешированную версию страницы. Если она отличается от основной, нужно искать причину в техническом состоянии сайта.


Этот фактор имеет значение в основном для Google. Суть в том, чтобы максимум внутренних ссылок вело на те страницы, которые нужно продвигать в первую очередь. Делается это с помощью внутренней перелинковки. Ссылки на другие страницы могут быть в подвале, боковом меню или тексте на странице.

Внутреннюю перелинковку можно проверить с помощью программ SeRanking, Ahrefs, Netpeak Spider. Они покажут, на какие страницы идет больше всего внутренних ссылок. Это могут быть неприоритетные для продвижения адреса.


Поведенческие сигналы показывают, насколько пользователи удовлетворены контентном на сайте. Эти параметры важных для Google и Yandex. Увидеть показатель отказов и другие параметры можно в Яндекс.Вебмастер и Google Analytics.

Проследите показатели в динамике. Это поможет понять, в какой момент они начали падать и что стало причиной.


Трафик может падать из-за технических ошибок на страницах сайта, в файле robots.txt. Часто проблемы возникают после обновления поисковых алгоритмов и при попадании сайта под фильтры Google и Яндекс.

В любом случае необходим аудит сайта. Проблем может быть несколько, только полная проверка покажет их все.

Сайт пропал из поиска, почему упали позиции в Яндекс или Google

1. Сделайте свежий аудит

Перезапустите проверку сайта в «Лабрике», чтобы получить свежие данные. Сервис специально разрабатывался для анализа сайтов в тех случаях, когда он не растёт в результатах поиска, и никто не может сказать почему. Поэтому именно «Лабрика» проверяет больше факторов пессимизации, чем другие системы. Если вы раньше уже проверяли сайт с помощью «Лабрики», то дополнительно используйте графики с динамикой параметров и функцию сравнения сводных отчётов, чтобы в первую очередь найти и проверить те факторы, которые изменились. Также не забывайте, что в разделе меню «Инструменты» есть отчёт «Изменения страниц и позиций», где вы можете скачать архив HTML посадочных страниц, которые изменились.

2. Сделайте архивную копию сайта

По возможности также сразу найдите и сохраните старую версию — пока её не заменили более новыми. Если в дальнейшем придётся откатывать изменения — это сэкономит массу времени и средств.

3. Проверьте разницу в количестве проиндексированных страниц между Яндексом и Google

Её можно увидеть в сводном отчёте. Если запускали аудит сайта раньше – посмотрите в графике с числом проиндексированных страниц количество по предыдущим датам. В случае падения числа проиндексированных страниц нужно искать причину — закрытые от индексации страницы, rel=canonical, редиректы и т.д.

Если количество проиндексированных страниц в Яндексе и Google сильно отличается, то просмотрите, что занесено в индекс – для этого кликните на цифру в отчёте. Возможно, в одном из поисковиков проиндексированы файлы .pdf и .doc — это нормально и может стать причиной такого отклонения. Но могут быть проиндексированы страницы с иероглифами или с чужеродным содержимым — например, вы продаёте заборы, а в индексе страницы про казино и т.п. Это значит, что сайт был взломан. При переходе в поисковую систему к списку проиндексированных страниц обратите внимание, что «взломанные» будут в конце — поэтому надо просматривать все страницы, особенно последние. Также поисковые системы часто скрывают эти страницы, и если вы увидите надпись, что в результатах поиска есть скрытые результаты, то надо нажать на ссылку, чтобы их увидеть.

Кроме того, в последнее время поисковые системы стали показывать только первые 250 результатов поиска. Поэтому если страниц много, то «взломанные» вы, скорее всего, не увидите. Но посмотреть на странные страницы в индексе всё равно стоит. Иногда неправильные страницы появляются в самом начале результатов поиска — например, новости про хоккей, которые разместил на сайте директор, хотя компания продаёт краски. Всё содержимое должно быть исключительно целевыми и актуальным.

4. Проверьте, не появились ли аффилированные сайты

Просмотрите в отчёте по аффилиатам не только первый, но и второй список. Часто в него попадают клоны сайта и тестовые версии разработчиков, которые забыли закрыть от индексации. И то и другое может понизить позиции.

Пример отчёта «Поиск аффилиатов»

Один из пользователей расспрашивал нас, как «Лабрика» находит аффированные сайты, и утверждал, что найденный сайт не является его аффилиатом. В итоге выяснилось, что всё-таки это второй сайт компании, а пользователь пытался скрыть данный факт от поисковых систем. «Лабрика» определяет аффилиаты по более, чем 10 факторам, используемым поисковыми системами, и этот сайт был найден по номеру телефона, который пользователь забыл убрать из текста на одной из страниц.

Иногда сервис показывает лишние сайты в списке вероятных аффилиатов, поэтому данный отчёт так и называется. Но если вы пытаетесь скрыть аффилированный сайт, и он всё еще находится в этом отчёте, то либо вы не всё необходимое сделали для того, чтобы данного аффилиата не было, либо поисковые системы ещё не проиндексировали эти изменения.

5. Посмотрите предупреждение о возможном клоакинге

Оно отображается в отчёте о доступности сайта. Проверьте и наличие других ошибок в этом отчёте. Если есть предупреждение о клоакинге, надо тщательно проверить сайт на вирус и на следы взлома. Причём в этом случае надо проверять не через браузер — поскольку вирус определяет, с какого User-agent* открывается страница, поэтому для браузера и для поисковой системы выдаёт разные результаты. Вы можете видеть привычную страницу, а поисковым систем будет уходить страница с большим количеством ссылок на другие сайты или с содержимым «для взрослых».

Воспользуйтесь нашим специальным сервисом https://labrika.ru/http_info – включите опцию “Показывать HTML-код страницы”, попробуйте менять “User-Agent” и сравнивайте, что меняется в HTMLстраницы.

6. Проверьте график роста числа грубых технических ошибок

В первую очередь посмотрите наличие ошибок 403, 404, 500. Также не стоит игнорировать отчёт по ошибкам в sitemap — нередки случаи, когда из меню удаляли ссылки на целый раздел сайта, и он сразу проседал в поиске. Данный отчёт хорошо помогает найти такие ошибки. Главное – обязательно принимать к сведению эту информацию. Иногда пользователи считали, что «Лабрика» показывает неправильные данные, и у них на сайте не может быть такой ошибки, но в итоге всегда оказывалось, что по каким-то причинам указанная в отчёте ссылка действительно закрыта и десятки или даже тысячи страниц из-за этого недоступны.

Пример графика «Грубые технические ошибки»

7. Не следует пропускать отчёт по грубым ошибкам в разметке HTML

Редко, но встречаются очень критичные ошибки в коде HTML — например, был кейс, когда оптимизатор неправильно написал тег закрытия комментариев в шаблоне, и 90% содержимого всех страниц оказалось закрытым от индексации. Другой вебмастер игнорировал ошибку — а у него на сайте вирус выше тега doctype прописал ссылки на плохие сайты. В итоге в браузере отображалось всё хорошо, а поисковая система убрала сайт из результатов поиска, посчитав его небезопасным.

8. Посмотрите отчёт по выбросам ошибок

Были случаи, когда сайт под нагрузкой не справлялся и начинал выдавать массу ошибок в каталоге товаров. Владельцы этого не замечали, поскольку периодически смотрели только ограниченное количество страниц. А поисковая система видела большое количество ошибок, и в результате позиции сайта пошли вниз.

9. Проверьте сайт на негативный и взрослый контент

Почему наличие такого содержимого важно учитывать и как оно влияет на ранжирование, можно почитать в отдельной статье нашего блога. Есть кейс, когда товары выгружались из базы 1C, и названия некоторых из них при переводе на русский язык приняли нецензурное значение. В результате сайт стал показываться в результатах поиска только при отключении семейного фильтра (по умолчанию он включен), что привело к потере трафика. И только с помощью «Лабрики» удалось найти страницы с нецензурным содержимым среди десятков тысяч других страниц и вернуть позиции.

10. Найдите грубые SEO-ошибки

«Лабрика» определяет более 40 проблем этого типа. Некоторые из них мы уже рассмотрели. Остановимся здесь на отчёте о переспаме (высокой плотности слов) на страницах.

Пример отчёта по переспаму

К исправлению таких ошибок нужно подходить очень внимательно.

Во-первых, не надо трогать страницы с переспамом, у которых уже есть хорошие позиции, чтобы их не потерять. Чем выше плотность слова — тем лучше факторы BM25 и TF-IDF, но при достижении некоторого предела поисковая система начинает, наоборот, снижать позиции, так как считает это уже накруткой. Если поисковая система не понизила – значит, возможно, плотность не превышена.

Во-вторых, высокая плотность слов может быть на страницах с прайсами или карточками товаров, и это нормально – исправлять переспам здесь не нужно. Подробнее об этом можно почитать в документации к отчёту по переспаму.

В-третьих, перспам, как правило, возникает в плохом и неестественном тексте. Если вы уберёте 5-20 слов на этих страницах, то, скорее всего, они лучше не станут а, значит, и позиции не повысятся. Необходимо посмотреть на содержимое с точки зрения пользователи и переписать эти страницы так, чтобы они стали полезными и удобочитаемыми.

В-четвертых, поисковая система — это программа, которая работает по чёткой формуле, и ей всё равно, что у конкурентов тексты могут быть хуже ваших (вам не известны все факторы чужих сайтов). Поисковая система снижает позиции сайта за переспам, за исключением страниц, где есть прайс-лист или много карточек товаров. В нашей документации вы также найдёте информацию о том, что для каждого слова есть своя естественная плотность – она зависит и от тематики текста. Например, много повторов одних и тех же слов в юридической литературе. Другое дело, что позиция определяется не одним фактором — а всеми в совокупности. И, несмотря на снижение за переоптимизацию, страница может получить более высокую оценку, если текст написан действительно лучше, чем у конкурентов, пользоваться сайтом удобно, у него есть необходимый функционал и пользователи отдают ему предпочтение.

11. Посмотрите график по числу отказов

График отображается в отчёте по поведенческим факторам. Если число отказов выросло, то проверьте, было ли увеличение трафика с мобильных устройств. Возможно, выросло количество посещений сайта с этих устройств, а нормальной версии для них у вас нет. Также посмотрите, по каким страницам больше всего теряется трафика на отказах, и переделайте их. Косметические изменения тут не помогут — нужны качественный текст и хороший интерфейс на этих страницах.

12. Проверьте графики по трафику с поисковых систем

Если позиции стали хуже, а снижения трафика нет, то вы выбрали неактуальные ключевые фразы, по которым практически никто не переходит — надо пересмотреть список ключевых запросов.

Резкое падение трафика будет означать попадание под фильтр или резкое ухудшение качества сайта. Например, было несколько кейсов, когда владельцы удаляли целые группы товаров без ведома оптимизаторов. Плавное изменение может свидетельствовать о постепенном ухудшении сайта, например, о наполнении его ненужным или плохим содержимым. В частности, нередки случаи, когда воруют содержимое с других сайтов, при этом даже не заботятся о том, чтобы поменять ссылки на изображения. Поэтому, кроме минуса за плагиат, в один прекрасный момент сайт может остаться и без изображений.

Пример графика «Переходы из поисковых систем»

13. Если падение только по Яндексу, еще раз проверьте поведенческие факторы

Рост отказов может свидетельствовать об ухудшении качества страниц или о накрутках. Бывает, что смена дизайна или содержимого приводит не к росту, а к падению поведенческих факторов. Если вы в течение 3-х последних месяцев запускали полный анализ сайта, то в разделе меню «Инструменты» найдите подраздел «Изменения страниц и позиций» — там можно скачать архив HTML посадочных страниц. Сохраняются только посадочные страницы по добавленным ключевым фразам.

14. Посмотрите отчёт по исходящим ссылкам

Ссылки должны быть рабочими и вести на достойные сайты. Был кейс, когда домен, на который вели ссылки, купили мошенники и использовали его с преступными целями. Таким образом, сайт, ссылавшийся на этот домен, стал невольным соучастником и был тоже забанен поисковой системой.

15. Если на сайте осуществляются продажи – проверьте наличие коммерческих факторов

Необходимо посмотреть, не пропал ли городской номер телефона, адрес, цены, корзина и т. д. Нередко возникают ситуации, когда владельцы сайта удаляют эти элементы, что приводит к падению продаж и позиций.

16. Привлекайте опытного специалиста при продвижении в нескольких регионах

Если сайт начали продвигать на несколько регионов и это совпало с падением позиций, то надо обратиться копытному SEO-специалисту. При таком продвижении оптимизаторы зачастую допускают много ошибок, из-за которых падают позиции у старого сайта, и по новым городам тоже нет роста. Кроме того, не стоит забывать, что при любых больших изменениях бывают временные просадки позиций. Например, при смене URL-адресов у страниц поисковая система сбрасывает всю накопленную статистику по поведенческим факторам этих страниц. Когда новая статистика накопится, позиции поменяются — в большую или меньшую сторону, в зависимости от того, насколько показатели будут хуже или лучше средних.

17. Посмотрите информацию по запросам, которые выпали из ТОП-10

Эти сведения за последние 3 месяца на даты запуска полного анализа сайта вы найдёте в отчёте «Изменения страниц и позиций» раздела меню «Инструменты». В нём будет показано, меняла ли поисковая система URL посадочной страницы, менялось ли содержимое посадочных страниц или сниппеты.

В Яндексе изменение сниппетов является очень частой причиной падения позиций. Нередко можно видеть, что изменений на странице не было, но по какой-то причине поисковая система сначала заменила сниппет на худший вариант, а затем эта страница выпала из ТОП-10. В таких случаях нужно переписать большую часть текста и мета-тегов, сделать перелинковку, чтобы у поисковика была причина пересчитать все факторы и сформировать сниппет заново.

18. Проверьте предупреждения о наложении санкций

Если падение позиций было резким, то велика вероятность того, что это пессимизация, наложенная поисковой системой. В этом случае стоит написать в службу поддержки поисковых систем. Редко, но иногда это приводит к восстановлению позиций.

Также стоит посмотреть предупреждения в «Яндекс вебмастере» и «GoogleSearchConsole». Это не отменяет проведения полного аудита состояния сайта, потому что алгоритмы GooglePinguin и Panda, пессимизирующие сайты за обычные нарушения, уже давно вшиты в сам алгоритм ранжирования и действуют автоматически, без предупреждений. Однако, например, информация об алгоритме Яндекса «Минусинск» будет показана в «Яндекс вебмастере».

19. Внесите изменения на сайт

Если падение было нерезким, то изменения на сайте лучше делать небольшими порциями и выжидать по 1-2 недели реакции поисковой системы. Если падение значительное — то придётся проделать много работы сразу.

20. Запишите описание всех изменений и сохраните новую версию архивной копии сайта

Это поможет понять, что сработало или, наоборот, ухудшило ситуацию, и при необходимости откатить часть изменений.

21. Перезапустите аудит сайта в «Лабрике»

Такой анализ позволит убедиться, что всё исправлено, а исполнители, пока устраняли одни ошибки, не наделали новых.

22. Подождите результата 2 недели

Этого времени обычно достаточно, но учтите, что если, например, имела место накрутка поведенческих факторов, и сайт был понижен вручную, то на выход из пессимизации может уйти до 9 месяцев. Есть способы сделать это быстрее, но это отдельная тема. На выход из жесткого переспама и алгоритма пессимизиции «Минусинск» может уйти больше 2-3-ех недель. А если с первого раза не исправить нарушения, то в следующий раз Яндекс будет рассматривать заявку еще дольше.

Зачем нужно выжидать? Бывает, что нельзя предсказать реакцию поисковой системы заранее. Например, на сайте оказался большой раздел с плохим контентом — например, фотогалерея сотен объектов без подписей и описаний. Вы принимаете решение закрыть его от индексации. Это может как повысить, так и понизить позиции сайта. С одной стороны очень много тощих страниц на сайте, которые снижают его позиции, а с другой стороны, это давало другое распределение PageRank по страницам, общее число страниц было существенно больше, поисковик видел, что на сайте на 1 изображение на весь сайт и т.д. Поэтому после таких изменений лучше дождаться реакции поисковых систем и решить – оставлять их или откатить изменения обратно.

23. Если улучшений всё-таки нет – обратитесь в нашу службу поддержки

Возможно, вы что-то еще упустили. Напишите в службу поддержки «Лабрики» через личный кабинет — наши специалисты проверят и ответят. Обязательно привяжите к аккаунту счётчик Яндекса или Google, чтобы мы могли посмотреть метрики сайта.

Не забывайте, что исправление указанных выше проблем поможет не только вернуть позиции сайта, но и получить их рост. Если Вы обнаружили одну из этих причин падения позиций, но не знаете что с ней делать, пишите в нашу службу поддержки.

Необходимо принять тот факт, что поисковые системы могут ошибаться — у них десятки миллионов сайтов в обработке. Им абсолютно всё равно, если какой-то сайт не получит достойных позиций, потому что есть сотни других, которые могут занять его место. Ваша задача — определить причины, по которым поисковая система не позволила ему занять хорошие позиции.

☝ Инструменты для ускорения индексации ссылокКак ускорить индексацию обратных ссылок🏂

Для продвижения информационных и коммерческих проектов в любой нише нужны обратные ссылки с трастовых ресурсов. Поставить задачу на поток сложно, если нет знаний и релевантного опыта. Особенно, когда речь идёт об оптимизации под западные рынки, где линкбилдинг устроен иначе, чем в Рунете.

Одна из частых проблем оптимизаторов при наращивании ссылочной массы — проблемы с индексацией обратных ссылок. Поисковики могут месяцами не видеть их и бюджет на покупку ссылок будет израсходован напрасно. Поэтому возникает ряд вопросов по индексации ссылок:

  • От чего зависит скорость индексации внешних ссылок?
  • Как проверить индексацию ссылки?
  • Как ускорить индексацию внешних ссылок на мой сайт?
  • Как быстро проиндексировать страницы чужих сайтов, чтобы обратные ссылки начали работать?
  • Как заставить Google индексировать обратные ссылки быстрее?

В статье собрали полезные советы, которые помогут ускорить индексацию бэклинков. Расскажем, что влияет на индексацию и поделимся лайфхаками.

Что такое индексация обратных ссылок

Индексация обратных ссылок — процесс добавления их в базу поисковых систем. Когда роботы Яндекса и Гугла обнаруживают новый контент, они сканируют его и через некоторое время страница появляется в выдаче.

Несколько лет назад поисковики индексировали контент гораздо медленнее, чем сейчас. Особенно ярко выраженной проблема была в Яндексе. Вебмастера неделями ждали апдейтов, чтобы новые страницы попали в базу поисковой системы и начали набирать вес.

В 2021 году таких проблем нет — если сайт хорошо оптимизирован по технической части и регулярно публикует контент, новые адреса быстро попадают сначала в быструю выдачу, а затем в основную.

С бэклинками не все так просто — они индексируются гораздо дольше. При покупке ссылок напрямую есть риск остаться ни с чем. К примеру, если на сайте вебмастера проблемы с файлом robots.txt или неправильно настроен тег meta robots, ничего сделать не получится. Придется ждать, пока владелец проекта выйти на связь и разберется с ошибками.

Проблемы с индексацией ссылок на авторитетных сайтах возникают редко. Если контент регулярно обновляется и быстробот добавляет новые страницы в индекс, Google и Яндекс быстро обнаруживают проставленные ссылки и индексируют их.

Скорость появления бэклинков в консолях для вебмастеров зависит от многих факторов, поэтому нельзя однозначно сказать, когда ссылка начнет учитываться поисковиками. При наличии технических проблем у поисковых систем процесс обновления ссылочного профиля может затянуться надолго.

Часто бывает так, что при проверке сторонними сервисами находится гораздо больше бэклинков, чем в Google Search Console и Яндекс.Вебмастер. Это нормальная ситуация, но линки с основных ресурсов должны быть видны во всех источниках.

Факторы, которые влияют на индексацию ссылок

Опытные SEO-специалисты и вебмастера знают главное правило линкбилдинга: «Ссылки с трастовых и релевантных ресурсов на вес золота». Обычно с такими бэклинками не возникают проблемы, они быстро индексируются и приносят профит в виде хороших позиций. Особенно важна скорость индексации обратных ссылок при продвижении новых сайтов.

Что касается появления ссылки в консолях для вебмастеров, то данные могут обновляться с задержкой. Часто бэклинки пропадают из списка, а потом снова появляются. Это естественный процесс, на нём не стоит зацикливаться.

Факторы, влияющие на индексацию ссылок:

  1. Качество донора. Чем авторитетнее сайт в глазах поисковых систем, тем быстрее индексируются страницы и обратные ссылки. Как же проверить качество и траст донора, читайте в статье.
  2. Правильность размещения. Неактивные ссылки и URL, ссылающиеся на неосновное зеркало, могут не появиться в консолях для вебмастеров.
  3. Частота обновления контента. Ссылки с новостных проектов и других ресурсов с непрерывным процессом обновления информации индексируются гораздо быстрее.
  4. Техническое состояние. Если сайт часто падает, некорректно настроены каноникалы или страницы отдают неправильный код, могут возникнуть проблемы с попаданием линков в базу поисковых систем.
  5. Стабильность поисковиков. При глобальных обновлениях алгоритмов или масштабных изменениях в Google Search Console или Яндекс.Вебмастер новый контент может индексироваться с задержкой.

Если закупаете ссылки на качественных проектах и придерживаетесь четкого плана по линкбилдингу, проблем с индексацией и учетом бэклинков не будет. Следите за ситуацией, но в разумных пределах. Нет смысла несколько раз в день заходить в консоли для вебмастеров и обновлять страницу с внешними ссылками.

Как проверить, индексирует ли Google обратные ссылки

Самый простой способ проверить индексацию обратных ссылок — зайти в соответствующий раздел Google Search Console. Информация о бэклинках в обновленной консоли находится в разделе «Ссылки».

Зайдите в GSC, найдите нужный раздел и ознакомьтесь с информацией о ссылках. В интерфейсе отображаются 3 релевантных виджета: список внешних ссылок, сайты с наибольшим количеством упоминаний вашего проекта и таблица анкоров.

При необходимости можно выгрузить бэклинки в Excel или создать файл в Google Таблицах. Этот инструмент очень выручает, когда надо составить список линков для отклонения или проанализировать профиль вручную.

Мы уже говорили, что данные в консолях для вебмастеров могут обновляться с задержкой. Поэтому если ссылки нет в интерфейсе, не спешите писать владельцу сайта-донора с претензиями.

Дополнительные способы проверки индексации:

  1. Поиск в выдаче. Введите адрес страницы и посмотрите, знает ли её Google.
  2. Кэш поисковиков. Если страница попала в выдачу, проверьте сохраненную копию и найдите место размещения бэклинка.
  3. Проверка околоссылочного текста. Скопируйте несколько предложений из текста вместе с анкором и вставьте в поисковую строку.
  4. Проверка URL. Введите адрес посадочной страницы и пролистайте результаты поисковой выдачи. Способ подходит для недавно размещенных бэклинков.
  5. Использование операторов. Если размещали анкорную ссылку используйте конструкцию вида «анкор» site:donor.ru.

И не забывайте проверять индексацию в сторонних сервисах. Ahrefs, Semrush, Serpstat и другие SEO-комбайны регулярно обновляют данные. Объем информации в каждом сервисе отличается, но если хотя бы в одном месте ссылка показывается, значит она доступна и робот может добавить её к профилю.

Более подробно об этом можно почитать в нашем материале: Анализ обратных ссылок на сайт.

Как сделать так, чтобы Google индексировал обратные ссылки быстрее

Волшебной кнопки для быстрой индексации в Гугле и других поисковиках не существует. Чтобы нажать её и бэклинки моментально попали в индекс. Но есть рекомендации, которые повышают шансы на успешное индексирование.

Окончательное решение остаётся за алгоритмами. Если они посчитают бэклинк подозрительным или у донора будут активные санкции, ссылки могут не появиться в консолях для вебмастеров.

Убедитесь, что сайт доступен для сканирования

Часто проблемы с индексированием связаны с тем, что роботы не могут получить содержимое страниц. Сайт недоступен из-за плохого хостинга, есть ошибки в конфигурационных файлах или неправильно настроен SEO-плагин.

Самый простой способ проверить доступность для поисковых краулеров — использовать соответствующие инструменты в консолях для вебмастеров. «Переобход» в Яндекс.Вебмастер и «Проверка URL» в Google Search Console.

Добавьте сайт в Google Search Console

Для разбавления ссылочного профиля оптимизаторы часто размещают ссылки не только на старых сайтах, а и на новых проектах. Прежде чем переводить деньги за бэклинк, не забудьте проверить индексацию донора.

Сразу после добавления проекта в GSC, он становится в очередь и через некоторое время роботы обходят страницы. Обычно данные обновляются в течение пары дней, но иногда процесс может занять и недели.

Создайте файл Sitemap

Карта сайта сообщает роботам поисковиков, какие страницы надо обойти. Они считывают дату обновления из файла и понимают, что контент обновился. Если у донора нет карты сайта и новые статьи появляются нечасто, индексация бэклинка может затянуться.

Страница, на которой размещена обратная ссылка, обязательно должна присутствовать в Sitemap. Если вебмастер не следит за этим, проверьте файл и напишите ему с просьбой добавить страницу вручную или обновить список через плагин.

Проверьте robots.txt

Поисковые системы часто игнорируют директивы из технического файла, но иногда страницы с бэклинками не попадают в выдачу из-за ограничений в robots.txt. Гугл и Яндекс давно рекомендуют использовать meta robots, но некоторые вебмастера используют старые методы запрета индексации.

При размещении ссылок на сторонних сайтах доступа к консолям для вебмастеров нет, поэтому для проверки доступности страницы приходится использовать сторонние инструменты. Решить задачу можно с помощью Tools.discript.ru или аналога.

Мониторьте обратные ссылки вручную

При размещении бэклинков через ссылочные биржи можно отслеживать индексацию в одном интерфейсе. Если линк со временем отвалится или выпадет из индекса через несколько дней, можно заказать повторное размещение. Например, при заказе крауд ссылок через нашу биржу Referr, вы сразу в интерфейсе будете видеть новые ссылки и мониторить вручную, чтобы они были доступны.

При работе с вебмастерами напрямую приходится контролировать все самостоятельно. Владелец проекта получает деньги, размещает бэклинк и забывает о вашем существовании.

Усильте ссылки бэклинками

Ссылки с трастовых проектов индексируются быстро, но если донор молодой или редко обновляет контент, все происходит не так быстро. Размещение ссылок на страницу донора в социальных сетях, мессенджерах и на других площадок ускорит приход роботов.

Чем больше упоминаний о важной странице с бэклинком, тем лучше. Тратить много денег на усиление чужого сайта не стоит, но несколько ссылок точно не помешают. В ваших интересах, чтобы инвестиции в линкбилдинг быстрее дали плоды.

Проставляйте линки на свежих страницах

При размещении ссылок через ссылочные биржи вебмастера часто размещают статьи оптимизаторов или заказывают свои. Не секрет, что такой контент очень низкого качества и бэклинки часто вставлены не по смыслу.

Старайтесь подбирать релевантные ресурсы и попросите владельца сайта разместить бэклинк на свежей странице. Или хотя бы немного изменить контент старой статьи и отправить её на переобход.

Проверьте наличие быстробота

У сайтов с новостным контентом и ресурсов, которые обновляются несколько раз в день, обычно нет проблем с индексацией. Ссылки с таких проектов поисковики быстро обнаруживают и если они пройдут проверку, бэклинки появятся в консолях.

Введите адрес сайта в поисковую выдачу, отфильтруйте результаты за день или неделю и посмотрите, как часто появляются новые страницы. Если на сайте есть «прикормленный» быстробот, на нем можно размещаться.

Лайфхаки

Собрали несколько лайфхаков, которые помогают ускорить индексацию обратных ссылок. Больше всего они будут полезны тем, кто занимается линкбилдингом на потоке или продвигает важный проект с расчетом на долгосрочный эффект, не важно занимаетесь вы продвижением сайтов в Google или Яндексе.

Можно использовать любой из способов ниже, чтобы ускорить появление бэклинков в выдаче. Некоторые из них не требуют финансовых вложений, а для других понадобится минимальный бюджет.

  1. 301 редирект. Если есть PBN или несколько заброшенных проектов, можно разместить редиректы со страниц своего проекта на внешние URL, которые надо быстро проиндексировать.
  2. Массовый AddUrl. Способ используется в связке с предыдущим. После создания страниц, отправьте их на переобход и не забудьте проверить корректность редиректов.
  3. Публикация ссылок на файлообменниках. Используйте Google Drive, Яндекс.Диск или другие облачные хранилища. Вставьте линки в файл, создайте видео для Youtube, закажите недорогие размещения на Kwork или Fiverr и следите за результатом.
  4. Яндекс.Браузер. Установите Яндекс. Браузер и расширение Indexer для ускорения индексации в Яндексе.

Последний способ самый простой и бесплатный, но для Google похожего расширения нет. Если хотите использовать его, можно заказать несколько десятков переходов на страницу донора с Google Chrome. Эта активность должна привлечь внимание роботов.

Инструменты для ускорения индексации ссылок

3-5 лет назад в среде вебмастеров и оптимизаторов были популярны сервисы по ускорению индексации. Большинство из них в 2021 году не работают. Некоторые сайты открываются, но свежей информации об их эффективности нет.

Собрали инструменты, которые помогут ускорить индексацию с минимальными финансовыми затратами. Используйте их, чтобы бэклинки быстрее попали в индекс и начали работать на пользу сайта.

Сервисы размещения в социальных сетях

Не секрет, что в социальных сетях каждый день появляется огромное количество контента и он хорошо индексируется. Это можно использовать для продвижения своих проектов.

При покупке ссылок можно разместить URL страниц донора в социальных сетях. Для этого есть сервиса формата Prospero, GetSocial, Forumok и много других. Размещайте ссылки во Vkontakte, Twitter, Instagram, Pinterest, Telegram.

Стоимость размещения постов обычно небольшая, поэтому много денег на социальное продвижение не надо. Сотни ссылок заказывать нет смысла, для ускорения индексации хватит 5-10 упоминаний в аккаунтах, которые знакомы поисковым роботам.

Сервисы ускорения индексации

Из тех, которые работают в 2021 году и приносят пользу, можно выделить IndexGator и One Hour Indexing. Первый сервис создан под Рунет, а второй подходит для Запада. Это важно, потому что языковая релевантность важна. Упоминания страниц на русском языке в испаноязычном аккаунте выглядят подозрительно.

Для ускорения индексации в IndexGator используются аккаунты Твиттера и LiveJournal. Алгоритмы One Hour Indexing держатся в строгой секретности, но можно бесплатно проиндексировать одну страницу перед оплатой подписки стоимостью 17-497$ в месяц. У сервиса хорошая репутация на Западе, его рекомендуют многие SEO-блогеры.

На рынке есть ещё один инструмент для ускорения индексации, который работает относительно недавно — это LinkBox. В сервисе можно массово проиндексировать ссылки, проверить их статус, отслеживать индексацию и мониторить наличие линков на страницах.

На промо-странице сервиса написано, что 71% ссылок попадает в Google Search Console. Индексация 100 ссылок обойдется в $1, 1000 — $10 соответственно. При регистрации дают 100 кредитов или $1.

Индексация осуществляется по методу 301 редиректа, который мы описывали в разделе «Лайфхаки». Сервис однозначно стоит использовать, потому что он экономит время. Особенно, если надо проиндексировать сотни бэклинков.

Покупные ссылки, которые не попадают в индекс — выброшенные на ветер деньги. Оптимизаторы часто платят сотни долларов за бэклинки и забывают об их существовании. Надо убедиться, что они попали в индекс и постоянно следить за работоспособностью страниц донора.

Напишите в комментариях, сталкивались ли с проблемой индексации ссылок? Или предпочитаете, что поисковики все делали сами 😂 ?

Что нужно знать об алгоритме Google Panda?

Содержание статьи:

Google Panda — алгоритм ранжирования контента Google, запущенный в феврале 2011 года. Основная функция фильтра состоит в оценке качества содержания сайтов. Так, с помощью алгоритма Google составляет и корректирует рейтинг релевантных веб-сайтов в поисковой выдаче, а также борется со спамом.

Система была разработана для автоматического удаления из результатов поиска некачественных и неоригинальных страниц. Благодаря фильтру пользователь видит контент, наиболее точно отвечающий его запросам, и не тратит время на просмотр ресурсов, которые созданы для агрессивного seo-продвижения.

Google Panda является частью главного алгоритма поисковой системы, включающего в себя множество фильтров — Hummingbird (“Колибри”). В “Колибри” также входят система искусственного интеллекта RankBrain, антиспам алгоритм Penguin, “борец” за авторские права Pirate и другие.

Алгоритмы фильтрации действуют с целью улучшения качества поисковой выдачи для пользователя. Сайты с низким качеством контента и высоким показателем плагиата автоматически исключаются из топа. Чем полезнее ресурс, тем выше его позиция на странице результатов поиска.

Так, существует ряд внутренних факторов, на которые Google Panda реагирует в первую очередь:

  • Качество текста.

  1. Уникальность
  2. Грамотность. Минимальное количество стилистических и орфографических ошибок.
  3. Объем. Страницы с большим количеством контента занимают более высокие позиции в выдаче.
  4. Чрезмерная заспамленность ключами может привести к понижению в рейтинге.

  • Ссылки

    Ссылки не должны вести на блокированные или малопосещаемые сайты.

  • Поведенческий фактор

  1. Время, которое пользователь провел на сайте
  2. Количество переходов
  3. Цитирование
  4. Правильность перелинковки
  5. Процент отказов

Понять, есть ли фильтр, не сложно. У сайта с высокой посещаемостью сильно падает трафик из Google, у молодых сайтов в течение длительного времени наблюдается практически нулевой трафик.

Существует несколько критериев к контенту на сайте, следуя которым, риск попасть под фильтр снижается.

  • Качественный контент:
  1. Соответствует запросу пользователя и содержанию информации. Google предпочитает статьи, которые отвечают на общий запрос и дают полное представление о нем.
  2. Оригинальный. Поисковая система не приветствует дублированный и скопированный контент.
  3. Без использования перепрофилированного материала. Техническая уникальность не единственное, на что следует обратить внимание. Публикации, повторяющиеся между собой по смыслу, также будут понижаться в поисковой выдаче.  
  • Ориентир на пользовательский интерес. Виральность — важный аспект оценки пользователей. Алгоритм Google Panda высоко отмечает страницы с большим количеством лайков, репостов, комментариев и отзывов. Кнопки соцсетей, блок с комментариями, UGC ссылки — все это повысит заинтересованность юзеров на сайте.
  • Разумная реклама. Количество рекламы не должно превышать объем информационного контента. Навязчивые объявления и активные push-уведомления оттолкнут пользователей, а фильтр отреагирует на негативный поведенческий фактор.

Представители Google не раскрывают информацию о специфике ранжирования сайтов и санкциях. Таким образом, поисковая система исключает возможность искажения результатов поисковой выдачи seo-оптимизаторами. Поэтому, seo-специалистам сложно определить по каким причинам ресурс попал под фильтр. Однозначно можно сказать, что при попадании под алгоритм происходит падение органического трафика на сайте с высокой посещаемостью и снижение позиции в поисковой выдаче.

Если ресурс понижается в рейтинге результатов поиска, следует применить следующие действия:

  • Удалить или сократить нерелевантный контент

    . Спам, навязчивую рекламу, уведомления, ссылочную массу.

  • Оптимизировать структуру сайта для удобства пользователя.

    Алгоритм реагирует на проблемы с архитектурой ресурса. Страница должна быть понятной, логичной и не вызывать трудностей у юзеров.

  • Использовать уникальный контент.

    Не следует удалять ресурс, даже если алгоритм признал материал низкокачественным. Дополните его актуальной информацией, а старые публикации закройте от индексации. Алгоритм приветствует указание ссылок на источники. В этом случае, он не опустит сайт в рейтинге поисковой выдачи.

  • Проверить сайт на соответствие запроса и содержания материала.

    С помощью Google Search Console можно проанализировать запросы и посмотреть какие публикации снижают трафик на сайте. Такой контент следуют заменить или удалить.

10 (Ага!) Причин, по которым Google не может проиндексировать (страницы на) ваш сайт

Получение (и сохранение) страниц вашего веб-сайта, проиндексированных в Google, может быть проблемой для новых веб-сайтов и для веб-сайтов с техническими проблемами SEO или качества контента. Эта статья призвана помочь вам выявить потенциальные причины, по которым у вас могут возникнуть проблемы с тем, что Google не индексирует ваш сайт. Иногда проблемы можно быстро исправить, однако бывают случаи, когда вам нужно копнуть глубже, чтобы раскрыть истинную причину того, что Google не индексирует все ваши веб-страницы.

Как проверить индекс вашего сайта Google

Чтобы сначала определить, что ваша страница (или весь сайт) не проиндексирована в Google, выполните следующие действия:

  1. Используйте запрос «site: domain.com», например: site: kernmedia.com. Это покажет вам большинство (но, вероятно, не все) URL-адресов, которые Google проиндексировал в своей поисковой системе для домена. Google может не отображать все страницы, проиндексированные на вашем сайте с помощью этого запроса, поскольку запрос может быть выполнен в любом количестве центров обработки данных Google, у которых все имеют несколько разные индексы.Вы можете увидеть больше или меньше URL-адресов, проиндексированных для вашего сайта с помощью этого запроса в любой день. Совет: добавьте «www» перед своим доменом, если вы по умолчанию используете версию субдомена «www» вашего веб-сайта. Это покажет вам только URL-адреса, проиндексированные для этого поддомена.
  2. Используйте запрос «site: domain inurl: », например: site: kernmedia.com inurl: google-not-indexing-site. Это покажет вам, проиндексирована ли конкретная страница Google.
  3. Используйте запрос «site: domain filetype: », например: site: kernmedia.com filetype: xml. Это покажет вам, есть ли у Google страница с определенным типом файла, проиндексированная для вашего сайта.
  4. Проверьте «Статус индекса» в Google Search Console . Этот удобный отчет позволит вам сразу увидеть, сколько страниц вашего веб-сайта проиндексировано поисковой системой Google. Он также может показать вам, сколько URL-адресов заблокировано или было удалено. Все три показателя отображаются в виде графика в течение года, что может быть полезно для отслеживания индексации вашего сайта в Google с течением времени.
  5. Проверьте «Карты сайта» в консоли поиска Google . Это еще один полезный отчет, который покажет вам, сколько страниц в вашей XML-карте сайта было отправлено в Google и сколько проиндексировано. Подобно отчету о статусе индекса, этот инструмент покажет вам график индексации URL-адресов карты сайта за месяц (вместо года).

Дополнительные предложения по операторам поиска Google можно найти здесь.

Распространенные причины, по которым Google не индексирует ваш сайт

1.Коды ответа, отличные от 200 (OK)

Возможно, это само собой разумеется, но если ваши страницы не выдают код ответа сервера 200 (OK), то не ожидайте, что поисковые системы проиндексируют их (или сохранят их в индексе, если они когда-то были). Иногда URL-адреса случайно перенаправляются, что приводит к ошибкам 404–500 в зависимости от проблем с CMS, проблем с сервером или ошибок пользователя. Быстро проверьте, правильно ли загружается URL-адрес вашей страницы. Если он загружается и вы его видите, вероятно, у вас все в порядке. Но вы всегда можете запускать URL-адреса через HTTPStatus.io для проверки. Вот как это выглядит:

2. Заблокировано через Robots.txt

Файл /robots.txt вашего веб-сайта (например, http://www.domain.com/robots.txt) дает Google команды сканирования. Если определенная страница вашего сайта отсутствует в индексе Google, это одно из первых мест, которые нужно проверить. Google может отобразить сообщение «Описание этого результата недоступно из-за файла robots.txt этого сайта» под URL-адресом, если ранее он проиндексировал страницу на вашем сайте, которая теперь заблокирована с помощью роботов.текст. Вот как это выглядит:

Ознакомьтесь с моей статьей «Как написать файл Robots.txt» для получения дополнительной информации об оптимизации этого важного элемента ваших усилий по поисковой оптимизации.

3. Тег Meta Robots «Noindex»

Еще одна распространенная причина, по которой страница вашего сайта может не индексироваться в Google, заключается в том, что она может иметь своего рода метатег «noindex» в теге страницы. Когда Google видит этот метатег robots, это явная директива о том, что он не должен индексировать страницу.Google всегда будет уважать эту команду, и она может иметь разные формы в зависимости от того, как она закодирована:

  • noindex, следовать
  • noindex, nofollow
  • noindex, follow, noodp
  • noinde, nofollow, noodp
  • noindex

Вот скриншот того, как это выглядит в страницы:

Чтобы проверить, есть ли на вашей странице метатег «noindex» для роботов, просмотрите исходный код и найдите код в.Если ваш веб-сайт отображается с помощью javascript, вам может потребоваться использовать функцию «Проверить элемент» в Google Chrome для правильного просмотра. Больше информации здесь.

4. Тег X-Robots «Noindex»

Подобно метатегу роботов, тег X-robots предлагает возможность управления индексацией с помощью Google с помощью тега уровня страницы. Однако этот тег используется в ответе заголовка определенной страницы или документа. Он обычно используется на страницах, отличных от HTML, где нет, таких как файлы PDF, файлы DOC и другие файлы, которые веб-мастера хотят исключить из индекса Google.Маловероятно, что тег «noindex» X-robots был случайно применен, однако вы можете проверить это с помощью расширения SEO Site Tools для Chrome. Вот скриншот того, как это выглядит.

5. Внутренние дубликаты

Внутреннее дублирование контента представляет собой риск для любых усилий по поисковой оптимизации. Внутреннее дублированное содержание может препятствовать или не исключать ваши страницы из индекса Google, но большое количество внутреннего дублированного содержания на ваших страницах, скорее всего, будет препятствовать их высокому ранжированию. Если у вас есть определенная страница, которая имеет большое количество аналогичного содержания с другой страницей вашего веб-сайта, возможно, это может быть причиной того, что ваша страница либо не индексируется в Google, либо просто не имеет хорошего рейтинга.

Чтобы проверить наличие внутреннего дублированного контента, я рекомендую использовать инструмент Siteliner для сканирования вашего веб-сайта. Он будет сообщать обо всех страницах с внутренним дублированным контентом, выделяя дублированный контент для удобства использования, а также предлагает вам простое графическое представление того, сколько контента дублируется на вашем веб-сайте.

Google четко заявляет здесь, что веб-сайты должны минимизировать похожий контент. Вполне возможно, что страницы вашего сайта с очень похожим содержанием все еще могут в некоторой степени ранжироваться, однако страницы с точно таким же содержанием, скорее всего, будут отфильтрованы из немедленных результатов поиска Google.Они могут быть исключены из результатов поиска с пометкой следующего вида.

6. Внешние дубликаты

Внешний дублированный контент — это то, чего вы могли ожидать… контент, дублированный с другими веб-сайтами. Большое количество дублированного контента является верным признаком низкого качества для Google, и его следует избегать любой ценой. Независимо от того, является ли ваш веб-сайт маркетинговым сайтом для привлечения потенциальных клиентов, магазином электронной коммерции, платформой для онлайн-публикаций или блогом для любителей … применяются одни и те же правила.

Один из способов узнать, дублируется ли ваш контент с другими сайтами, — это поместить фрагмент контента в кавычки и выполнить поиск в Google, как этот пример, который показывает, что описание продукта Home Depot дублируется с рядом других сайтов. Примечание. Благодаря авторитету бренда Home Depot, содержанию отзывов и другим факторам, они, вероятно, по-прежнему будут занимать высокие позиции в результатах поиска Google с повторяющимся содержанием. Однако менее авторитетные сайты могут быть не полностью проиндексированы или ранжированы из-за дублирующегося контента, такого как описания продуктов, предоставленные производителем.

Чтобы проверить внешний дублированный контент, я рекомендую использовать Copyscape для сканирования вашей карты сайта или определенного набора URL-адресов. Этот инструмент предоставит очень полезный (и экспортируемый) отчет о дублировании вашего сайта с внешними сайтами. Вот скриншот того, как это выглядит (с размытыми URL-адресом и заголовком моего клиента в целях конфиденциальности).

7. Общее отсутствие ценности для индекса Google

Также возможно, что конкретная страница или ваш веб-сайт в целом могут иметь настолько отстой, что просто не обеспечивают достаточной ценности для индекса Google.Например, партнерские сайты, на которых нет ничего, кроме динамически генерируемой рекламы, мало что ценят для пользователя. Google усовершенствовал свой алгоритм, чтобы избежать ранжирования (а иногда и индексации) подобных сайтов. Если вас беспокоит качество своего сайта, внимательно изучите уникальную ценность, которую он предоставляет для индекса Google, которая еще не предоставляется другими веб-сайтами.

8. Ваш веб-сайт все еще новый и неподтвержденный

Новые веб-сайты не так быстро индексируются Google и другими поисковыми системами.Google использует ссылки и другие сигналы для индексации и ранжирования веб-сайта (визуально) в результатах поиска. Вот почему создание ссылок так важно для новых веб-сайтов.

9. Время загрузки страницы

Если на вашем сайте есть страницы, которые загружаются медленно и не фиксируются, Google, скорее всего, со временем упадет в рейтинге, и страница может даже выпасть из индекса поисковой системы. Обычно страница просто падает в рейтинге, но это почти так же плохо, как если бы она вообще не индексировалась.

Чтобы проверить время загрузки страницы, вы можете использовать инструмент Google Page Speed ​​Insights или инструмент GTMetrix. Вот снимок экрана, на котором показан пример отчета, предоставляемого инструментом Google.

10. Страницы-сироты

Google сканирует ваш веб-сайт (и XML-карту сайта), чтобы найти ссылки на ваш контент, обновить его индекс и повлиять на рейтинг вашего сайта в результатах поиска (среди других факторов). Если Google не может найти ссылки на ваш контент ни на вашем, ни на внешнем сайте, значит, он не существует для Google.Он не будет проиндексирован. Страницы без внутренних ссылок называются «потерянными страницами», и они могут быть причиной снижения индексации в Google. Чтобы определить, доступны ли ваши страницы для обнаружения, рекомендуется сканировать ваш сайт с помощью такого инструмента, как Screaming Frog. а затем выполните поиск по конкретным рассматриваемым URL. Вот пример того, как это выглядит.

Более надежный способ проверки страниц-сирот — это экспортировать URL-адреса из сканирования Screaming Frog и подготовить электронную таблицу, которая синхронизирует URL-адреса с вашей XML-картой сайта (при условии, что она точна).Это позволит вам сразу идентифицировать все URL-адреса, которые включены в вашу XML-карту сайта, но не были обнаружены во время сканирования. Имейте в виду, что ваши настройки сканирования могут определять, какие URL будут сканироваться, поэтому рекомендуется надлежащий опыт работы с этим инструментом.

Если сомневаетесь, просите о помощи

Для некоторых людей этот материал слишком технический, и лучше всего проконсультироваться у специалиста по поисковой оптимизации… вроде меня 🙂 Если вы застряли, вам нужно определить, насколько ценно ваше время.Проведение допоздна, пытаясь решить проблему индексации и рейтинга Google, станет утомительным. Помните, что индексация не означает оптимального ранжирования. После того, как Google проиндексирует ваш сайт, качество вашего контента, профиль ссылок и другие сигналы сайта и бренда будут определять, насколько хорошо ваш сайт ранжируется. Но индексация — это первый шаг на пути к поисковой оптимизации.

в настоящее время не индексируется в Google Search Console: как исправить

Ошибка «Просканировано — в настоящее время не проиндексировано» означает, что Google уже просканировал эти URL-адреса, но еще не проиндексировал их.

Для большинства веб-сайтов это состояние URL является естественным и автоматически разрешается после того, как Google обработает URL-адреса и добавит их в свой индекс. Чтобы проиллюстрировать, вот где URL-адреса находятся в процессе индексации Google:

Эта ошибка попадает в категорию «Исключено» и выглядит следующим образом в отчете об индексировании в Google Search Console:

Что-нибудь мешает Google индексировать?

Проверь свой сайт и сразу узнай!

Если вы часто сталкиваетесь с этой проблемой на крупных веб-сайтах (10.000+ страниц), это может быть вызвано:

  1. Плохая внутренняя структура ссылок : на эти страницы недостаточно ссылок. Если вы найдете важные страницы, по которым вы действительно хотите ранжироваться, добавьте на них больше внутренних ссылок со страниц, расположенных выше в архитектуре вашего веб-сайта.
  2. Низкое качество контента : эти страницы могли быть отложены Google на задний план, потому что они думают, что качество контента низкое. Еще раз проверьте, удовлетворяет ли ваш контент намерения пользователя и приносит ли он больше пользы, чем конкурирующий контент на других сайтах.
  3. Дублирование : эти страницы являются (почти) дубликатами других страниц и должны быть канонизированы.
  4. Авторитет домена слишком низкий : если вы убедились, что шаги 1, 2 и 3 выше не являются проблемой, вероятно, авторитет вашего домена слишком низкий. Вы публикуете больше контента, чем Google готов проиндексировать для вашего сайта. Получение большего количества обратных ссылок повысит авторитет вашего домена.

Наконечник Pro

Google будет часто отображать ваши XML-карты сайта, robots.txt и страницы с разбивкой на страницы в этой категории ошибок. Нет абсолютно никакой необходимости принимать меры по этому поводу.

ContentKing Academy

Прочтите всю статью Академии, чтобы узнать все об отчете о покрытии индекса Google Search Console

Найдите и исправьте ошибки индексации в Google Search Console

Коротко о покрытии индекса Google Search Console

Отчет об индексировании в Google Search Console содержит отзывы о более технических деталях процесса сканирования и индексирования вашего сайта.

Сообщенные проблемы делятся на четыре статуса:

  1. Действителен
  2. Действительно с предупреждениями
  3. Ошибка
  4. Исключено

Каждый статус содержит типы проблем, которые увеличивают масштаб конкретных проблем, обнаруженных Google на вашем сайте.

Как вы знаете, Google Search Console является неотъемлемой частью набора инструментов любого оптимизатора поисковых систем.

Помимо прочего, консоль поиска Google сообщает о вашей обычной эффективности и их результатах при сканировании и индексировании вашего сайта.Последняя тема освещена в их «отчете об индексном покрытии», о котором и идет речь в этой статье.

Прочитав эту статью, вы получите четкое представление о том, как использовать отчет об индексировании для повышения эффективности SEO.

Прежде чем мы углубимся, вот краткое руководство по обнаружению, сканированию, индексации и ранжированию:

  • Обнаружение: Чтобы сканировать URL-адрес, поисковым системам сначала необходимо его обнаружить. Это можно сделать различными способами, например: переход по ссылкам с других страниц (как на сайте, так и за его пределами) и обработка карт сайта в формате XML.Обнаруженные URL-адреса затем помещаются в очередь для сканирования.

  • Сканирование : во время фазы сканирования поисковые системы запрашивают URL-адреса и собирают с них информацию. После получения URL-адреса он передается индексатору, который обрабатывает процесс Indexing .

  • Индексирование: Во время индексирования поисковые системы пытаются понять информацию, полученную на этапе сканирования. Проще говоря, во время индексации определяется авторитетность и релевантность URL для запросов.

Когда URL-адреса проиндексированы, они могут появляться на страницах результатов поисковой системы (SERP).

Пусть все это осядет на минутку.

Это означает, что ваши страницы могут появляться в поисковой выдаче только в том случае, если ваши страницы успешно прошли последний этап — индексацию.

Полезные ресурсы

Что такое отчет об индексировании в Google Search Console?

Когда Google сканирует и индексирует ваш сайт, он отслеживает результаты и сообщает о них в отчете об индексировании в Google Search Console (открывается в новой вкладке).

Это в основном отзывы о технических деталях процесса сканирования и индексации вашего сайта. Если они обнаруживают насущную проблему, они отправляют уведомления.

Устранение проблем с SEO до того, как Google сделает это

Когда Google уведомляет вас о проблеме, уже слишком поздно. Заранее обнаруживайте и устраняйте проблемы SEO с помощью ContentKing.

Их отзывы делятся на четыре статуса:

  1. Действует
  2. Действительно с предупреждениями
  3. Исключено
  4. Ошибка

Когда следует использовать отчет об индексном покрытии?

Google сообщает (открывается в новой вкладке), что если на вашем сайте менее 500 страниц, вам, вероятно, не нужно использовать отчет об индексировании.Для таких сайтов они рекомендуют использовать свой оператор site: .

Мы категорически с этим не согласны.

Если органический трафик от Google необходим для вашего бизнеса, вам необходимо использовать их отчет об индексном покрытии –, поскольку он предоставляет подробную информацию и намного надежнее, чем использование их сайта : оператор для устранения проблем с индексированием.

Объяснение отчета об индексном покрытии

Скриншот выше взят с довольно большого сайта с множеством интересных технических проблем.

Найдите свой собственный отчет об индексном покрытии, выполнив следующие действия:

  1. Войдите в Google Search Console.
  2. Выберите недвижимость.
  3. Щелкните Покрытие под индексом на левой панели навигации.

В отчете об индексном покрытии выделяются четыре категории статуса:

  1. Действительный : страницы, которые были проиндексированы.
  2. Действительно с предупреждениями : страницы, которые были проиндексированы, но содержат некоторые проблемы, которые вы, возможно, захотите изучить.
  3. Исключено : страницы, которые не были проиндексированы, потому что поисковые системы уловили четкие сигналы, что им не следует их индексировать.
  4. Ошибка : страницы, которые по какой-то причине не могут быть проиндексированы.

Каждый статус состоит из одного или нескольких типов. Ниже мы объясним, что означает каждый тип, требуется ли действие и если да, то что делать.

Обнаружение проблем со сканированием и индексированием в режиме реального времени

Проанализируйте свой сайт на предмет проблем со сканированием и индексированием с помощью ContentKing.Выявляйте проблемы до того, как это сделает Google.

Отчет об индексировании дает вам фантастический обзор и понимание того, как Google видит ваш веб-сайт. Одна часть общей работы, которую часто упускают из виду, — это просмотр действительных страниц в Search Console. Это позволяет определить, индексируются ли в настоящее время какие-либо страницы, которых не должно быть.

Мы часто видим, что многие страницы на основе параметров индексируются вместе с каноническими версиями этих страниц, что может привести к проблемам с дублированием и неоптимизированному использованию сканирования.При идентификации этих страниц вы можете затем использовать инструмент параметров URL в Search Console, чтобы сообщить Google, как обрабатывать эти страницы и, при необходимости, заблокировать их сканирование, что даст вам гораздо лучший обзор вашего веб-сайта и поведения сканирования Google в будущем. .

Действительные URL-адреса

Как упоминалось выше, «действительные URL-адреса» — это страницы, которые были проиндексированы. Следующие два типа подпадают под статус «Действителен»:

  1. Отправлено и проиндексировано
  2. Проиндексировано, не отправлено в карту сайта
Отправлено и проиндексировано

Эти URL-адреса были отправлены через карту сайта XML и впоследствии проиндексированы.

Требуется действие: Нет.

Проиндексировано, не отправлено в карту сайта

Эти URL-адреса не были отправлены через карту сайта XML, но Google все равно нашел и проиндексировал их.

Требуется действие: проверьте, нужно ли индексировать эти URL-адреса, и если да, добавьте их в свою карту сайта XML. Если нет, убедитесь, что вы внедрили директиву noindex для роботов и при желании исключите их из файла robots.txt, если они могут вызвать проблемы с бюджетом сканирования.

Наконечник Pro

Если у вас есть XML-карта сайта, но вы просто не отправили ее в Google Search Console, все URL-адреса будут указаны с типом: «Проиндексированы, не отправлены в карту сайта», что немного сбивает с толку.

Имеет смысл разделить карту сайта XML на более мелкие для больших сайтов (скажем, 10 000+ страниц), так как это поможет вам быстро получить представление о любых проблемах индексируемости для каждого раздела или типа контента.

Добавление карт сайта XML для каждой папки или частичных подмножеств обеспечивает большую детализацию ваших данных.

Имейте в виду, что в большинстве отчетов Google Search Console ограничено количество ошибок / предложений, которые Google возвращает, поэтому наличие большего количества XML-карт сайта дает больше возможностей для получения подробных данных.

Отчет о покрытии индекса — одна из лучших частей новой (иш) консоли поиска Google. Для клиентов с актуальной XML-картой сайта проблема проиндексирована, а не отправлена ​​ в отчете карты сайта, может дать некоторые интересные выводы. Какие URL-адреса индексируются Google, а каких быть не должно, и каковы шаблоны? Используя фильтр внутри отчета, вы можете сегментировать общие шаблоны URL-адресов и проверить количество затронутых URL-адресов в нижней части отчета.

Для сильно затронутых областей вы можете затем изучить отчет Исключенные , чтобы выяснить основную причину индексации URL-адресов.Например, выбрал ли Google другую каноническую версию или перенаправления вызывают проблемы с индексацией?

Подробнее о проблеме

Действительные URL-адреса с предупреждениями

Статус «Действителен с предупреждениями» содержит только два типа:

  1. «Проиндексировано, но заблокировано файлом robots.txt»
  2. «Проиндексировано без содержания»
Проиндексировано, но заблокировано robots.txt

Google проиндексировал эти URL-адреса, но они были заблокированы вашим файлом robots.txt файл. Обычно Google не индексировал бы эти URL-адреса, но, очевидно, они нашли ссылки на эти URL-адреса и, таким образом, продолжили и проиндексировали их. Скорее всего, показанные фрагменты неоптимальны.

Обратите внимание, что этот обзор также содержит URL-адреса, которые были отправлены через XML-карты сайта с января 2021 года (открывается в новой вкладке).

Требуется действие: просмотрите эти URL-адреса, обновите файл robots.txt и, возможно, примените директивы noindex для роботов.

Подробнее о проблеме

Проиндексировано без содержания

Google проиндексировал эти URL-адреса, но Google не смог найти на них никакого содержания.Возможные причины этого могут быть:

  1. Маскировка (открывается в новой вкладке)
  2. Google не смог отобразить страницу, потому что они были заблокированы и получили код статуса HTTP 403, например.
  3. Контент находится в формате, который Google не индексирует.
  4. Опубликована пустая страница.

Требуется действие: просмотрите эти URL-адреса, чтобы дважды проверить, действительно ли они не содержат содержимого. Используйте как браузер, так и инструмент проверки URL-адресов Google Search Console, чтобы определить, что Google видит при запросе этих URL-адресов.Если все в порядке, просто запросите переиндексацию.

Исключенные URL

Статус «Исключено» содержит следующие типы:

  1. Альтернативная страница с правильным каноническим тегом
  2. Заблокировано инструментом для удаления страниц
  3. Заблокировано файлом robots.txt
  4. Заблокировано из-за запрещенного доступа (403)
  5. Заблокировано из-за другой проблемы 4xx
  6. Заблокирован из-за неавторизованного запроса (401)
  7. Аномалия сканирования
  8. Просканировано — в настоящее время не проиндексировано
  9. Обнаружено — в настоящее время не индексируется
  10. Дубликат без выбранной пользователем канонической
  11. Дубликат, Google выбрал канонический вариант, отличный от пользовательского
  12. Повторяющийся, отправленный URL не выбран как канонический
  13. Исключено тегом noindex
  14. Не найдено (404)
  15. Страница удалена в связи с жалобой
  16. Страница с редиректом
  17. Мягкий 404

Раздел «Исключенные» отчета о покрытии быстро стал ключевым источником данных при проведении SEO-аудита для выявления и определения приоритетов страниц с техническими проблемами и проблемами конфигурации контента.Вот несколько примеров:

  1. Для определения URL-адресов, которые имеют проблемы со сканированием и индексированием, которые не всегда обнаруживаются в ваших собственных имитациях сканирования, что особенно полезно, когда у вас нет доступа к веб-журналам для проверки.
  2. Чтобы помочь расставить приоритеты в ваших усилиях по технической оптимизации и оптимизации содержания, поместив в контекст, какие проблемы влияют на большее количество страниц, которые видит непосредственно Google, процент страниц, которые тратят впустую краулинговый бюджет вашего сайта, страниц с плохим содержанием, не заслуживающим индексации. , те ошибки запуска, которые также ухудшают взаимодействие с пользователем и т. д.
  3. Чтобы подтвердить, в каких сценариях дублирования контента, которые, по вашему мнению, вы исправили с помощью канонических тегов, Google упустил из виду их конфигурацию, потому что на эти страницы по-прежнему ссылаются другие со смешанными сигналами и конфигурациями, которые вы могли пропустить и теперь можете решить.
  4. Чтобы определить, есть ли на ваших страницах Soft 404 проблем.
Альтернативная страница с правильным каноническим тегом

Эти URL-адреса являются дубликатами других URL-адресов и должным образом канонизированы в предпочтительную версию URL-адреса.

Требуется действие: , если эти страницы не должны быть каноническими, измените канонические, чтобы они ссылались на себя. Кроме того, следите за количеством страниц, перечисленных здесь. Если вы видите большой рост, в то время как количество индексируемых страниц на вашем сайте не увеличилось, возможно, вы имеете дело с плохой внутренней структурой ссылок и / или проблемой обходного бюджета.

Подробнее о проблеме

Заблокировано инструментом для удаления страниц

Эти URL-адреса в настоящее время не отображаются в результатах поиска Google из-за запроса на удаление URL.Когда URL-адреса скрыты таким образом, они не отображаются в результатах поиска Google в течение 90 дней. По истечении этого периода Google может вернуть эти URL-адреса на поверхность.

Запрос на удаление URL (открывается в новой вкладке) должен использоваться только как быстрая временная мера для скрытия URL. Мы всегда рекомендуем принимать дополнительные меры, чтобы действительно предотвратить повторное появление этих URL-адресов.

Требуется действие: отправить в Google четкий сигнал о том, что они не должны индексировать эти URL-адреса с помощью директивы noindex для роботов, и убедиться, что эти URL-адреса повторно просканированы до истечения 90 дней.

Заблокировано файлом robots.txt

Эти URL-адреса заблокированы из-за файла robots.txt сайта и не индексируются Google. Это означает, что Google не обнаружил сигналов, достаточно сильных, чтобы оправдать индексацию этих URL-адресов. В противном случае URL-адреса были бы указаны в разделе «Проиндексированы, но заблокированы файлом robots.txt».

Требуется действие: убедитесь, что среди перечисленных в этом обзоре нет важных URL-адресов.

Очень важно помнить, что блокировка подмножества URL-адресов через robots.txt не означает, что страницу нельзя проиндексировать. Чтобы гарантировать, что определенная страница или подмножество страниц не проиндексированы, используйте (мета) директиву noindex robots.

Заблокировано из-за запрещенного доступа (403)

Google не получил доступа к этим URL-адресам и получил код ответа HTTP 403.

Требуется действие: убедитесь, что Google (и другие поисковые системы) имеют неограниченный доступ к URL-адресам, по которым вы хотите ранжироваться. Если URL-адреса, по которым вы не хотите ранжироваться, указаны в этом типе проблемы, лучше всего просто применить директиву noindex (либо в исходном HTML-коде, либо в HTTP-заголовке).

Заблокировано из-за другой проблемы 4xx

Google не смог получить доступ к этим URL-адресам, потому что они получили коды ответов 4xx, отличные от 401, 403 и 404. Это может произойти с неверно сформированными URL-адресами, например, они иногда возвращают код ответа 400.

Требуется действие: попробуйте получить эти URL-адреса с помощью инструмента проверки URL-адресов, чтобы проверить, можете ли вы воспроизвести это поведение. Если эти URL-адреса важны для вас, выясните, что происходит, устраните проблему и добавьте URL-адреса в свою карту сайта XML.Если вы не хотите ранжироваться по этим URL-адресам, просто убедитесь, что вы удалили все ссылки на них.

Заблокировано из-за неавторизованного запроса (401)

Эти URL-адреса недоступны для Google, поскольку при их запросе Google получил HTTP-ответ 401, что означает, что им не разрешен доступ к URL-адресам. Обычно это наблюдается для промежуточных сред, которые становятся недоступными для мира с помощью HTTP-аутентификации.

Требуется действие: убедитесь, что среди перечисленных в этом обзоре нет важных URL-адресов.Если да, то вам нужно выяснить, почему, потому что это может стать серьезной проблемой для SEO. Если ваша промежуточная среда указана в списке, выясните, как Google ее нашел, и удалите все ссылки на нее. Помните, что причиной этого могут быть как внутренние, так и внешние ссылки. Если поисковые системы могут их найти, скорее всего, это смогут и посетители.

Аномалия сканирования

🛎️ Тип аномалии сканирования удален

С обновлением покрытия индекса в январе 2021 года (открывается в новой вкладке) тип проблемы аномалии сканирования был удален.Вместо этого теперь вы найдете более конкретные типы проблем:

Эти URL-адреса не были проиндексированы, так как Google обнаружил «аномалию сканирования» при их запросе. Аномалии сканирования могут означать, что они получили коды ответов в диапазоне 4xx и 5xx, которые не указаны с их собственными типами в отчете об индексировании.

Требуемое действие: попробуйте получить некоторые URL-адреса с помощью инструмента проверки URL-адресов, чтобы проверить, можно ли воспроизвести проблему. Если можете, выясните, что происходит. Если вы не можете найти никаких проблем и все работает нормально, следите за этим, так как это может быть временной проблемой.

Отладка ошибок SEO на следующем уровне

Используйте ContentKing для отладки аномалий обхода с помощью заголовков запросов и снимков заголовков ответов.

Подробнее о проблеме

Просканировано — в настоящее время не проиндексировано

Эти URL просканированы Google, но не проиндексированы (пока). Возможные причины, по которым URL может иметь такой тип:

  1. URL-адрес недавно был просканирован, но его еще нужно проиндексировать.
  2. Google знает об URL, но не считает его достаточно важным для его индексации.Например, потому что у него мало или совсем нет внутренних ссылок, дублированного контента или тонкого контента.

Требуется действие: убедитесь, что среди приведенных в этом обзоре нет важных URL. Если вы найдете важные URL-адреса, проверьте, когда они были просканированы. Если это совсем недавно и вы знаете, что у этого URL достаточно внутренних ссылок для индексации, скорее всего, это произойдет в ближайшее время.

«Просканировано — в настоящее время не проиндексировано» — это отчет в Search Console, который потенциально может быть наиболее действенным.

К сожалению, это также требует, чтобы вы играли в детектива, потому что Google на самом деле не скажет вам , почему URL не проиндексирован. Причины могут включать: тонкое содержание, низкое качество, дублирование, разбиение на страницы, перенаправление или Google только недавно обнаружил страницу и скоро проиндексирует ее.

Если вы обнаружите, что страница действительно важна и ее следует проиндексировать, это ваша возможность принять меры.

Подробнее о проблеме

Обнаружено — в настоящее время не проиндексировано

Эти URL-адреса были обнаружены Google, но еще не просканированы и, следовательно, не проиндексированы.Google знает о них, и они стоят в очереди на сканирование. Это может происходить из-за того, что Google запросил эти URL-адреса и не завершился успешно, потому что сайт был перегружен, или из-за того, что они просто не успели их просканировать.

Требуется действие: следите за этим. Если количество URL-адресов увеличивается, возможно, у вас проблемы с бюджетом сканирования: ваш сайт требует больше внимания, чем Google хочет на него тратить. Это может быть связано с тем, что у вашего сайта недостаточно полномочий, он слишком медленный или часто недоступен.

Это состояние URL-адреса в некоторой степени является частью естественного процесса, и имейте в виду, что этот отчет может немного отставать от фактического состояния .

Всегда сначала подтверждайте с помощью инструмента проверки URL фактическое состояние, а в случае, если здесь находится огромное количество важных страниц: внимательно посмотрите на , что сканирует google (ваши файлы журналов — ваш друг!).

Проверьте, не увязли ли Google в малозначимых ловушках сканирования, таких как комбинации фильтров или такие вещи, как календари событий, которые создают почти бесконечные группы URL-адресов.

Подробнее о проблеме

Дубликат без выбранной пользователем канонической версии

Согласно Google, эти URL-адреса являются дубликатами. Они не канонизированы для предпочтительной версии URL, и Google считает, что эти URL не являются предпочтительными версиями. Поэтому они решили исключить эти URL из своего индекса.

Часто среди этих URL-адресов вы найдете PDF-файлы, которые на 100% дублируют другие PDF-файлы.

Требуется действие: добавить канонические URL-адреса к предпочтительным версиям URL-адресов, например, к странице сведений о продукте.Если эти URL-адреса вообще не нужно индексировать, обязательно примените директиву noindex через метатег robots или HTTP-заголовок X-Robots-Tag. Когда вы используете инструмент проверки URL-адресов, Google может даже показать вам каноническую версию URL-адреса.

Если вы видите значительное количество URL-адресов, попадающих в категорию проблем «дубликаты без выбранных пользователем канонических», это часто может пролить свет на проблему в масштабах сайта, например неуместный канонический тег, неработающий или каноническое существо. непреднамеренно изменено или удалено с помощью JavaScript

Полезные ресурсы

Дубликат, Google выбрал каноническую версию, отличную от пользовательской

Google обнаружил эти URL-адреса самостоятельно и считает их дубликатами.Несмотря на то, что вы канонизировали их для предпочтительного URL-адреса, Google предпочитает игнорировать это и применять другой канонический.

Вы часто обнаруживаете, что Google выбирает разные канонические элементы на многоязычных сайтах с очень похожими страницами и тонким содержанием.

Требуется действие: Используйте инструмент проверки URL-адресов, чтобы узнать, какой URL-адрес Google выбрал в качестве предпочтительного, и посмотрите, имеет ли это смысл. Например, возможно, Google выбрал другую каноническую версию, потому что в ней больше ссылок и / или больше контента.

Это выбор Google — выбрать одну версию страницы и сэкономить на индексировании, но как специалист по поисковой оптимизации не замечательно, что Google игнорирует ваш выбор .

Это может произойти, когда веб-сайт имеет похожий контент с небольшой локализацией для разных рынков или страницы, которые дублируются на веб-сайте. Помните, что атрибут hreflang также является подсказкой, поэтому он не обязательно решит вашу проблему. Google по-прежнему может обслуживать правильный URL-адрес, однако он показывает название и описание выбранной ими версии.

К сожалению, GSC не сообщает нам, как это исправить, но, по крайней мере, вы знаете, что что-то не так, и можете видеть, насколько серьезна проблема. Некоторые возможные решения — создать уникальный контент (если вашего hreflang недостаточно) или не индексировать копии этих страниц.

Подробнее о проблеме

Повторяющийся, отправленный URL не выбран как канонический

Вы отправили эти URL-адреса через XML-карту сайта, но для них не задан канонический URL. Google считает эти URL-адреса дубликатами других URL-адресов и поэтому решил канонизировать эти URL-адреса с помощью выбранных Google канонических URL-адресов.

Обратите внимание, что этот тип очень похож на тип Duplicate, Google выбрал канонический, отличный от пользовательского, но отличается двумя способами:

  1. Вы явно попросили Google проиндексировать эти страницы.
  2. Вы не указали канонические URL.

Требуется действие: добавить правильные канонические URL-адреса, указывающие на предпочтительную версию URL-адреса.

Подробнее о проблеме

Наконечник Pro

При выполнении миграции веб-сайтов рекомендуется сохранять карту сайта XML, содержащую старые URL-адреса, доступными для ускорения процесса миграции.Эти старые URL-адреса будут перечислены в Дубликат, отправленный URL-адрес не выбран как канонический , если они включены в карту сайта XML. После удаления их из карты сайта XML, URL-адреса переместятся на страницу со статусом перенаправления .

Исключено тегом noindex

Эти URL-адреса не были проиндексированы Google из-за директивы noindex (либо в исходном HTML-коде, либо в HTTP-заголовке).

Требуется действие: убедитесь, что среди перечисленных в этом обзоре нет важных URL-адресов.Если вы обнаружите важные URL-адреса, удалите директиву noindex и используйте инструмент проверки URL-адресов для запроса индексации. Еще раз проверьте, есть ли какие-либо внутренние ссылки, указывающие на эти страницы, так как вы не хотите, чтобы эти noindex’ed страницы были общедоступными.

Обратите внимание, что если вы хотите сделать страницы недоступными, лучший способ сделать это — реализовать HTTP-аутентификацию.

При проверке раздела «Исключено с помощью тега noindex» важно не только убедиться, что важные страницы не включены, но и включены страницы с низким качеством и .

Если вы знаете, что ваш сайт генерирует большой объем контента, который должен иметь тег «noindex», убедитесь, что он включен в этот отчет.

Не найдено (404)

Эти URL-адреса не были включены в карту сайта XML, но Google каким-то образом нашел их и не может их проиндексировать, потому что они вернули код состояния HTTP 404. Возможно, Google нашел эти URL-адреса на других сайтах или что эти URL-адреса существовали в прошлом. .

Требуется действие: убедитесь, что среди перечисленных в этом обзоре нет важных URL-адресов.Если вы действительно найдете важные URL-адреса, восстановите содержимое этих URL-адресов или 301 перенаправьте URL-адрес на наиболее подходящую альтернативу. Если вы не перенаправляете на высокорелевантную альтернативу, этот URL, скорее всего, будет рассматриваться как мягкий 404.

Страница удалена в связи с жалобой

Эти URL были удалены из индекса Google в связи с юридической жалобой.

Требуется действие: убедитесь, что вы знаете все URL, перечисленные в этом обзоре, так как кто-то злонамеренный мог запросить удаление ваших URL из индекса Google.

Страница с редиректом

Эти URL-адреса служат для переадресации и поэтому не индексируются Google.

Требуется действие: Нет.

Наконечник Pro

Когда вы участвуете в миграции веб-сайта, этот обзор страниц с перенаправлением действительно пригодится при создании плана перенаправления.

Мягкий 404

Эти URL-адреса считаются мягкими ответами 404, что означает, что URL-адреса не возвращают код состояния HTTP 404, но контент создает впечатление, что на самом деле это страница 404, например, показывая сообщение «Страница не может быть найдена». .Кроме того, эти ошибки могут быть результатом переадресации, указывающей на страницы, которые Google считает недостаточно релевантными. Возьмем, к примеру, страницу с описанием продукта, которая была перенаправлена ​​на страницы его категорий или даже на домашнюю страницу.

Требуется действие: , если эти URL-адреса являются реальными 404-ми, убедитесь, что они возвращают правильный код состояния 404 HTTP. Если они вообще не 404, убедитесь, что контент это отражает.

Подробнее о проблеме

На сайтах электронной коммерции я часто вижу мягкую ошибку 404.В большинстве случаев это нормально, но также может указывать на проблему с тем, как Google оценивает ваши страницы. Всегда обращайте внимание на то, имеет ли ваш контент смысл, или если вы перенаправили этот URL-адрес, является ли это релевантным URL-адресом.

URL-адреса ошибок

Статус «Ошибка» содержит следующие типы:

  1. Ошибка перенаправления
  2. Ошибка сервера (5xx)
  3. Отправленный URL заблокирован robots.txt
  4. Отправленный URL-адрес заблокирован из-за другой проблемы 4xx
  5. Отправленный URL-адрес имеет проблемы со сканированием
  6. Отправленный URL с пометкой «noindex»
  7. Отправленный URL не найден (404)
  8. Отправленный URL-адрес выглядит мягким 404
  9. Отправленный URL-адрес вернулся 403
  10. Отправленный URL возвращает неавторизованный запрос (401)
Ошибка перенаправления

Эти перенаправленные URL-адреса не могут быть просканированы, так как Google обнаружил ошибки перенаправления.Вот несколько примеров потенциальных проблем, с которыми мог столкнуться Google:

Петли перенаправления

Требуемое действие: выяснить, что происходит с этими перенаправлениями, и исправить их. Вот как легко проверить коды состояния HTTP, чтобы вы могли начать их отладку.

Полезные ресурсы

Ошибка сервера (5xx)

Эти URL-адреса вернули в Google ошибку 5xx, в результате чего Google не смог сканировать эту страницу.

Требуется действие: выяснить, почему URL-адрес возвратил ошибку 5xx, и исправить ее.Часто вы видите, что эти ошибки 5xx являются временными, потому что сервер был слишком занят. Имейте в виду, что пользовательский агент, выполняющий запросы, может влиять на то, какой код статуса HTTP будет возвращен, поэтому обязательно используйте пользовательский агент Googlebot.

Обязательно проверьте файлы журналов и настройку ограничения скорости. Использование программного обеспечения для блокировки парсеров или злоумышленников может привести к блокировке ботов поисковых систем. Обычно запросы блокируются за до : запрос достигает сервера, где собираются файлы журналов, поэтому не забывайте проверять оба источника, чтобы определить возможные проблемы.

Отправленный URL заблокирован robots.txt

Вы отправили эти URL-адреса через XML-карту сайта, но они не были проиндексированы, поскольку Google заблокирован через файл robots.txt. Этот тип очень похож на два других, которые мы уже рассмотрели выше.

Вот чем отличается этот:

Это небольшие различия, но они очень помогают при отладке подобных проблем.

Требуется действие:

  • Если в списке перечислены важные URL-адреса, убедитесь, что вы не заблокировали их через robots.txt файл. Найдите директиву robots.txt, выбрав URL-адрес и нажав кнопку TEST ROBOTS.TXT BLOCKING справа.
  • URL, которые не должны быть доступны для Google, должны быть удалены из карты сайта XML.

Функция «Отправленный URL-адрес заблокирован файлом robots.txt» очень полезна, чтобы выяснить, где мы сделали ошибку (и дает нам возможность быстро исправить это!). Это одна из первых вещей, которые нужно проверить после перезапуска сайта или миграции.

Крупные сайты-агрегаторы или сайты электронной коммерции, как правило, оставляют важные каталоги запрещенными в своих файлах robots.txt после запуска. Этот раздел также полезен, чтобы указать на устаревшие карты сайта XML, которые не обновляются так часто, как следовало бы.

Полезные ресурсы

Отправленный URL-адрес заблокирован из-за другой проблемы 4xx

Вы отправили эти URL-адреса через карту сайта XML, но Google получил коды ответов 4xx, отличные от 401, 403 и 404.

Требуется действие: попробуйте получить эти URL-адреса с помощью инструмента проверки URL-адресов, чтобы проверить, можно ли воспроизвести проблему. Если можете, выясните, что происходит, и исправьте это. Если эти URL-адреса не работают должным образом и не должны индексироваться, удалите их из карты сайта XML.

Отправленный URL имеет проблемы со сканированием

Вы отправили эти URL-адреса через XML-карту сайта, но Google обнаружил проблемы со сканированием. Этот тип «Отправленный URL имеет проблемы со сканированием» предназначен для решения всех проблем со сканированием, которые не подходят ни для одного из других типов.

Часто эти проблемы со сканированием носят временный характер и получают «обычную» классификацию (например, «Не найдено (404)») при повторной проверке.

Требуемое действие: попробуйте получить некоторые URL-адреса с помощью инструмента проверки URL-адресов, чтобы проверить, можно ли воспроизвести проблему. Если можете, выясните, что происходит. Если вы не можете найти никаких проблем и все работает нормально, следите за этим, так как это может быть временной проблемой.

Подробнее о проблеме

Отправленный URL с пометкой «noindex»

Вы отправили эти URL-адреса через XML-карту сайта, но в них есть директива noindex (либо в исходном HTML-коде, либо в HTTP-заголовке).

Требуется действие:

  • Если перечислены важные URL-адреса, обязательно удалите директиву noindex.
  • URL-адресов, которые не следует индексировать, следует удалить из карты сайта XML.

Директива noindex robots — это один из многих сигналов, указывающих, следует ли индексировать URL-адрес. Канонические ссылки, внутренние ссылки, перенаправления, hreflang, карты сайта и т. Д. — все это способствует интерпретации. Google не отменяет директивы ради удовольствия, в конечном итоге он пытается помочь!

Если существуют противоречивые сигналы, например, канонический и noindex на одной странице, Google должен будет выбрать, какой намек использовать.В общем, Google будет склоняться к , выбирая канонический, а не noindex.

Подробнее о проблеме

Отправленный URL не найден (404)

Вы отправили эти URL-адреса через XML-карту сайта, но похоже, что этих URL-адресов не существует.

Этот тип очень похож на тип «Не найдено (404)», который мы рассмотрели ранее, с той лишь разницей, что в этом случае вы отправили URL-адреса через XML-карту сайта.

Требуется действие:

  • Если вы обнаружите в списке важные URL-адреса, восстановите их содержимое или 301 перенаправьте URL-адрес на наиболее подходящую альтернативу.
  • В противном случае удалите эти URL-адреса из XML-карты сайта.

Подробнее о проблеме

Отправленный URL-адрес выглядит как Soft 404

Вы отправили эти URL-адреса через XML-карту сайта, но Google считает их «ошибочными 404». Эти URL-адреса могут возвращать код состояния HTTP 200, в то время как на самом деле отображается страница 404, или содержание на странице создает впечатление, что это 404.

Этот тип очень похож на тип Soft 404, который мы рассмотрели ранее, с той лишь разницей, что в этом случае вы отправили эти URL-адреса через карту сайта XML.

Требуется действие:

  • Если это настоящие URL-адреса 404, убедитесь, что они возвращают правильный код состояния HTTP 404 и удалены из карты сайта XML.
  • Если они вообще не 404, убедитесь, что содержание отражает это.

Подробнее о проблеме

Отправленный URL-адрес вернулся 403

Вы отправили эти URL-адреса через карту сайта XML, но Google не получил доступ к этим URL-адресам и получил ответ HTTP 403.

Этот тип очень похож на приведенный ниже, с той лишь разницей, что в случае ответа HTTP 401 должны были быть введены учетные данные для входа.

Требуется действие: Если эти URL-адреса должны быть общедоступными, предоставьте неограниченный доступ. В противном случае удалите эти URL-адреса из XML-карты сайта.

Отправленный URL возвращает неавторизованный запрос (401)

Вы отправили эти URL-адреса через XML-карту сайта, но Google получил ответ HTTP 401, что означает, что у них нет прав доступа к этим URL-адресам.

Это обычно наблюдается для промежуточных сред, недоступных для мира с помощью HTTP-аутентификации.

Этот тип очень похож на тип «Заблокировано из-за неавторизованного запроса (401)», который мы рассмотрели ранее, с той лишь разницей, что в этом случае вы отправили эти URL-адреса через XML-карту сайта.

Требуется действие: выяснить, правильно ли был возвращен код состояния HTTP 401. В таком случае удалите эти URL-адреса из XML-карты сайта.Если нет, то разрешите Google доступ к этим URL-адресам.

Часто задаваемые вопросы об отчете об индексном покрытии

💡 Какую информацию содержит отчет об индексном покрытии?

Отчет об индексировании содержит отзывы от Google о том, как они справились с сканированием и индексированием вашего веб-сайта. Он содержит ценную информацию, которая поможет вам повысить эффективность SEO.

🤔 Когда следует использовать отчет об индексном покрытии?

Хотя Google утверждает, что отчет об индексировании полезен только для сайтов с более чем 500 страницами, мы рекомендуем использовать его всем, кто сильно полагается на органический трафик.Он предоставляет так много подробной информации и намного надежнее, чем использование оператора site: для отладки проблем с индексированием, вы не хотите пропустить это.

🕒 Как часто мне следует проверять отчет об индексном покрытии?

Это зависит от того, что у вас происходит на вашем сайте. Если это простой веб-сайт с несколькими сотнями страниц, вы можете проверять его раз в месяц. Если у вас миллионы страниц и вы добавляете тысячи страниц еженедельно, мы рекомендуем проверять наиболее важные типы проблем один раз в неделю.

⛔ Почему так много моих страниц имеют статус «Исключено»?

Для этого есть разные причины, но мы часто видим, что большинство этих URL-адресов являются канонизированными URL-адресами, перенаправляющими URL-адреса и URL-адреса, которые заблокированы через файл robots.txt сайта.

Специально для крупных сайтов, быстро накапливается.

Часто задаваемые вопросы об отчете об индексном покрытии

проблем с индексированием Google — страницы попадают в индекс и выпадают из него?

В течение последних нескольких недель я слышал жалобы от специалистов по поисковой оптимизации, в основном на частных форумах, на странные проблемы с индексированием в Google.Проблемы не постоянные, новая страница индексируется, затем выходит из индекса, затем индексируется, затем выпадает, а затем возвращается.

Это похоже на то, что Google не может решить, должна ли страница быть в индексе, или, может быть, некоторые центры обработки данных показывают страницу проиндексированной, а некоторые нет. Иногда эту проблему можно обнаружить в Google Search Console с помощью инструмента проверки URL, иногда ее можно найти в других отчетах либо через API, либо через простой Google. Судя по тому, что я вижу, это влияет на все уровни, от больших сайтов до маленьких.

Теперь я могу поделиться некоторыми общественными жалобами, поскольку они выходят на первый план все больше и больше.

Это опубликовал хакер продукта Йорч Гарсиа. Twitter «Есть проблемы с индексацией? У нас сайт с просмотром страниц со скоростью 100 млн в месяц, и его домашняя страница случайным образом появляется и исчезает из индекса с 29 июля ».

Джон Мэллер из Google ответил, что ему не известно о какой-либо проблеме, но попросил предоставить более подробную информацию:

Привет, спасибо за ответ! Сайт https: // t.co / 8RiTupz6NB, и когда вы выполняете поиск по брендовому термину «la razon», первым разделом позиции будет https://t.co/xbyumAvnKh, но, похоже, его нет в индексе домашней страницы, хотя GSC сообщает нам, что он находится в индекс.

— Джордж 🚀 (jorch_garcia) 9 августа 2021 г.

Затем Йорч поделился этой диаграммой, на которую, я думаю, смотрят другие люди. «Это модель, которую мы наблюдаем в последнее время. На зеленой домашней странице есть органический трафик », — сказал он.

Гленн Габби поделился некоторыми диаграммами Саммерса, которые выглядят следующим образом:

Совершенно верно 🙂 Хотя папка / espana / становится все более заметной, это первый результат поиска по термину бренда.Но потеря главной страницы означает, что мы также теряем некоторые поисковые карусели

.

— Джордж 🚀 (jorch_garcia) 9 августа 2021 г.

Джон сказал Google, что перешлет отчеты:

Спасибо, перенесу!

— «Джон» (ohJohnMu) 9 августа 2021 г.

Я попросил больше у сообщества, но не уверен, что это тот же образец, который слышу от других:

Да, я тоже вижу некоторые колебания на страницах индексации.На прошлой неделе в нем было 50 тысяч страниц, а сейчас 14 тысяч.

— Эйджазпардхан (Иджеиджазпардхан) 9 августа 2021 г.

У меня проблемы с индексированием с прошлой недели.

— Альбом из вискозы в Лагосе (iteslitespotng) 9 августа 2021 г.

У меня уже несколько месяцев возникают проблемы с индексированием этого сайта.

Например, URL-адреса, которые появляются и исчезают в индексе Google:

— https://t.co/0NgdjtcafW.
— https://t.co/qmIYky6G6t.
— https: // т.co / CBGILumj7S.M انمو۔

— Сэм Андервуд (amSamUnderwoodUK) 10 августа 2021 г.

Я хотел бы поделиться более конкретными примерами, но я думаю, что у Google может быть проблема с индексированием, когда страницы, а не домашняя страница, попадают в индекс и выходят из него.

Обсуждение на форуме. Twitter.

Руководство владельца большого сайта по управлению краулинговым бюджетом

В этом руководстве описывается, как оптимизировать сканирование Google очень больших и часто обновляемых сайтов.

Если на вашем сайте не так много страниц, которые быстро меняются, или если ваши страницы кажутся
для сканирования в тот же день, когда они опубликованы, вам не нужно читать это руководство; просто
поддерживать вашу карту сайта в актуальном состоянии и
проверяя ваш
Индексный охват на регулярной основе является адекватным.

Если у вас есть контент, который был доступен какое-то время, но никогда не индексировался, это
другая проблема; использовать URL
Инструмент проверки вместо этого, чтобы узнать, почему ваша страница не индексируется.

Кто это руководство для

Это расширенное руководство, предназначенное для:

  • Крупные сайты (1 миллион + уникальных страниц) с умеренно часто изменяющимся содержанием (раз в неделю)
  • Средние и большие сайты (10000+ уникальных страниц) с очень быстро меняющимся содержанием (ежедневно)

Приведенные здесь цифры являются приблизительной оценкой , чтобы помочь вам
классифицируйте свой сайт. Это не точные пороги.

Общая теория ползания

Интернет — это почти бесконечное пространство, превосходящее возможности Google по изучению и индексации каждого
доступный URL.В результате, существуют ограничения на то, сколько времени робот Googlebot может тратить на сканирование любых
единый сайт. Количество времени и ресурсов, которые Google выделяет на сканирование сайта, составляет
обычно называется краулинговым бюджетом сайта . Обратите внимание, что не все просканировали на
ваш сайт обязательно будет проиндексирован ; каждая страница должна быть оценена,
консолидированный, и
оценивается, чтобы определить, будет ли он проиндексирован после сканирования.

Бюджет сканирования определяется двумя основными элементами: ограничение объема сканирования , и сканирование.
Спрос .

Ограничение емкости сканирования

Робот Googlebot хочет сканировать ваш сайт, не перегружая ваши серверы. Чтобы предотвратить это,
Робот Googlebot вычисляет предел емкости сканирования , то есть максимальное количество
одновременные параллельные соединения, которые робот Googlebot может использовать для сканирования сайта, а также время
задержка между выборками. Это рассчитано на покрытие всего вашего важного контента.
без перегрузки ваших серверов.

Предел емкости сканирования может увеличиваться или уменьшаться в зависимости от нескольких факторов:

  • Работоспособность сканирования: Если сайт какое-то время быстро отвечает, лимит увеличивается,
    это означает, что для сканирования можно использовать больше соединений.Если сайт тормозит или отвечает сервером
    ошибок, ограничение уменьшается, и робот Googlebot меньше сканирует.
  • Предел
    устанавливается владельцем сайта в Search Console:     Владельцы веб-сайтов могут при желании уменьшить
    Сканирование их сайта роботом Googlebot. Обратите внимание, что установка более высоких лимитов не выполняется автоматически.
    увеличить скорость ползания.
  • Пределы сканирования Google : у Google много машин, но не бесконечно
    машины. Нам все еще нужно делать выбор, используя имеющиеся у нас ресурсы.

Спрос на сканирование

Google обычно тратит на сканирование сайта столько времени, сколько необходимо, учитывая его размер, обновление
частота, качество страницы и релевантность по сравнению с другими сайтами.

Факторы, которые играют важную роль в определении спроса на сканирование:

  • Воспринимаемый инвентарь: Без вашего ведома робот Googlebot попытается
    сканировать все или большую часть известных ему URL-адресов на вашем сайте. Если многие из этих URL-адресов
    дубликаты, или вы не хотите, чтобы они сканировались по какой-либо другой причине (удалены, неважны и т. д.),
    это тратит много времени Google на сканирование вашего сайта.Это фактор, который вы можете
    положительно контролировать большинство.
  • Популярность: URL-адреса, наиболее популярные в Интернете, обычно сканируются.
    чаще, чтобы они оставались более свежими в нашем индексе.
  • Устойчивость: Нашим системам требуется повторное сканирование документов достаточно часто, чтобы
    до любых изменений.

Кроме того, события на уровне сайта, такие как перемещение сайта, могут вызвать увеличение потребности в сканировании в
чтобы переиндексировать контент по новым URL-адресам.

Итого

Взяв вместе емкость сканирования и потребность в сканировании, Google определяет бюджет сканирования сайта как
набор URL-адресов, которые робот Googlebot может и хочет сканировать. Даже если ограничение емкости сканирования не
достигнуто, если потребность в сканировании низкая, робот Googlebot будет сканировать ваш сайт реже.

Как увеличить краулинговый бюджет?
Google определяет количество сканируемых ресурсов для каждого сайта в зависимости от его популярности,
ценность для пользователя, уникальность и обслуживающая способность.Единственные способы увеличить краулинговый бюджет:
для увеличения вашей пропускной способности для сканирования и (что более важно) для увеличения ценности
содержание вашего сайта для поисковиков.

Лучшие практики

Следуйте этим рекомендациям, чтобы максимально повысить эффективность сканирования:

  • Управляйте инвентаризацией URL: Используйте соответствующие
    инструменты, указывающие Google, какие страницы сканировать, а какие нет. Если Google тратит слишком много
    сканирование URL-адресов, не подходящих для индекса, робот Google может решить, что это
    не стоит тратить время на просмотр остальной части вашего сайта (или увеличивать для этого свой бюджет).

    • Объединить
      дублированный контент.       Удалите дублирующийся контент, чтобы сосредоточить сканирование на уникальном
      контент, а не уникальные URL-адреса.
    • Блокировать сканирование URL-адресов, которые вы не хотите индексировать.
      Некоторые страницы могут быть важны для пользователей, но вы не хотите, чтобы они отображались в результатах поиска. Для
      Например, бесконечная прокрутка страниц, которые дублируют информацию на связанных страницах или по-другому
      отсортированные версии одной и той же страницы.Если вы не можете объединить их, как описано в
      первый маркер, заблокируйте эти неважные (для поиска) страницы с помощью robots.txt
      или URL
      Инструмент параметров (для дублированного контента, доступного по параметрам URL).
      Не используйте noindex , так как Google все равно
      запрос, но затем сбросить страницу, когда она увидит тег noindex , тратя время на сканирование
      время. Не используйте robots.txt для временного освобождения краулингового бюджета для других
      страницы; использовать роботов.txt, чтобы заблокировать страницы или ресурсы, которые вы не хотите, чтобы Google
      ползать вообще. Google не перенесет этот высвободившийся бюджет сканирования на другие страницы, если только
      Google уже исчерпал лимит обслуживания вашего сайта.
    • Вернуть 404/410 для безвозвратно удаленных страниц. Google не забудет
      URL-адрес, о котором он знает, но 404 является сильным сигналом не сканировать этот URL-адрес снова.
      Однако заблокированные URL-адреса будут оставаться частью вашей очереди сканирования намного дольше и будут
      перебирается при удалении блока.
    • Устранить мягкое
      404с. Сканирование       Soft 404 будет продолжаться, что приведет к растрате вашего бюджета. Проверять
      Индекс
      Отчет о покрытии мягких ошибок 404.
    • Держите карты сайта в актуальном состоянии. Google регулярно читает вашу карту сайта,
      поэтому обязательно включите весь контент, который вы хотите просканировать Google. Если ваш сайт
      включает обновленное содержимое, мы рекомендуем включить тег .
    • Избегайте длинных цепочек переадресации , которые отрицательно влияют на сканирование.
  • Сделайте ваши страницы более удобными для загрузки.
    Если Google сможет загружать и обрабатывать ваши страницы быстрее, мы сможем читать больше контента из
    твой сайт.
  • Отслеживайте сканирование вашего сайта.
    Следите за тем, не возникало ли у вашего сайта проблем с доступностью во время сканирования, и ищите способы
    сделайте ваше сканирование более эффективным.

Отслеживайте сканирование и индексирование вашего сайта

Вот основные шаги для отслеживания профиля сканирования вашего сайта:

  1. Посмотрите, не возникает ли у Googlebot проблем с доступностью на вашем
    сайт.
  2. Посмотрите, есть ли у вас страницы, которые не сканируются, но
    должно быть.
  3. Узнайте, нужно ли сканировать какие-либо части вашего сайта быстрее, чем
    они уже есть.
  4. Повысьте эффективность сканирования вашего сайта.
  5. Управляйте чрезмерным сканированием вашего сайта.

1. Проверьте, не возникает ли у Googlebot проблем с доступностью на вашем сайте.

Повышение доступности вашего сайта не обязательно увеличит ваш краулинговый бюджет; Google
определяет наилучшую скорость сканирования на основе потребности в сканировании, как описано ранее. Тем не мение,
Проблемы с доступностью не позволяют Google сканировать ваш сайт столько, сколько ему нужно.

Диагностика:

Используйте сканирование
Отчет «Статистика», чтобы увидеть историю сканирования вашего сайта роботом Googlebot.В отчете указано, когда
Google обнаружил проблемы с доступностью на вашем сайте. Если ошибки доступности или предупреждения
сообщил для вашего сайта, поищите экземпляры на графиках Доступность хостов
где количество запросов робота Google превысило красную границу, нажмите на график, чтобы увидеть, какие URL
потерпели неудачу, и попытайтесь сопоставить их с проблемами на вашем сайте.

Обработка:

  • Прочитать документацию
    для отчета «Статистика сканирования», чтобы узнать, как найти и решить некоторые проблемы с доступностью.
  • Заблокируйте сканирование страниц, если вы не хотите, чтобы они сканировались. (см.
    свой инвентарь     )
  • Увеличить скорость загрузки и рендеринга страницы. (см. Улучшение
    эффективность сканирования вашего сайта     )
  • Увеличьте емкость сервера. Если Google постоянно сканирует
    ваш сайт работает на пределе возможностей обслуживания, но у вас все еще есть важные URL-адреса, которые не
    сканировали или обновляли столько, сколько им нужно, наличие дополнительных ресурсов обслуживания может позволить Google
    запросить больше страниц на вашем сайте.Проверьте историю доступности вашего хоста в
    Статистика сканирования
    отчет, чтобы узнать, часто ли скорость сканирования Google пересекает границу. Если так,
    увеличьте свои ресурсы обслуживания в течение месяца и посмотрите, увеличилось ли количество запросов на сканирование во время
    тот же период.

2. Проверьте, не сканируются ли какие-либо части вашего сайта, но должно быть

Google проводит на вашем сайте столько времени, сколько необходимо, чтобы проиндексировать все высококачественные,
полезный для пользователей контент, который он может найти.Если вы думаете, что Googlebot не хватает важного
контент, либо он не знает о контенте, контент заблокирован от Google, либо ваш
доступность сайта ограничивает доступ Google (или Google пытается не перегружать ваш сайт).

Помните разницу между , сканирующим , и , индексирующим .
Эта страница помогает Google эффективно сканировать вашего сайта, а не о том,
найдено, попадает в индекс.

Диагностика:

Search Console не предоставляет историю сканирования вашего сайта, которую можно отфильтровать по URL или
путь, но вы можете проверить журналы своего сайта, чтобы узнать, просканированы ли определенные URL-адреса
Googlebot.Будь или
не проиндексированы ли просканированные URL — это другая история.

Помните, что для большинства сайтов новые страницы будут замечены минимум через несколько дней; самый
сайты не должны ожидать сканирования URL-адресов в тот же день, за исключением сайтов, чувствительных ко времени
например, новостные сайты.

Обработка:

Если вы добавляете страницы на свой сайт, и они не сканируются в разумном количестве
время, либо Google не знает о них, контент заблокирован, ваш сайт достиг своего
максимальная пропускная способность, или у вас закончился краулинговый бюджет.

  1. Сообщите Google о своих новых страницах: обновите карты сайта, чтобы они отображали новые URL-адреса.
  2. Проверьте свои правила robots.txt, чтобы убедиться, что вы случайно не блокируете страницы.
  3. Если все ваши непросканированные страницы имеют URL
    параметры, возможно, ваши страницы были исключены из-за настроек в
    Параметры URL
    орудие труда; к сожалению, нет возможности проверить наличие такого исключения, поэтому мы
    обычно не рекомендуют использовать этот инструмент.
  4. Пересмотрите свои приоритеты сканирования (иначе говоря, используйте свой бюджет сканирования с умом). Управлять
    ваш инвентарь и повысьте эффективность сканирования вашего сайта.
  5. Убедитесь, что вы не исчерпали возможности обслуживания.
    Робот Googlebot сократит сканирование, если обнаружит, что на ваших серверах возникли проблемы.
    отвечает на запросы сканирования.

Обратите внимание, что страницы могут не отображаться в результатах поиска, даже если они просканированы, если нет
достаточная ценность или пользовательский спрос на контент.

3. Проверьте, сканируются ли обновления достаточно быстро

Если на вашем сайте отсутствуют новые или обновленные страницы, возможно, это потому, что мы их не видели,
или не заметили, что они обновляются. Вот как вы можете помочь нам узнать о странице
обновления.

Обратите внимание, что Google старается проверять и индексировать страницы достаточно своевременно. Для большинства
сайтов, это три дня и более. Не ждите, что Google проиндексирует страницы в тот же день, когда вы
публиковать их, если вы не являетесь новостным сайтом или не имеете других ценных, крайне срочных
содержание.

Диагностика:

Изучите журналы своего сайта, чтобы узнать, когда определенные URL сканировались роботом Googlebot.

Чтобы узнать дату индексации, используйте инструмент проверки URL-адресов или выполните поиск в Google URL-адресов, которые
вы обновили.

Обработка:

Сделать:

  • Используйте карту сайта для новостей, если ваш сайт
    есть новостной контент. пинг
    Google, когда ваша карта сайта опубликована или изменена.
  • Используйте тег в файлах Sitemap, чтобы указать, когда проиндексированный URL
    был обновлен.
  • Используйте простую структуру URL, чтобы помочь Google найти ваши страницы.
  • Обеспечить стандартный, доступный для сканирования
    ссылок, которые помогут Google найти ваши страницы.

Избегать:

4. Повысьте эффективность сканирования вашего сайта

Увеличьте скорость загрузки страницы

Сканирование Google ограничено пропускной способностью, временем и доступностью экземпляров Googlebot.
Если ваш сервер быстрее отвечает на запросы, мы сможем сканировать больше страниц на вашем
сайт. Тем не менее, Google хочет сканировать только высококачественный контент, поэтому просто
более быстрое качество страниц не побудит робота Googlebot сканировать больше вашего сайта; наоборот, если мы
думаем, что нам не хватает качественного контента на вашем сайте, мы, вероятно, увеличим ваш
бюджет на сканирование этого контента.

Вот как вы можете оптимизировать свои страницы и ресурсы для сканирования:

Скрыть ненужные URL в результатах поиска

Потеря ресурсов сервера на ненужных страницах может снизить активность сканирования со страниц, которые
важны для вас, что может вызвать значительную задержку в открытии новых или обновленных
контент на сайте.

Блокировка или скрытие уже просканированных страниц от повторного сканирования не изменится
ваш бюджет сканирования на другую часть вашего сайта, если Google еще не попадает в
пределы обслуживания.

Отображение на вашем сайте большого количества URL-адресов, которые вы не хотите сканировать поисковой системой, может отрицательно повлиять на
сканирование и индексация сайта. Обычно эти URL-адреса попадают в следующие категории:

Do:

Избегать:

5. Не допускайте чрезмерного сканирования вашего сайта (в экстренных случаях)

Робот Googlebot имеет алгоритмы, предотвращающие перегрузку вашего сайта запросами на сканирование.Однако, если вы обнаружите, что робот Google перегружает ваш сайт, вы можете сделать следующее:
делать.

Диагностика :

Следите за своим сервером на предмет чрезмерных запросов робота Googlebot к вашему сайту.

Обработка :

В экстренной ситуации мы рекомендуем следующие шаги, чтобы замедлить массовое сканирование с
Googlebot:

  1. Вернуть 503/429 коды результатов HTTP временно для запросов робота Google, когда ваш
    сервер перегружен.Робот Google будет повторять попытки по этим URL в течение примерно 2 дней. Обратите внимание, что возвращение
    коды «недоступности» более чем на несколько дней приведут к постоянному замедлению работы Google или
    прекратите сканирование URL-адресов на своем сайте, поэтому выполните следующие дополнительные действия.
  2. Уменьшить
    Скорость сканирования вашего сайта роботом Googlebot. Это может занять до 2 дней, и для этого потребуется
    Разрешения владельца собственности Search Console. Делайте это только в том случае, если вы видите долгосрочные, повторяющиеся
    чрезмерное сканирование от Google в отчете «Статистика сканирования», в доступности хоста >
    Диаграмма использования хоста     .
  3. Когда скорость сканирования снижается, перестать возвращать 503/429 для запросов сканирования; возврат 503 за
    более 2 дней приведет к тому, что Google исключит 503 URL из индекса.
  4. Отслеживайте сканирование и пропускную способность вашего хоста с течением времени и, если необходимо, увеличивайте
    скорость сканирования снова или разрешить скорость сканирования по умолчанию.
  5. Если проблемный сканер — один из AdsBot
    сканеры, проблема скорее всего в том, что вы создали Dynamic
    Цели поисковой рекламы для вашего сайта, которые Google пытается просканировать.Это сканирование будет повторяться
    каждые 2 недели. Если у вас нет ресурсов сервера для обработки этих обходов, либо
    ограничьте свои рекламные цели или увеличьте пропускную способность.

Мифы и факты о сканировании

Проверьте свои знания о том, как Google сканирует и индексирует веб-сайты.

Сжатие файлов Sitemap может увеличить мой краулинговый бюджет.

Ложь

Не будет. Заархивированные карты сайта по-прежнему нужно получать с сервера, так что вы на самом деле не
экономия времени и усилий на сканировании со стороны Google за счет отправки сжатых карт сайта.

Google предпочитает более свежий контент, поэтому мне лучше продолжить настройку моей страницы.

Ложь

Контент оценивается по качеству независимо от возраста. Создайте и обновите свой контент как
необходимо, но нет никакой дополнительной пользы в том, чтобы искусственно отображать страницы
свежий, внося тривиальные изменения и обновляя дату страницы.

Google предпочитает старый контент (он имеет больший вес) свежему контенту.

Ложь

Если ваша страница полезна, она полезна, новая или старая.

Google предпочитает чистые URL-адреса и не любит параметры запроса.

Чем быстрее загружаются и отображаются ваши страницы, тем больше возможностей Google может сканировать.

Правда

Правда, в том, что наши ресурсы ограничены сочетанием времени и количества сканирований
боты. Если вы сможете предоставить нам больше страниц за ограниченное время, мы сможем сканировать больше
из них. Однако мы могли бы уделять больше времени сканированию сайта, который имеет более важные
информация, даже если она медленнее.Вероятно, для вас важнее
сайт быстрее для ваших пользователей, чем для увеличения охвата сканирования. Это
намного проще помочь Google сканировать нужный контент, чем сканировать весь ваш контент
каждый раз. Обратите внимание, что сканирование сайта включает в себя как получение, так и отображение
содержание. Время, потраченное на рендеринг страницы, учитывается как время, потраченное на запрос страницы.
Таким образом, ускорение рендеринга ваших страниц также увеличит скорость сканирования.

Маленькие сайты сканируются не так часто, как большие.

Ложь

Если на сайте есть важный контент, который часто меняется, мы сканируем его часто, независимо от размера.

Чем ближе ваш контент к главной странице, тем он важнее для Google.

Отчасти правда

Домашняя страница вашего сайта часто является самой важной страницей на
ваш сайт, и поэтому страницы, связанные непосредственно с главной страницей, могут считаться более важными,
а потому и ползал чаще.Однако это не означает, что эти страницы будут
имеют более высокий рейтинг, чем другие страницы вашего сайта.

Управление версиями URL — хороший способ побудить Google повторно сканировать мои страницы.

Отчасти правда

Использование версионного URL для вашей страницы, чтобы соблазнить
Google, чтобы сканировать его снова раньше, вероятно, сработает, но часто в этом нет необходимости,
и будет тратить впустую ресурсы сканирования, если страница на самом деле не изменяется.Если вы используете
версионные URL для обозначения нового содержания, мы рекомендуем вам только
измените URL-адрес, когда содержание страницы изменилось значимо.

Скорость и ошибки сайта влияют на мой краулинговый бюджет.

Правда

Ускорение сайта улучшает впечатление пользователей, а также увеличивает скорость сканирования. Для
Робот Googlebot: быстрый сайт — признак исправных серверов, поэтому он может получать больше контента
такое же количество подключений.С другой стороны, значительное количество
5xx HTTP
результирующие коды (ошибки сервера) или таймауты подключения сигнализируют об обратном, и
ползание замедляется. Рекомендуем обратить внимание на отчет «Статистика сканирования» в поиске.
Консоль и снижение количества ошибок сервера.

Сканирование — это фактор ранжирования.

Ложь

Повышение скорости сканирования не обязательно приведет к более высоким позициям в результатах поиска.Google использует множество сигналов для ранжирования результатов, и хотя сканирование необходимо для
попадание страницы в результаты поиска, это не сигнал ранжирования.

Альтернативные URL-адреса и встроенный контент учитываются в бюджете сканирования.

Правда

Как правило, любой URL, который сканирует робот Googlebot, засчитывается в бюджет сканирования сайта.
Альтернативные URL-адреса, такие как AMP или hreflang, а также встроенный контент, например CSS и
JavaScript, включая XHR
извлекает, может потребоваться сканирование и будет израсходовать бюджет сканирования сайта.

Я могу управлять роботом Googlebot с помощью директивы crawl-delay.

Ложь

Нестандартная директива crawl-delay robots.txt не обрабатывается роботом Googlebot.

Директива nofollow влияет на бюджет сканирования.

Отчасти правда

Любой просканированный URL влияет на бюджет сканирования, поэтому даже если
ваша страница помечает URL как nofollow , его все равно можно просканировать, если другая страница
на вашем сайте или на любой другой странице в Интернете ссылка не помечается как nofollow .

Как предотвратить индексирование вашего веб-сайта разработки

Во время создания нового веб-сайта или при внедрении новой разработки на существующем сайте обычно рекомендуется блокировать сканирование поисковыми системами и предотвращать индексацию вашего веб-сайта.

Очевидная проблема заключается в дублировании контента и в том, как это может негативно повлиять на SEO вашего действующего веб-сайта. Если разрабатываемая версия индексируется поисковыми системами, это может привести именно к этой проблеме.Но, что, возможно, более важно, для совершенно новых веб-сайтов весь этот новый контент и дизайн будут просачиваться в сеть, прежде чем вы будете готовы к своему большому раскрытию. Даже если ваш сайт создается на непонятном URL, который не могут найти даже программы для взлома кода Enigma Machine, Google найдет его, если вы не заблокируете индексирование.

Новая веб-разработка | Прячась на виду

Если вы работаете над своим новым веб-сайтом в среде онлайн-разработки или если у вас есть копия действующего сайта для целей подготовки / разработки, крайне важно, чтобы вы случайно не позволили Google (или любой поисковой системе для этого имеет значение) просканируйте ваш сайт разработки.

Разрешение поисковым системам сканировать как рабочую, так и разрабатываемую версию вашего сайта, может нанести вашему SEO вред, иногда значительно. Это происходит из-за ряда факторов, но не в последнюю очередь из-за разделения вашей оценки SEO между двумя сайтами и возникновения проблем с дублированным контентом.

Noindex — заблокировать всех агентов в вашем файле robots.txt

Самый простой способ помешать поисковым системам индексировать ваш сайт разработки — добавить файл robots.txt в каталог основного домена (т.е.е. родительский веб-каталог для вашего веб-сайта). Этот файл роботов должен содержать единственную директиву, указанную ниже:

User-agent: *
Disallow: /

Наиболее авторитетные поисковые системы будут уважать директивы в вашем файле robots.txt, поэтому описанного выше метода будет достаточно для блокировки сканирования и индексации во время разработки. Однако эти надоедливые боты, которые любят безумно сканировать сайты по менее чем добродетельным причинам, ничего не уважают. так что не ждите, что они снимут шляпу и пройдут мимо.

Конечно, они не совсем то, чем мы здесь занимаемся; в этом случае мы просто хотим избежать, например, Google, от индексации нашего сайта разработки. Вы можете узнать больше о robots.txt на Moz.com.

Блокировка поисковых систем в WordPress

На сайте WordPress вам не нужно беспокоиться о ручном редактировании и загрузке файла robots.txt. Вы можете просто зайти на страницу настроек -> чтение и поставить галочку в поле: «Не позволяйте поисковым системам индексировать этот сайт».

Обратите внимание, что комментарий под флажком на скриншоте выше: Поисковые системы должны выполнить этот запрос . Это то, о чем мы говорили ранее, и хотя большинство поисковых систем будут выполнять запрос, некоторые из менее благородных будут.

Вот почему вы найдете в Интернете ссылки на защиту паролем всего сайта WordPress на уровне сервера, чтобы предотвратить индексацию каких-либо элементов вообще. Однако, по нашему опыту, это, вероятно, излишне и не обязательно, но помните об этом, если вы начнете замечать изображения или фрагменты контента, попадающие в результаты поиска.

Не забудьте удалить директиву при выходе в эфир

Если в конечном итоге ваш сайт разработки будет развернут как действующий веб-сайт, не забудьте соответствующим образом отредактировать файл robots.txt и / или отменить выбор этого параметра в WordPress. В противном случае вы будете ломать голову, недоумевая, почему не происходит индексирование, и тупо уставитесь на экран консоли поиска Google, в то время как ваш веб-сайт не получит никакой поддержки в поисковой выдаче.

Как заставить Google индексировать ваш сайт (быстрее)

Чтобы ваши целевые страницы, блоги, домашние страницы и другой онлайн-контент отображались в результатах поиска Google, вам необходимо убедиться, что ваш веб-сайт индексируется.Индекс Google — это в основном база данных.

Когда люди используют поисковую систему для поиска контента, Google обращается к своему индексу, чтобы предоставить релевантный контент. Если ваша страница не проиндексирована, значит, ее нет в поисковой системе Google. Это плохие новости, если вы надеетесь привлечь на свой сайт обычный трафик с помощью обычного поиска.

В этом руководстве подробно рассказывается об индексировании и его важности. В нем также объясняется, как вы можете проверить, проиндексирована ли ваша страница, как исправить общие технические проблемы SEO, которые вызывают проблемы с индексированием, и как быстро заставить Google повторно проиндексировать ваш сайт, если он еще не проиндексирован.

Индекс Google — это просто список всех веб-страниц, о которых знает поисковая система. Если Google не проиндексирует ваш сайт, он не появится в результатах поиска Google.

Это как если бы вы написали книгу, но ее нет в книжных магазинах или библиотеках. Книгу никто никогда не найдет. Они могли даже не знать о его существовании. И если бы читатель искал эту книгу, ему было бы очень трудно ее найти.

Сайты, которые не проиндексированы, не находятся в базе данных Google.Таким образом, поисковая система не может отображать эти веб-сайты на страницах результатов поиска (SERP).

Чтобы индексировать веб-сайты, поисковые роботы Google (Googlebot) должны «сканировать» этот веб-сайт. Узнайте больше о разнице между возможностью сканирования и индексирования.

В качестве напоминания, вот краткий обзор процесса поисковой системы:

Индексирование означает, что сайт хранится в базах данных Google. Это не значит, что он будет отображаться в верхней части поисковой выдачи. Индексирование контролируется заранее определенными алгоритмами, которые учитывают такие элементы, как спрос веб-пользователей и проверки качества.Вы можете влиять на индексацию, управляя тем, как «пауки» обнаруживают ваш онлайн-контент.

Пройдите технический SEO-аудит

с помощью Semrush Site Audit

Нет никаких сомнений в том, что вы хотите, чтобы ваш сайт был проиндексирован, но как узнать, есть это или нет? К счастью, гигант поисковых систем позволяет довольно легко узнать, где вы находитесь, с помощью поиска по сайту. Вот как это проверить:

  1. Зайдите в поисковую систему Google.

  2. В строке поиска Google введите «site: example.com. »

  3. Когда вы заглянете под панель поиска, вы увидите категории результатов Google «Все», «Изображения», «Новости» и т. Д. Прямо под этим вы увидите приблизительное количество ваших страниц, проиндексированных Google. .

  4. Если отображается ноль результатов, страница не проиндексирована.

Кроме того, вы можете использовать Google Search Console, чтобы проверить, проиндексирована ли ваша страница. Создать учетную запись можно бесплатно. Вот как получить нужную информацию:

  1. Войдите в Google Search Console.

  2. Щелкните «Указатель».

  3. Щелкните «Покрытие».

  4. Вы увидите количество проиндексированных действительных страниц.

  5. Если количество действительных страниц равно нулю, Google не проиндексировал вашу страницу.

Вы также можете использовать Search Console, чтобы проверить, проиндексированы ли определенные страницы. Просто вставьте URL-адрес в инструмент проверки URL-адресов. Если страница проиндексирована, вы получите сообщение «URL находится в Google.”

Чтобы проиндексировать сайт, Google может потребоваться от нескольких дней до нескольких недель. Это может расстраивать, если вы только что открыли страницу и обнаружили, что она не проиндексирована. Как можно открыть для себя вашу новую красивую веб-страницу через Google? К счастью, есть шаги, которые можно предпринять для более эффективного индексирования. Ниже мы объясним, что вы можете сделать, чтобы ускорить процесс.

Самый простой способ проиндексировать ваш сайт — это запросить индексацию через Google Search Console.Для этого перейдите в инструмент проверки URL в Google Search Console. Вставьте URL-адрес, который вы хотите проиндексировать, в строку поиска и дождитесь, пока Google проверит URL-адрес. Если URL не проиндексирован, нажмите кнопку «Запросить индексирование».

Примечание. Google временно отключил инструмент индексирования запросов в октябре 2020 года. Однако он был только что восстановлен в Search Console!

Однако индексация Google требует времени. Как уже упоминалось, если ваш сайт новый, он не будет проиндексирован в одночасье. Кроме того, если ваш сайт не настроен должным образом для сканирования роботом Googlebot, есть вероятность, что он вообще не будет проиндексирован.

Независимо от того, являетесь ли вы владельцем сайта или интернет-маркетологом, вы хотите, чтобы ваш сайт был эффективно проиндексирован. Вот как это сделать.

Robots.txt — это файлы, которые робот Googlebot распознает как индикатор того, что он НЕ должен сканировать веб-страницу. Пауки поисковых систем от Bing и Yahoo также распознают Robots.txt. Вы могли бы использовать файлы Robots.txt, чтобы помочь сканерам определить приоритетность более важных страниц, чтобы они не перегружали ваш сайт запросами.

Хотя все это может показаться немного техническим, все сводится к обеспечению возможности сканирования вашей страницы, и вы можете получить дополнительную помощь в обнаружении этого с помощью нашего встроенного средства проверки SEO.Он обеспечивает обратную связь по оптимизации, включая технические изменения, например, блокировку сканирования страницы.

SEO-теги — еще один способ направлять пауков поисковых систем, таких как Googlebot. Есть два основных типа SEO-тегов, которые следует оптимизировать.

Внутренние ссылки помогают сканерам находить ваши веб-страницы.Страницы без ссылок известны как «страницы-сироты» и редко индексируются. Правильная архитектура сайта, изложенная в карте сайта, обеспечивает правильные внутренние ссылки.

XML-карта сайта содержит все содержимое вашего веб-сайта, что позволяет идентифицировать страницы, на которые нет ссылок. Вот еще несколько советов по использованию внутренних ссылок:

Высокое качество контента имеет решающее значение как для индексации, так и для ранжирования. Чтобы обеспечить высокую эффективность содержания вашего веб-сайта, удалите некачественные и неэффективные страницы.

Это позволяет роботу Googlebot сосредоточиться на наиболее ценных страницах вашего веб-сайта, более эффективно используя ваш «краулинговый бюджет».