Не индексирует сайт яндекс: Почему Яндекс не индексирует сайт, как проиндексировать сайт

Что такое индексация сайта в поисковых системах Google и Яндекс

Чтобы пользователи узнали о вашем сайте и, к примеру, совершили покупку или прочитали статью — он должен отображаться в поисковых системах, вроде Google и Яндекс. Для этого каждый ресурс проходит индексацию. Этот процесс отличается от ранжирования тем, что при индексации сайт просто попадает в базу данных поисковиков, а при ранжировании — встает на конкретное место.

Мы спросили мнение у экспертов в области веб-оптимизации и рассказали в статье о том, как происходит индексация сайтов и что делать, если ваши страницы не индексируются поисковиками.

Что значит индексация сайта и почему она важна

«Индексирование сайта — это процесс, в ходе которого поисковые системы получают информацию о страницах ресурса. Полученные данные хранятся в базе, которую называют поисковым индексом. Так Яндекс, Google и другие поисковики узнают, что ваш сайт существует и наполнен полезным контентом. Индексация нужна для того, чтобы юзеры могли найти ваши страницы при поиске» — так определяет индексацию Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group.

Эксперт Роман Огрин добавляет, что индексация — важный этап запуска любого проекта, на котором планируется активное SEO-продвижение или есть планы по развитию органического трафика. Исключения составляют рекламные форматы, вроде контекстной рекламы, — для них процесс индексации не является ключевым.

Для индексирования поисковик, например Яндекс или Google, отправляет на сайт роботов, они считывают код и регулярно посещают страницы ресурса. Периодичность зависит от того, как часто меняется контент, от количества страниц и объема трафика.

Как происходит индексация сайта

Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс, сравнивает индексацию с добавлением книги в библиотеку: когда определен жанр, автор и название книги, она занимает свое место в библиотеке, и читатель может ее найти. Поэтому индексацию сайта вернее рассматривать как двухэтапный процесс: сначала идет сканирование страниц, затем — их обработка. 

Сканирование страниц

Сканирование страниц — это основная задача поискового робота. Когда он попадает на новую страницу, то получает два набора данных:

• Содержание, информацию о сервере и служебные данные.
• Перечень ссылок на страницах.

Затем робот передает данные в обработку, а после — сохраняет в базе. Самый простой способ индексации страниц в рамках домена — создание карты сайта sitemap.xml. 

Чтобы Google и Яндекс увидели ваш сайт, нужно cначала добавить его в сервисы, а затем прикрепить ссылку на файл Sitemap в Google Search Console и Яндекс.Вебмастере. Это специальные сервисы для веб-мастеров, которые помогают работать с индексацией. 

Чтобы добавить файл Sitemap в Google Search Console, зайдите в сервис, добавьте свой сайт и перейдите в раздел «Сканирование». В пункте «Файлы Sitemap» выберите  «Добавить файл Sitemap» и вставьте ссылку на файл Sitemap.

В Яндекс.Вебмастере путь похож: зайдите в ваш аккаунт, выберите нужный сайт. Затем в левом меню нажмите на раздел  «Индексирование» и выберите вкладку «Файлы Sitemap». В строку «Добавить файл Sitemap» вставьте ссылку файла и нажмите «Добавить». Кстати, если вы внесли изменения в карту сайта, то просто отправьте карту на перепроверку, нажав на стрелочки рядом с файлом Sitemap.

Обработка страниц

После сбора роботами информация проходит обработку и потом попадает в базу данных. Это необходимо для ускорения дальнейшего поиска.

В начале программа формирует страницу со всем содержимым: скрипты, эффекты, стили. Важно, чтобы робот имел полный доступ ко всем файлам, потому что без них индексатор не сможет понять структуру. 

Вы можете посмотреть, одинаково ли видят страницу пользователи и поисковой робот. Для этого зайдите в Google Search Console, выберите отчет «Посмотреть как Googlebot» в разделе «Сканирование». 

Затем робот анализирует текст страницы: упрощает слова и определяет частоту упоминания ключевого слова, проверяет уникальность. Так, если ваш контент уже индексировали в интернете, то у страниц будет низкая уникальность. Значит, робот может не добавить их в поисковый индекс. Поэтому важно наполнять свой сайт уникальным и полезным контентом.

Как проверить индексацию 

Эксперты выделяют три способа, чтобы проверить, отображается ли сайт в поисковиках: запрос в поисковой системе, использование бесплатных сервисов для автоматической проверки и использование сервисов для веб-мастеров. 

Если значения проиндексированных страниц в Google и Яндекс сильно различаются, это свидетельствует о проблемах в оптимизации сайта.

Дарья Каблаш, основатель маркетингового агентства Dvizh

Поисковая строка

Роман Огрин, руководитель группы оптимизации в Kokoc Group, называет специальные операторы самым быстрым и простым способом проверки индексации. Яндекс и Google поддерживают оператор site, который помогает отображать проиндексированные страницы. Базовый синтаксис использования: site:sitename.com

Например: site:gosuslugi.ru

Но поисковые системы могут ограничить работу этих операторов для снижения нагрузки. Поэтому рекомендуют использовать дополнительные способы для проверки индексации. 

Бесплатные плагины

«Можно использовать специальные бесплатные сервисы, например, be1.ru и pr-cy.ru. Для проверки введите адрес сайта в специальную строку и нажмите «Проверить». Обычно такие сервисы, помимо количества страниц в индексе популярных поисковиков, предоставляют еще много интересных данных» — Николай Полушкин, директор веб-студии DIUS.

Веб-сервисы Яндекс.Вебмастер и Google Search Console

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, считает веб-сервисы поисковых систем самым достоверным источником информации о наличии страницы в индексе. В этих инструментах можно получить данные о количестве, динамике индексации, причинах удаления или включения страницы в базу данных, а также многое другое. Минус в том, что доступы к этой информации могут получить только владельцы сайта или те, у кого есть права владельцев. 

Эксперт Роман Огрин рассказывает, как именно посмотреть индексацию в Яндекс.Вебмастере и Google Search Console. Оба сервиса сначала надо «привязать» к исследуемому домену и только потом смотреть точную статистику.

В Яндекс.Вебмастере есть раздел «Индексирование» с подразделом «Страницы в поиске». По клику на вкладку «Все страницы» сервис выдает список проиндексированных на данный момент документов. В Search Console аналогичный инструмент — отчет «Покрытие».

Помимо простого анализа страниц в индексе, оба сервиса предоставляют много полезной статистики. Эта информация поможет сделать правильные выводы при проблемах с индексацией.

Например, посмотрите, совпадает ли количество проиндексированных страниц с количеством страниц вашего сайта. Если у вас 240 страниц, а в индексе только 100, это означает, что есть проблемы с индексацией, ведь поисковая система не знает о большей части контента.

Управление индексацией сайта

Вы можете сами задать параметры индексирования для роботов поисковых систем. Например, настройка канонического адреса необходима, если есть страницы с одинаковым содержанием. Она позволяет указать, какая из них приоритетна для индексации. 

Текстовый файл robots.txt также позволяет управлять поисковыми роботами с помощью директив.

• Директива Disallow закрывает сайт или конкретные страницы от индексации роботами.
• User-Agent указывает поисковую систему для индексации по написанной инструкции.
• Crawl-delay задает частоту обращения роботов к ресурсу. Работает для Яндекса.
• Clean-param закрывает индексирование с конкретными динамическими параметрами.
• Директива Allow разрешает роботам индексирование отдельных страниц.

Что делать, если сайт не индексируется

Есть множество причин, почему сайт не индексируется. Эксперт Сергей Шабуров условно разделяет причины на технические и контентные. Ниже рассмотрим основные из них с примерами из опыта специалистов.

Технические причины

Сайт может быть случайно закрыт от сканирования роботами или из-за ошибки разработчиков. Это можно определить, если проверить:

1. Директиву Disallow в файле robots.txt. Как мы писали выше, эта директива закрывает конкретные страницы от индексации.
2. Мета-теги в разделе <head> HTML-документа, например, <meta name=»robots» content=»noindex» />. Они определяют отношение к сканированию контента в документе.
3. HTTP-заголовок X-Robot-Tag — информация о запрете или разрешении индексации сайта в HTTP-заголовках ответа сервера.
4. Код ответа сервера. В индекс попадают только доступные страницы с кодом ответа сервера 200 Ок, а ресурсы с другими кодами ответа удаляются. Изменение кода ответа — один из способов управления индексацией.
5. Настройки сервера. Для разных IP адресов, User-agent и других параметров серверная часть ресурса может регулировать как скорость, так и саму отдачу информации о странице и ее содержимом.
6. Наличие входящих внутренних или внешних ссылок. Индекс может исключать такие страницы.
7. Низкий трафик. Это может быть следствием малополезной страницы или отсутствием семантического спроса со стороны пользователей по данному контенту.

Николай Полушкин, директор веб-студии DIUS, делится недавним случаем из практики. «Пришел сайт на бесплатный аудит. Клиент жаловался на резкую просадку трафика. SEO-специалист сразу открыл файл robots.txt и нашел строчку  Disallow. Мы сообщили об этом клиенту и объяснили, что сайт закрыт от индексации, и страницы постепенно удаляются из поиска. Заказчик был удивлен и попросил выяснить, кто и когда это сделал. Недавно компания делала редизайн и наш специалист предположил, что страницы на время работ закрыли от индексации, а потом забыли убрать запрещающую директиву».

Контентные причины

Важно помнить, что индексация занимает некоторое время. Поэтому, если страницы нет в индексе, иногда это может значить, что роботы поисковых систем не успели до нее дойти. Либо есть ошибки в контентном наполнении страниц:

1. Отсутствие индексируемого контента. Контент может быть реализован на технологии, которую поисковые системы не умеют считывать или плохо воспринимают к индексации. Так векторная графика, например Flash, не индексируется.
2. Контент без пользы или вредный для пользователей. Сюда относят: спам, малый по объему контент, устаревшая информация, которая никогда не будет востребована, наличие вирусов, фишинга.
3. Дублирующийся контент. Поисковые системы стараются не индексировать или удалять из выдачи страницы, которые содержат повторяющуюся информацию.

«У нас была такая ситуация с кулинарной онлайн-школой. В Google сайт показал хорошие результаты уже в первый месяц работы и вышел в ТОП-3 по прямым запросам. Но в Яндексе страницы вообще отсутствовали.

Чтобы узнать причину, мы зарегистрировали сайт в Яндекс.Вебмастере и отправили на проверку. Результаты показали критическую ошибку. Дело было в том, что на ресурсе дублировались страницы. Владельцы школы публиковали для разных таргетологов страницы с одинаковым контентом, но разными ссылками. Яндекс видел в этом неуникальный контент и не индексировал страницы.

Мы удалили дублирующиеся страницы, перейдя на utm-метки, и отправили сайт на переиндексацию. Через несколько дней проблема решилась, сайт стал отображаться в Яндексе» — Дарья Каблаш, основатель маркетингового агентства Dvizh.

Иные причины

Более редкие случаи неиндексации могут быть связаны, например, с фильтром  «для взрослых».

Сергей Шабуров, руководитель группы оптимизации сайтов Kokoc Group, приводит свежий пример из практики. «Сайт одного из российских операторов мобильной связи перестал ранжироваться по навигационному запросу: «<Название оператора> тарифы» в Яндексе. В выдаче присутствовали побочные сайты, а ресурс оператора отсутствовал. Это неслыханная вещь, при учете, что целевая страница и все остальные были в индексе по данным Яндекс.Вебмастера. По данному запросу сайт должен был занимать как минимум несколько строчек поисковой выдачи. Проблема выявилась при переключении настроек поиска с умеренного фильтра на фильтр без ограничений.

Это значит, что страница перешла из основного индекса в специальный “Фильтр для взрослых” или «Adult-фильтр». После обращения в службу поддержки Яндекса обнаружилось, что это ошибка на стороне поисковой системы, так как на странице не было какой-либо специфичной информации».

Также возможен редкий случай неиндексации — «плохая история» домена. В этом случае был куплен домен, на котором ранее был поисковый спам или adult-ресурс, поэтому сайт сразу может быть под фильтром.

«В нашей практике был пример сайта на домене, на котором ранее был размещен белый каталог сайтов. Ресурс индексировался нормально и потом резко пропадал из индекса поисковых систем. Помогли письма в техподдержку Яндекса и отправка страниц на принудительную переиндексацию. Но даже после этого периодически сайт продолжал полностью вылетать из индекса, за этим приходилось отдельно следить. Чтобы таких моментов не было, перед покупкой домена лучше всего проверять его историю» — Анастасия Шестова, руководитель направления поискового продвижения в ИнтерЛабс.

Заключение

Без индексации пользователи не увидят ваш сайт даже при прямом поисковом запросе. Поэтому индексация — обязательный процесс для ресурсов, которым важен органический трафик.

Во время индексации роботы сканируют и обрабатывают информацию на страницах, заносят ее в специальную базу данных — поисковый индекс. Можно легко проверить, есть ли ваши страницы в поисковой выдаче, например, в Google. Самый надежный способ — использование сервисов для веб-мастеров: Яндекс.Вебмастер и Google Search Console.

Часто сайты, которые должны быть проиндексированы, все равно не попадают в поиск. В таком случае нужно проанализировать возможные технические и контентные причины. В редких случаях работы могут убрать ресурс из выдачи из-за ошибки на стороне поисковой системы или плохой истории домена.

Почему Яндекс не индексирует картинки на сайте? — Сосновский.ру

Каждый вебмастер хочет, чтобы на его сайт приходило как можно больше людей с поисковых систем (по определенным поисковым запросам). При этом посетители могут приходить на страницы интернет-ресурса не только с так называемого текстового поиска, но и с поиска по изображениям, которые размещены в ваших статьях.

В некоторых случаях объем трафика с картинок может приближаться или даже превышать объем основного трафика (с текстовых статей и публикаций).

Именно из-за того, что картинки могут привлекать на сайт большое количество посетителей, целесообразно принимать все возможные меры по улучшению индексации графики. Ведь довольно часто происходит так, что на сайте содержится несколько сотен или тысяч качественных фотографий, которые по непонятным для вебмастера причинам попросту не индексируются. В результате сайт лишается большого числа потенциальных посетителей.

Как же избежать подобного развития событий? Ниже мы перечислим основные причины, по которым Яндекс может не индексировать картинки с вашего сайта или блога.

Почему не индексируются картинки?

1. Страница, на которой размещена графика, не находится в индексе поисковика. Иногда случается так, что не только графика, но и текст, видео, а также другой контент не индексируется так называемым зеркалом рунета. И дело тут вовсе не в графике, а в самой странице (использование запрещенных методов продвижения, некорректно заполненные мета-теги, закрытие страницы через robots.txt и т.д.). Как известно, если документы, которые содержат интересный и полезный контент, запрещены для индексации, то это существенно затрудняет продвижение сайта в яндексе.

2. Использование нестандартных форматов графики. Самые распространенные графические форматы, которые без проблем индексируются поисковиками — это JPG, PNG, GIF. Если у картинки какое-то экзотическое расширение, то вероятность попадания в индекс будет заметно ниже. Поэтому перед публикацией графики обязательно проверяйте форматы всех файлов. В случае необходимости используйте конвертацию из одного формата в другой (это можно сделать при помощи любого графического редактора).

3. Использование картинки в качестве фона. Речь может идти об основном фоне всей страницы, а также о фоне ее отдельных модулей и блоков. Является картинка фоном или нет, можно определить посредством CSS-свойства background-image. Если файл прикреплен к странице именно так, то поисковик вряд ли его проиндексирует.

4. Использование скриптов. В некоторых случаях графический файл может «прятаться» за скриптом, который, к примеру, создает из нескольких картинок красивый слайдер или каким-то интересным способом открывает картинку для показа. С точки зрения функциональности сайта и юзабилити такие приемы будут очень даже полезны, однако с точки зрения SEO возможны разного рода проблемы, к примеру, проблемы с индексацией.

5. Закрытие от индексации картинок, а также целых страниц или разделов посредством файла robots.txt. Данный файл нужен для сообщения работам поисковых систем о том, какие страницы и разделы сайта можно индексировать. Довольно часто вебмастера из-за своей невнимательности закрывают от индексации папку с контентом, определенные разделы, страницы, а потом не понимают, почему все это не попадает в индекс поисковика. Поэтому обязательно проверяйте robots.txt, следите, чтобы нужная страница или раздел не были закрыты правилом Disallow.

6. Отсутствие текстового описания. Поисковым системам довольно сложно понять, что именно изображено на картинке. Поэтому следует правильно заполнять замещающие теги графических файлов Alt и Title. Данные теги как раз и содержат в себе текстовое описание. Желательно, чтобы размер текста в том и другом теге не превышал одного предложения. Это может быть обычное краткое описание или перечисление ключевых слов, свойственных тематике, к которой относится графика (первый вариант является более предпочтительным).

7. Картинка слишком маленькая. Иногда графические файлы, вставляемые в статью, могут обладать очень маленькими размерами (длина сторон и разрешение в пикселях). В данном случае поисковики могут посчитать такое изображение поисковым спамом, особенно если в замещающих тегах прописано большое количество ключевых слов и фраз.

Это основные и самые популярные причины, по которым отечественная поисковая система «не пускает» графические элементы вашего интернет-проекта в свою индексную базу. Пройдясь по всему списку, вы сможете определить проблему и устранить ее, открыв ваши картинки для быстрой индексации.

что это, как настроить и ускорить индексирование в поисковых системах

Как только вы создадите сайт для своего бизнеса, однозначно столкнетесь с понятием «индексация в поисковых системах». В статье постараемся как можно проще рассказать, что это такое, зачем нужно и как сделать, чтобы индексация проходила быстро и успешно.

Что такое индексация в поисковых системах

Под индексацией понимают добавление информации о сайте или странице в базу данных поисковой системы. Фактически поисковую базу можно сравнить с библиотечным каталогом, куда внесены данные о книгах. Только вместо книг здесь веб-страницы.

Если совсем просто, индексация — процесс сбора данных о сайте. Пока информация о новой странице не окажется в базе, ее не будут показывать по запросам пользователей. Это означает, что ваш сайт никто не увидит.

Индексация сайта — базовая часть работы по продвижению ресурса. Только потом уже добавляются все остальные элементы по оптимизации сайта. Если у веб-страницы будут проблемы с индексированием, ваш бизнес не получит клиентов с сайта и понесет убытки.

Как проходит процесс индексации

Давайте посмотрим, как происходит индексирование страниц сайта.

1. 
   
   Поисковый робот (краулер) обходит ресурсы и находит новую страницу.
   
2. 
   
   Данные анализируются: происходит очистка контента от ненужной информации, заодно формируется список лексем. Лексема — совокупность всех значений и грамматических форм слова в русском языке.
   
3. 
   
   Вся собранная информация упорядочивается, лексемы расставляются по алфавиту. Заодно происходит обработка данных, поисковая машина относит информацию к определенным тематикам.
   
4. 
   
   Формируется индексная запись.
   

Это стандартный процесс индексации документов для поисковых систем. При этом у «Яндекса» и Google существуют небольшие отличия в технических моментах, про это мы расскажем дальше.

Читайте также:

Отличия SEO под Яндекс и Google

Технологии и алгоритмы индексации

Сразу стоит оговориться, что точные алгоритмы индексирования — закрытая коммерческая информация. Поисковые системы тщательно охраняют эти данные.

Поэтому в этом разделе расскажем про алгоритмы только в общих чертах

Вначале нужно отметить: «Яндекс» при индексации ориентируется в основном на файл robots.txt, а Google на файл sitemap.xml.

Google

Основным отличием является использование технологии Mobile-first. Она подразумевает первоочередное сканирование и индексацию мобильной версии сайта. В индексе сохраняется именно мобильная версия. Получается, что если ваша страница при показе на мобильных устройствах будет содержать недостаточно нужной информации или в целом проигрывать основной версии сайта по качеству. Так, что она может даже не попасть в индекс.

Также Google подтверждает наличие «краулингового бюджета» — регулярности и объема посещения сайта роботом. Чем больше краулинговый бюджет, тем быстрее новые страницы будут попадать в индекс. К сожалению, точных данных о способах расчета этого показателя представители компании не раскрывают. По наблюдениям специалистов, тут оказывают сильное влияние возраст сайта и частота обновлений.

«Яндекс»

В «Яндексе» основной версией считается десктопная версия сайта, поэтому в первую очередь сканируется именно она. Официально краулингового бюджета здесь нет, поэтому индексирование происходит вне зависимости от траста и других показателей вашего ресурса. Еще может влиять количество выложенных в сеть на данный момент страниц. Речь про страницы, которые конкуренты и другие пользователи выкладывают одновременно с вами.

Приоритет при индексации имеют сайты с большой посещаемостью. Чем выше посещаемость, тем быстрее новая страница окажется в поисковой выдаче.

Также Яндекс не индексирует документы с весом более 10 Мб. Учитывайте это при создании страниц сайта. Советуем также почитать кейс: Продвижение сайта REG.RU за процент от продаж.

Заказать продвижение сейчас

Как настроить индексацию сайта

В целом сайт должен индексироваться самостоятельно, даже если вы не будете ничего предпринимать для этого. Но если вы разберетесь с настройкой, то получите быструю и надежную индексацию и в случае возникновения проблем с сайтом будете понимать, в чем причина.

Первое, что стоит сделать, — создать файл robots.txt. У большей части систем управления сайтом (CMS) есть автоматизированные решения для его генерации. Но нужно как минимум понимать, какие директивы используются в этом файле. На скриншоте показан стандартный документ для сайта на WordPress:

Типовой файл robots.txt сайта на WordPress

Обратите внимание, что здесь нет директивы host: она не используется «Яндексом» с 2018 года, а Google никогда ее и не замечал. Но при этом до сих пор встречаются рекомендации по использованию этой директивы, и многие по инерции вставляют ее в файл.

В таблице ниже указаны основные параметры, используемые в robots.txt:

Рассмотрим более подробно код на следующем скриншоте. User-agent показывает, что директивы предназначены для «Яндекса». А директива Disallow показывает, какие страницы не должны попасть в индекс. Это технические документы, в частности админ-панель сайта и плагины.

Фрагмент кода robots.txt

Более подробно о том, каким должен быть robots.txt для сайта, можно прочитать в справке сервиса «Яндекс.Вебмастер».

Далее делаем файл sitemap.xml: фактически это карта сайта, созданная в формате xml. Сделано это для упрощения считывания данных поисковыми роботами. В файл вносятся все страницы, которые должны быть проиндексированы.

Для правильной индексации файл не должен превышать 50 Мб или 50000 записей. Если нужно проиндексировать больше адресов, делают несколько файлов, которые в свою очередь перечисляются в файле с индексом sitemap.

На практике сайты, работающие с бизнесом, редко имеют потребность в подобном решении — просто имейте в виду такую особенность.

На скриншоте показан фрагмент кода sitemap.xml, сгенерированный одним из плагинов WordPress:

Так выглядит файл sitemap.xml «изнутри»

Остается разобраться, как создать файл sitemap.xml. Решение зависит от CMS вашего сайта. Если он сделан не на популярном «движке», придется делать все руками. Можно воспользоваться онлайн-генератором: например, mySitemapgenerator. Вводим адрес сайта и через короткое время получаем готовый файл.

Для сайтов на CMS WordPress сделать такую карту сайта еще проще. У вас все равно уже установлен один из плагинов для SEO-оптимизации ресурса. Заходим в настройки плагина и включаем генерацию sitemap.xml. На скриншоте показан пример включения карты сайта через плагин AIOSEO:

Плагин для настройки sitemap.xml в WP

Чтобы сайт максимально быстро индексировался, следует обеспечить перелинковку. Тогда поисковый робот без проблем будет переходить по страницам и своевременно найдет новый документ.

Далее необходимо выполнить настройку индексирования в «Яндекс.Вебмастер» и Google Search Console.

Читайте также:

Подробный гайд по оптимизации сайта на WordPress

Как ускорить индексацию сайта

В начале статьи мы рассказывали, как настроить индексирование. Теперь поговорим о том, как ускорить это процесс. В целом современные поисковые роботы довольно быстро собирают информацию о ресурсе: по моим наблюдениям, новые страницы появляются в индексе уже через 20–40 минут. Но так бывает не всегда, потому что может произойти сбой или еще какая-то нештатная ситуация, и страница будет индексироваться очень долго.

Появление адреса в списке проиндексированных страниц «Яндекс.Вебмастера» не совпадает с моментом индексации. На практике URL оказывается в индексе намного раньше, а в кабинете только при очередном апдейте.

При этом есть ситуации, когда индексирование нужно ускорить:

• 
  
  Сайт выходит из-под фильтров.
  
• 
  
  Молодой ресурс обладает небольшим краулинговым бюджетом.
  

В обоих случаях рекомендуется подтолкнуть поисковых роботов. Отметим, что для «Яндекса» и Google подход будет разным.

Начнем с отечественной поисковой системы. Заходим в «Яндекс.Вебмастер» и в меню слева, во вкладке «Индексирование», находим ссылку «Переобход страниц». Переходим по ней:

Яндекс.Вебмастер — подраздел «Переобход страниц» в меню «Индексирование»

На следующей вкладке вводим URL новой страницы, после чего жмем кнопку «Отправить». Отследить статус заявки можно в расположенном ниже списке:

Процесс отправки страниц сайта на переобход

Так можно поступать не только с новыми страницами, но и в случае изменения уже имеющихся на сайте. Только помните, что количество отправок в сутки ограничено, причем все зависит от возраста и траста сайта.

В самом «Вебмастере» предлагается для ускорения индексирования подключать переобход по счетчику «Яндекс.Метрики». Это не самое лучшее решение. Дело в том, что поисковый робот может ходить по всем страницам — даже тем, которые не нужно индексировать, причем в приоритете будут наиболее посещаемые документы. Может получиться ситуация, когда старые страницы робот обошел, а новые не заметил. Или вообще в поиск попадут технические страницы: например, страница авторизации или корзина интернет-магазина.

У Google ускорение индексации состоит из двух этапов. Сначала идем в Search Console, где на главной странице вверху находится поле «Проверка всех URL». В него вставляем адрес страницы, которую нужно проиндексировать. Далее нажимаем на клавиатуре «Enter».

Поле для ввода URL страницы, которую мы хотим добавить для индексирования

Ждем около минуты. Сервис нам будет показывать вот такое окно:

Всплывающее окно в Search Console о получении данных из индекса

Следующая страница выглядит вот так:

Как видите написано, что URL отсутствует в индексе, поэтому нажимаем на кнопку «Запросить индексирование»

Некоторое время поисковая машина будет проверять, есть ли возможность проиндексировать адрес:

Техническое окно с сообщением о проверке

Если все прошло успешно, Google сообщает, что страница отправлена на индексирование. Остается только дождаться результатов.

Сообщение об отправке запроса. Обратите внимание, что не стоит повторно отправлять на индексацию один и тот же URL

При отправке на индексирование страниц сайта, следует помнить, что Google до сих пор очень ценит ссылки. Поэтому, существует альтернативный способ ускорения индексации — Twitter.

Сразу после публикации страницы идем в Twitter и делаем твит с нужным адресом. Буквально через полчаса URL будет уже в индексе Google.

Лучше всего использовать эти обе способа совместно. Так будет надежнее.

Читайте также:

Внешняя оптимизация сайта: как продвигать сайт с помощью сторонних ресурсов

Как запретить индексацию страниц

В некоторых случаях может потребоваться не проиндексировать, а наоборот запретить индексацию. К примеру, вы только создаете страницу и на ней нет нужной информации, или вообще сайт в разработке и все страницы — тестовые и недоработанные.

Существует несколько способов, чтобы «спрятать» страницу от поисковых роботов. Рассмотрим наиболее удобные варианты.

Способ первый

Если вам нужно скрыть всего один документ, можно добавить в код страницы метатег Noindex. Эта команда дает поисковому роботу команду не индексировать документ. Размещают его между тегами <head>. Вот код, который нужно разместить:

<meta name=»robots» content=»noindex» />

Большая часть CMS позволяют использовать этот метод в один клик, предлагая готовые решения. У WordPress, например, для этого имеется отдельная строчка в настройках редактора, а в «1С-Битрикс» путем настроек раздела и конкретной страницы.

Способ второй

Заключается в редактировании файла robots.txt. Разберем несколько примеров закрытия страниц от индексирования.

Начнем с полного закрытия сайта от индексирования. На скриншоте код, который выполняет эту задачу: звездочка говорит, что правило работает для всех поисковых роботов. Косая черта (слеш) показывает, что директива Disallow относится ко всему сайту.

Полное закрытие сайта от индексирования

Если нам нужно закрыть ресурс от индексирования в конкретной поисковой системе, указываем название ее краулера. На скриншоте показано закрытие от робота «Яндекса».

Закрываем сайт от индексации «Яндексом»

Когда нужно избежать индексирования конкретной страницы, после слеша указываем параметры пути к документу. Пример показан на скриншоте:

Закрытие одной страницы в Robots.txt

Для Google все перечисленные способы работают аналогично. С разницей лишь в том, что если страницу или целый сайт нужно скрыть конкретно от этой поисковой системы, в User-agent указывают атрибут Googlebot.

Закрытие страниц от индексации используется довольно часто. В процессе развития своего веб-ресурса вам часто придется делать новые страницы, или переделывать имеющиеся. Чтобы избежать попадания в поисковую выдачу не готовых к показу страниц, имеет смысл закрывать их от индексации.

Присоединяйтесь к нашему Telegram-каналу!

• Теперь Вы можете читать последние новости из мира интернет-маркетинга в мессенджере Telegram на своём мобильном телефоне.
• Для этого вам необходимо подписаться на наш канал.

Распространенные ошибки индексации

Чаще всего проблемы возникают из-за случайного закрытия сайта от индексирования. У меня был случай, когда клиент при самостоятельном обновлении плагинов как-то внес изменения в файл robots.txt, и сайт исчез из поисковой выдачи. Поэтому при всех действиях, которые связаны с этим файлом, обязательно проверяйте, нет ли изменений в директивах.

Для проверки можно использовать инструмент Яндекс.Вебмастер «Анализ robots.txt».

Анализатор robots.txt — бесплатный и полезный инструмент проверки файла на корректность записанных директив

В некоторых случаях могут индексироваться технические страницы. К примеру, на WordPress при размещении изображений в виде медиафайла поисковый робот может индексировать каждую картинку в качестве отдельной страницы. В таком случае делаем редирект с этой страницы на тот документ, где изображение будет выводиться.

Читайте также:

Как сделать редирект — подробное руководство по настройке и использованию

Иногда встречаются проблемы с индексированием из-за неполадок на сервере или хостинге, но это уже нужно решать с администратором сервера, что выходит за рамки этой статьи.

Медленное индексирование может быть следствием наложения фильтров со стороны поисковых систем. Посмотрите, нет ли предупреждений в сервисах для вебмастеров: если они есть, устраните проблемы.

Как проверить индексацию сайта

Проверить индексацию сайта можно несколькими способами. Самым простой — в поисковой строке браузера набрать адрес сайта с оператором «site» или «url». Выглядит это вот так: «site: kokoc.com». На скриншоте показан запрос с проиндексированной страницей.

Проверка индексирования в поисковой системе

Если страница еще не вошла в индекс, вы увидите вот такую картину. Проверка в Google производится аналогично.

Страница не проиндексирована

Также можно посмотреть статус документа в «Яндекс.Вебмастер». Для этого находим в меню «Индексирование» и переходим на «Страницы в поиске».

Меню «Яндекс.Вебмастер»

Внизу страницы будут три вкладки. Нас интересуют «Все страницы», там можно увидеть статус документа, последнее посещение и заголовок.

Проиндексированные страницы

Обязательно посмотрите вкладку «Исключенные страницы». Тут вы увидите, какие документы оказались вне поискового индекса. Также указана причина исключения.

Исключенные страницы

При любых сложностях с индексированием в первую очередь следует смотреть конфигурационные файлы robots.txt и sitemap.xml. Если там все в порядке, проверяем, нет ли фильтров, и в последнюю очередь обращаемся к администратору хостинга.

Выводы

Индексация страниц сайта сейчас происходит в самые короткие сроки. При правильной настройке документы могут попадать в индекс поиска уже через полчаса после размещения.

Настройка сводится к созданию правильных конфигурационных файлов и созданию удобных условий для поискового робота для перехода по страницам сайта. Вот какие шаги нужно сделать для правильной индексации:

1. 
   
   Создаем и настраиваем файл robots.txt.
   
2. 
   
   Генерируем файл sitemap.xml.
   
3. 
   
   Регистрируем сайт в сервисах Google Search Console и «Яндекс.Вебмастер».
   
4. 
   
   Каждый раз после размещения статьи или новой страницы отправляем URL на проверку.
   
5. 
   
   Используем дополнительные инструменты: размещение ссылок в Twitter и на других трастовых ресурсах.
   

После этого вероятность возникновения каких-либо проблем с индексированием будет стремиться к нулю. Теперь нужно наращивать позиции в топе — но это уже совсем другая история…

Продвижение сайта в ТОП-10

• Оплата по дням нахождения в ТОП
• Подбираем запросы, которые приводят реальных покупателей!

Как самостоятельно добавить сайт в Яндекс Вебмастер

Добавление сайта в Яндекс.Вебмастер дает много новых возможностей: информация об ошибках, угрозах безопасности, индексации, привязка к региону, удаление страниц из индекса и другое. Рассказываем как зарегистрироваться в Яндекс.Вебмастере и настроить базовые функции сервиса для нового сайта.

Зачем надо добавлять сайт в Яндекс.Вебмастер

Добавление сайта в Яндекс.Вебмастер позволит:

1. Получать о нем дополнительную информацию — возникшие ошибки, угрозы безопасности, часть поисковых запросов, индексирование сайта, внутренние и внешние ссылки и др.
2. Сообщить поисковой системе информацию о файлах robots.txt, sitemap.xml, которые отвечают за корректность индексации сайта.
3. Провести анализ данных файлов.
4. Привязать сайт к региону продвижения.
5. Сообщить Яндексу о первоисточнике текстов на сайте (защита от воровства контента).
6. Проверить коды ответов сервера при обращении к страницам сайта.
7. Удалить страницу из индекса или отправить ее на повторный переобход поисковым роботом.

Как зарегистрировать сайт в Яндекс.Вебмастер

Чтобы добавить сайт в панель Яндекс.Вебмастер, надо перейти по ссылке https://webmaster.yandex.ru/sites/add/ и указать адрес нужного сайта.

После этого необходимо выбрать один из трех возможных вариантов подтверждения прав:

1. C помощью мета-тега — необходимо разместить указанный код в шаблоне главной страницы.
2. C помощью html-файла — необходимо скачать и разместить его в корневом каталоге сайта.
3. C помощью DNS-записи — необходимо в настройках сервера добавить указанную TXT-запись.

Как только выполнено одно из трех действий, необходимо нажать на «Проверить».

Если вы сделали все правильно, то у вас появится страница с информацией о сайте:

Настройка нового сайта в Яндекс.Вебмастер

После регистрации необходимо провести ряд базовых настроек:

1. Передать информацию о файле sitemap.xml в разделе «Индексирование» — «Файлы Sitemap».
2. Добавить слежение за важными целевыми страницами в разделе «Индексирование» — «Важные страницы».
3. Для нового сайта — отправить на индексацию страницы (есть ограничение в 20 штук в день). Раздел «Индексирование» — «Переобход страниц».
4. Проверить информацию в разделе «Информация о сайте» — «Региональность». Указать основной регион сайта в источнике данных «Вебмастер».
5. Проверить наличие важных ошибок и предупреждений в разделе «Диагностика».
6. Если сайт уже индексируется — проверка отчета «Статистика индексирования». Проанализируйте, какие страницы Яндекс не индексирует, найдите причины и закономерности.

Роскомнадзор попросил «Яндекс» объяснить инцидент с Google Docs

Роскомнадзор направил официальный запрос в «Яндекс» по поводу инцидента с индексацией документов Google Docs, рассказал «Ведомостям» представитель ведомства. Деталей он не раскрыл.

Представитель «Яндекса» отказался от комментариев.

В ночь на четверг, 5 июля, поисковик «Яндекс» начал индексировать в поиске документы Google Docs, обратили внимание несколько Telegram-каналов и убедились корреспонденты «Ведомостей». Действительно, если указать «Яндексу» область поиска docs.google.com, а затем заполнить строку поиска, то «Яндекс» выдавал искомые документы – например, в текстовом формате или формате электронной таблицы. Среди найденного были документы с информацией, похожей на персональные данные (включая имена, фамилии, номера телефонов и электронной почты), убедился корреспондент «Ведомостей». «Яндекс» выдавал результаты и по запросу «пароли».

Но функция поиска по документам Google Docs все же осталась – уже с помощью самого Google. Указав в строке поиска с помощью специальной команды все те же документы Google Docs, можно было найти искомое — например, Google снова выдавал результаты по запросу «пароли».

В четверг Google в своем блоге объяснил, что поисковые системы могут индексировать только те документы, которые намеренно были сделаны их владельцами публичными, или же если кто-то публикует ссылку на документ, владелец которого сделал его доступным для поиска и просмотра всем в интернете. Компания напомнила, что пользователь всегда может изменить настройки доступа к файлам.

«Яндекс» индексирует лишь открытую часть интернета – те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля, пояснил «Ведомостям» представитель компании Илья Грабовский. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, «Яндекс» не индексирует, даже если они находятся в открытой части интернета. По словам Грабовского, в среду вечером пользователи пожаловались в службу поддержки на доступность файлов doc.google.com и сейчас служба безопасности «Яндекса» связывается с коллегами из Google, «чтобы обратить их внимание на то, что в этих файлах может оказаться приватная информация». Какое количество поисковых запросов по Google Docs выполнили пользователи, Грабовский не раскрыл. Он также не прокомментировал то, отключал ли «Яндекс» индексирование Google Docs.

Индексация страниц сайта в Яндексе и Google — Примеры

Пока поисковая система не проиндексирует страницу сайта [что такое индексация], та не будет участвовать в её результатах выдачи. Узнать о сайте поисковик может двумя способами:

1. от вебмастера. Для чего URL-адрес веб-документа [что такое URL] нужно добавить в аддурилку Яндекса или Google (от английского add url).
2. перейдя на страницы сайта по ссылке с других проиндексированных веб-документов.

На данном блоге я столкнулась с такой ситуацией, что без проблем Яндекс проиндексировал только Главную страницу, а вот внутренние не участвовали в поиске. У Google похожего невнимания не наблюдалось. Там практически молниеносно можно было заметить свою статью в выдаче.

Почему не индексируется сайт в Яндексе

1. Google заносит в свою базу данных все страницы сайта: качественные и некачественные без разбора. Но участвуют в ранжировании [что такое ранжирование] только полезные веб-документы [не путать оригинальное содержание с уникальным]. Яндекс же сразу не включает веб-хлам. Можно заставить его проиндексировать любую страницу, но со временем поисковик удалит мусор. У обоих систем есть дополнительный индекс. У обоих систем низкокачественные страницы влияют на рейтинг сайта в целом. По последнему пункту есть как официальное заявление [см. блог Google], так и простая логика. Любимые сайты конкретного человека будут на более высоких позициях в его выдаче. Зато этот же человек с трудом найдёт сайт, который не смог его заинтересовать в прошлый раз. Поэтому вначале нужно закрыть от индексации дубликаты веб-документов [как это сделать], проверить есть ли страницы с отсутствующем содержанием и не пускать в выдачу никудышный контент.
2. «Проверить URL» в Вебмастере.Яндекса напомнит, что документ закрыт для индексации или что сервер выдаёт 301 редирект или 404 ошибку.
3. Если был приобретён поддержанный домен, на который наложены санкции, то нужно написать в службу поддержки что-то типа

   Здравствуйте.
   
   01.01.2000 года был приобретён домен сайт.ru.
   20.01.2000 года сайт был добавлен в Вебмастер и аддурилку. По прошествии трёх недель он не был проиндексирован.
   
   Подскажите, пожалуйста, может ли домен быть причиной плохой индексации?

Как ускорить индексацию в Яндексе

1. Подтвердить права на управление сайтом в Яндекс.Вебмастере.
2. Опубликовать ссылку на статью в twitter. С 2012 года у Яндекса с ним подписан договор.
3. Установить на компьютер Яндекс.Браузер и «походить» по страницам сайта с его помощью.
4. Добавить поиск для сайта от Yandex. Там в графе «Индексирование» можно указать свои URL-адреса вручную точно также как в аддурилке. [не актуально]
5. Установить код Яндекс.Метрики без указания галочки «Запрет отправки страниц на индексацию».
6. Создать файл Sitemap. Тогда по приходу на сайт робот в первую очередь будет проверять его. Этот файл существует только для него и не виден аудитории. Состоит он из списка URL-адресов страниц. Только что созданные или с обновлённым содержимым находятся сверху. Адрес Sitemap прописывается в robots.txt или в соответствующую форму в Вебмастере-«Настройка индексирования»-«Файлы Sitemap».

Дополнительные действия, когда Яндекс проиндексировал только 1 страницу

1. Насколько часто обновляется страница, настолько часто поисковый робот будет её переиндексировать. В основном содержание периодически меняется на странице «карта сайта» и Главная. Чем чаще публиковать новые статьи, тем чаще будут обновляться вышеназванные страницы и по ссылкам внутри них индексироваться новый материал.
2. Если на всех страницах сделать сквозной блок с последними написанными публикациями, то поисковый робот может перейти на новую запись с любой посещённой им страницы сайта. А это будет быстрее. Ссылки в сквозном блоке не должны быть реализованы скриптом, по ним не нужно запрещать переход с помощью rel=»nofollow».
3. Сайты, имеющие RSS ленту, могут зарегистрироваться в каталоге Яндекс.блоги, а уже оттуда данные будут переданы основному роботу.
4. Оставить ссылки на свои статьи на часто обновляемых ресурсах: «Живой Журнал», ВКонтакте», «Facebook» и др.

Обновление базы данных — апдейт (ап) выдачи — происходит в среднем раз в неделю. Если все вышеуказанные действия не помогли, чего у меня ни разу не было, то следует написать в службу поддержки письмо, где рассказать что было сделано, немного о сайте, о том, что он регулярно наполняется, что людям он интересен, дать пару ссылок на самые лучшие статьи в качестве примера. Если ресурс имеет низкую посещаемость по причине узкотематичности, нужно проговорить это. Например, сказать, что проект не планирует большую посещаемость, так как создан для общества лепидоптерологов, которые изучают бабочек семейства чешуекрылых. Если сайт коммерческий, то сообщите, что за ним стоит реальная организация.

Что нужно сделать пока веб-страница не проиндексирована Яндексом

1. Чтобы отечественный поисковик считал сайт первоисточником, ещё до публикации статьи нужно обязательно её содержание добавить в форму «Оригинальных текстов». Иначе плагиаторы могут скопировать запись к себе на ресурс и именно они, если первыми попадут в базу данных, будут признаны авторами.

Индексация Google

Вот и всё, что нужно сделать для быстрой индексации Яндексом. Для Google подойдут те же рекомендации, только сервисы будут другими:

1. Google Инструменты для веб-мастеров — «Сканирование» — «Посмотреть как Googlebot» — кнопка «Сканировать» — кнопка «Добавить в индекс»
2. Google+ (вместо twitter)
3. Google Chrome
4. Поиск внутри сайта от Гугла
5. Google Analytics (вместо Яндекс.Метрики)

Полезные ссылки

1. Основные принципы индексирования

Почему Яндекс не индексирует сайт – возможные причины и решения

23 июля 2014
в рубрике: Рекомендации по продвижению

Одна из самых распространенных проблем, с которой сталкиваются веб-мастера и владельцы сайтов, это ситуация, когда поисковая система Яндекс не индексирует сайт или часть его страниц. Причин этому может быть достаточно много, но мы все же постараемся рассмотреть наиболее частые из них — и порой не всегда очевидные…

Почему сайт не индексируется Яндексом?

Сперва мы рассмотрим причины, связанные с техническими проблемами сайта, которые легко решить, ведь они возникают чаще всего из-за незнания их владельцев. Обязательно проверьте каждый из пунктов — скорее всего поиск причины в вашем случае закончится именно на одном из них.

1. Страницы или весь сайт запрещены к индексации в Яндексе. Убедитесь, что в файле robots.txt в корневой папке сайта на сервере нет директив Disallow: / или с указанием конкретных разделов сайта, которые вы хотели бы, чтобы были проиндексированы. Иногда страницы могут быть запрещены прямо из исходного кода с помощью метатега <meta name=»robots» content=»noindex, nofollow»>. Эти директивы прямо указывают поисковому роботу, что содержание сайта или раздела индексировать не нужно.
2. Очень долго загружаются страницы сайта. Как и прочие поисковики Яндекс плохо индексирует страницы сайта, которые загружаются чересчур медленно. Проверить, как быстро загружается та или иная страница, можно через Яндекс Метрику. Если время загрузки очень большое, его необходимо оптимизировать, или поисковый робот не сможет скачать страницу, и она не будет проиндексирована.
3. На страницах сайта нет текстового контента. Встречается преимущественно в интернет-магазинах. Яндекс может не индексировать огромные кластеры товарных страниц — их количество часто достигает 80% от общего числа. Причина в том, что владельцы этих магазинов не уделяют внимания составлению описаний товаров. Чтобы повысить процент индексации интернет-магазина в этом случае, необходимо выкладывать уникальные описания для товаров и желательно использовать собственные фотографии.
4. Редкие обновления на сайте. Суть проблемы очень проста — поисковые роботы чаще посещают сайты, на которых часто появляется новая информация и страницы. Это очень важно для крупных web-ресурсов, ведь за 1 заход робот скачивает только определенное количество страниц. Чем чаще будет добавляться на сайт новый материал, тем чаще на него будет приходить поисковый робот, и тем быстрее он проиндексирует весь объем страниц.
5. Неграмотная навигационная структура сайта. Особенно критична эта проблема для крупных сайтов и порталов с большим количеством страниц глубокой вложенности. Если на эти страницы не будут вести ссылки в рамках основной или контекстной навигации, робот просто их не найдет и не скачает. Проверьте, чтобы на все страницы сайта вела как минимум одна внутренняя ссылка.

Как влияют нарушения рекомендаций поисковиков на скорость и полноту индексации сайта?

Яндекс не индексирует страницы сайта и не ранжирует их высоко, если web-ресурс противоречит его представлению о качественном сайте. Чаще всего эти противоречия выражаются либо в использовании владельцем web-ресурса обманных техник оптимизации, либо в бесполезности сайта как такового, либо в попытках владельца сайта манипулировать выдачей поисковика, чтобы заполучить более высокие позиции по поисковым фразам.

6. Нет уникального контента на сайте. Яндекс может не индексировать сайты с ворованным или переписанным контентом, в частности текстами. Если таких страниц у вас подавляющее большинство, то вероятность исключения сайта из индекса очень высокая. Выход из ситуации очевиден — пишите уникальные тексты, ведь если вы не предлагаете ничего нового, то чем ваш сайт полезен пользователям, и почему он должен нормально индексироваться?
7. Страницы содержат редиректы. Тут все просто — если единственная функция сайта — перенаправление (добровольное или принудительное) пользователя после попадания на страницу на другие web-ресурсы, то такой сайт не имеет ценности, и индексироваться будут те страницы, куда в итоге попадает пользователь. Эта технология часто используется дорвейщиками, поэтому за такие нарушения Яндекс в целях профилактики банит без какого-либо дополнительного анализа.
8. Сайт является агрегатором контента. При этом он не предлагает пользователю собственной информации или востребованного сервиса. Как правило, такие сайты не индексируются Яндексом, так как их наиболее распространенная цель — заработок на контекстной рекламе. Чтобы решить данную проблему, необходимо придумать какой-то полезный для посетителя сервис, а к синдицируемым текстам добавлять свою точку зрения или позволить пользователям обмениваться мнениями по данному вопросу.
9. Сайт создан для заработка на партнерской программе. При это на нем не предлагается своего полезного сервиса. Эта ситуация похожа на предыдущую. Чтобы Яндекс хорошо индексировал и ранжировал такой проект, вам следует создать сервис, который будет полезен посетителю. Например, если вы участвуете в партнерке по кредитам, то заявка на рассмотрение кредита должна формироваться и  отправляться с вашего web-ресурса, а не при переходе по ссылке на источник.
10. Страницы сайта содержат слабовидимый текст или ссылки. Чаще всего так делают веб-мастера, пытающиеся спрятать в таких блоках переоптимизированные тексты и спамные ссылки от пользователей. Поэтому Яндекс не индексирует такие страницы на сайте, и даже если вы сделали это неумышленно, то риск попасть под фильтр все равно есть. Все информационные фрагменты страницы должны быть визуально различимы и читабельны.
11. Накрутка поведенческих факторов. Последние изменения алгоритма ранжирования в Яндексе сделали данную обманную технику очень популярным способом продвижения. Однако, проведя соответствующие исследования, мы можем сказать, что накрутить поведенческий фактор так, чтобы этого никто не заметил, очень сложно. А в случае успеха результаты не оправдывают те риски, под которые вы подводите ваш web-ресурс.
12. Страницы содержат списки поисковых запросов. К данному нарушению относятся как явные перечисления поисковых фраз, которые обычно пытаются спрятать с помощью скроллинга текста, так и переспам ключевых слов в тексте с целью накрутки релевантности страницы этим словам. Такие страницы могут быть непроиндексированы, а сайт в целом попадет под фильтр Яндекса. Создавайте страницы и тексты для людей, а не для поисковых систем.
13. Аффилированные сайты. Яндекс старается не индексировать сайты, которые предлагают одни и те же услуги на одних и тех же условиях, если эти сайты принадлежат одной компании. Это логично, иначе имели бы место попытки монополизации поисковой выдачи одной компании. Чтобы избежать подобных проблем, используйте на сайтах разные контакты и не размещайте их в пределах одного хостинга. А еще лучше — развивайте один главный сайт, но делайте это качественно.
14. Большое количество ссылочного спама. Сайты, участвующие в схемах по обмену ссылками или созданные с целью заработка на продаже ссылок — это враги Яндекса номер один, ведь они мешают ему увеличивать продажи контекстной рекламы. Такие сайты не будут индексироваться в Яндексе просто из коммерческих соображений — рано или поздно все они попадают под фильтр. Избежать этой проблемы можно только делая качественные web-ресурсы и не злоупотребляя продажей ссылок.
15. Страницы с результатами поиска. Такие страницы сайта не индексируются, потому что предлагают один и тот же контент, но в разных комбинациях и являются по сути дублями. Если на них нет уникального контента, то решить эту проблему вам не удастся. Оно и не нужно — результаты поиска следует как раз-таки закрывать от индексирования.

Я все проверил, но сайт по-прежнему не индексируется. Что мне делать?

Еще одной причиной, почему не индексируется сайт в Яндексе, может быть медленная работа самого поискового робота. Такое чаще всего случается летом, в период отпусков, а также с молодыми сайтами, которые еще не имеют приоритетной индексации. И в том и другом случае необходимо предпринять действия, которые помогут ускорить индексацию сайта:

Надеемся, что наша статья дала вам ответ на ваш вопрос, и вы нашли причину, почему не индексируются страницы сайта. В некоторых случаях проблема может находиться на более глубоком уровне и не всегда сразу очевидна неспециалисту. Если это относится к вам, вы можете написать нам на электронную почту, и мы постараемся вам помочь.

Понравилась статья? Поделитесь ею с друзьями, возможно им она пригодится!

Оцените статью:

Unamo | Seo Tips

Что такое Яндекс?

Яндекс — это российская поисковая система, которая была запущена в 1997 году с целью обработки поисковых запросов на русском языке. С 2009 года он использует MatrixNet, запатентованный алгоритм машинного обучения, который узнает, чего хотят люди, и уточняет результаты поиска на основе собранных данных.

Это также веб-портал, на котором действует как крупнейшая медиа-собственность в России, предлагающая широкий спектр онлайн-приложений для использования:

• Изображения
• Видео
• Почта
• Карты
• AppMetrica
• Перевести
• Браузер

Эта интеграция дает пользователям доступ ко всему на главной странице — в один клик.

Зачем оптимизировать под Яндекс при ориентации на поисковый рынок в России?

Крупнейшая рыночная доля в России

Яндекс — ведущая поисковая система, используемая в России , занимая в 2015 году долю рынка в 58% в стране, в то время как Google — только 34%. Поисковая система также широко представлена ​​в Украине, Беларуси, Казахстане и Турции.

Фокус на языке

Яндекс создан специально для российского рынка и лучше понимает сложности русского языка и синтаксиса.Хотя Google является ведущей поисковой системой в мире, способной отображать релевантные результаты поиска, способность Яндекса фильтровать результаты по типам запросов, а также предоставлять более качественные локальные результаты делает ее лучшим вариантом для России.

Mobile Outreach

В 2015 году 37,2% россиян выходили в Интернет со своих смартфонов, а — с планшетов — 19,2%. Благодаря активному развитию веб-сайтов, оптимизированных для мобильных устройств, с помощью алгоритма «Владивосток» Яндекса, оптимизация вашего веб-сайта для мобильных устройств в Яндексе обеспечит гораздо больший охват.

Как вы оптимизируете для Яндекса?

Прежде чем обсуждать методы оптимизации, вот рекомендации Яндекса по созданию качественного веб-сайта:

Форумы и рекламные щиты с большим количеством немодерируемого спама также могут быть исключены из результатов поиска.

Для начала работы с оптимизацией Яндекса:

• Настройте роботов.txt файл правильно
  • Известно, что боты Яндекса медленнее сканируют новый контент по сравнению с Google — причиной тому разные методы индексации страниц. Яндекс собирает новые страницы в одну базу данных и только после фильтрации помещает их в результаты поиска пользователей. В среднем обновление Яндекса занимает около 7 дней, в то время как Google постоянно индексирует новые страницы и одновременно отправляет их в результаты поиска. Однако Яндекс соблюдает правила, установленные в роботах.txt, поэтому создание карты сайта поможет Яндексу быстрее проиндексировать ваш контент.
• Сделайте структуру URL-адресов удобной для пользователей
• Структура URL-адресов в Яндексе очень похожа на Google:
  • URL каждой страницы должен быть уникальным
  • Предпочтительны статические URL-адреса
  • Выберите важные ключевые слова для URL-адреса
  • В лучшем случае воздержитесь от длинных URL-адресов из-за индексации

• Хотя Яндекс понимает поисковые запросы как в кириллице, так и в транслитерированных (русские запросы, написанные латинскими буквами) URL-адреса достаточно хорошо, чтобы обеспечить аналогичные результаты поиска, использование кириллических URL-адресов может быть более удобным для вашей целевой аудитории — в зависимости от используемых терминов .

• С другой стороны, некоторые системы управления контентом (CMS), как известно, имеют проблемы с кириллическими символами в URL-адресах страниц, поэтому имейте это в виду, решая, какие использовать для вашей структуры URL-адресов.

• Оптимизируйте элементы на странице
• SEO на странице Яндекс очень похож на Google, с акцентом на:
  • Релевантность : Убедитесь, что релевантные ключевые слова используются в:
    • Тег заголовка
    • Мета-тег описания
    • Мета-ключевые слова
    • ALT теги для изображений
  • Содержимое:
    • Ваш веб-контент должен быть уникальным и качественным.Необходимо использовать хорошую грамматику, так как Яндекс очень хорошо понимает русский язык. Как и Google, свежий релевантный контент, выпускаемый на регулярной основе, будет иметь приоритет в поисковой выдаче.
  • Внутренняя ссылка:
    • Создавайте внутренние ссылки с оптимизированными якорными текстами в вашем контенте, чтобы сделать его доступнее и улучшить поисковый рейтинг.
  • Качество сайта:
    • Убедитесь, что нет битых ссылок, что все ваши страницы работают и статусы HTTP настроены правильно.Это не только помогает Яндексу идентифицировать ваш сайт как качественный, но и обеспечивает удобство использования для ваших посетителей.
  • Построение качественного профиля обратных ссылок
    • С сентября 2015 года Яндекс ввел штрафы для сайтов, которые платят за обратные ссылки через черные SEO-агентства. Как и Google, Яндекс делает упор на построение обратных ссылок с использованием белых методов SEO, поскольку качественный ссылочный вес жизненно важен для успешной работы в выдаче Яндекса.
  • Наличие подходящего размера шрифта для мобильных веб-страниц
    • Размер шрифта мобильной страницы должен быть не менее 12 пикселей, так как Яндекс считает этот размер удобным для мобильных устройств и повысит рейтинг вашей страницы в результатах мобильного поиска. Если читаемость вашего контента на мобильных устройствах не оптимизирована должным образом, это отрицательно скажется на рейтинге в мобильной поисковой выдаче.

Теперь, когда вы понимаете, что такое Яндекс и для чего оптимизировать, начните предлагать свои стратегии SEO, чтобы Яндекс стал лучше узнаваемым в России. Охватите свою российскую целевую аудиторию с помощью Яндекс.

Проблемы индексирующего робота Yandex.ruMSI :: State of Security

Сканер yandex.ru — это приложение для индексирования, которое размещает «пауки» и помещает результаты в поисковую систему yandex.ru. Подобно Google, Bing и другим поисковым системам, система постоянно ищет новое содержание в сети и добавляет это содержание в базу данных поисковой системы. Обычно эти виды деятельности не вызывают особых проблем у тех, чьи сайты индексируются, и, по сути, с годами система этикета основана на правилах, установленных в роботах.txt на веб-сайте.

Файлы

Robots.txt содержат набор правил поведения поисковых систем. Они указывают, какие области сайта может индексировать поисковый робот, а какие разделы сайта следует избегать. Обычно это используется для защиты излишне динамических областей сайта, где поисковый робот может столкнуться с различными проблемами или входными данными, которые могут иметь проблемы с пропускной способностью или приложением для поискового робота, веб-хоста или обоих.

К сожалению, многие поисковые роботы и индексные роботы не соблюдают правила роботов.текст. И злоумышленники, индексирующие ваш сайт по разным причинам, тоже. Учитывая влияние, которое некоторые из этих инструментов индексирования могут оказать на пропускную способность, использование ЦП или подключение к базе данных, иногда ищут другие варианты их блокировки. В частности, много претензий к yandex.ru и его агрессивному парсингу, взаимодействию с приложениями и методам глубокой проверки сайта. Они явно были идентифицированы как поисковая машина, которая, похоже, не уважает систему чести роботов.текст. Поиск в Google по запросу «yandex.ru игнорирует robots.txt» покажет вам множество жалоб.

В ходе мониторинга трафика HITME мы наблюдали множество глубоких сканирований yandex.ru с различных диапазонов IP-адресов. В большинстве случаев они либо вообще не запрашивали файл robots.txt, либо просто игнорировали его содержимое. Фактически, некоторые из наших веб-приложений HITME столкнулись с теми же проблемами высокой стоимости трафика, на которые жаловались другие части веб-сообщества.В некоторых случаях стоимость поддержки сканирования yandex.ru составляет около 30 +% от общего веб-трафика, наблюдаемого конечной точкой HITME. С нашей точки зрения, постоянно анализировать их трафик оповещений на основе наших показателей — это боль в кармане и в нашем внимании.

Появились способы более жесткой блокировки yandex.ru, чем robots.txt. О некоторых из них можно узнать, выполнив поиск по запросу «блокировка yandex.ru». Самый простой и эффективный способ — это использовать.htaccess правила. У нас также был более скромный успех с принудительным возвратом перенаправлений на запросы с известными параметрами URL, связанными с yandex.ru, наряду с некоторым уровнем успеха путем блокировки определенных IP-адресов, связанных с ними, с помощью правила игнорирования в HoneyPoint.

Если вы боретесь со сканированием yandex.ru и хотите получить дополнительную помощь, напишите нам комментарий или свяжитесь с нами через Twitter (@lbhuston, @microsolved). Вы также можете позвонить представителю по работе с клиентами, чтобы обсудить технические вопросы.Мы надеемся, что этот пост поможет некоторым людям, которые страдают от повышенного использования полосы пропускания или проблем со своими сайтами / приложениями из-за этой и других проблем индексирующего робота. До следующего раза, берегись!

Впечатлений на портале Яндекс для веб-мастеров

Как действующий администратор сайта, я обязан следить за тем, чтобы поисковые системы знали о The New Leaf Journal , и принимать различные меры, чтобы пользователи могли найти наши статьи в поиске.Некоторые известные поисковые системы позволяют владельцам сайтов регистрироваться в качестве «веб-мастеров» и отправлять им карты сайта для своих сайтов. Несколько месяцев назад я получил права веб-мастера для Google, Bing (у Bing и Yahoo один набор инструментов) и Яндекс. Для англоязычного веб-сайта, базирующегося в Соединенных Штатах, Google, несомненно, является самой важной поисковой системой, за которой следует Bing. Яндекс, крупнейшая поисковая система в России, менее важна, хотя она предоставляет полнофункциональные англоязычные поисковые службы.Изучая наши дела с каждой из трех поисковых систем, я обнаружил, что Яндекс отображает результаты по поисковому запросу «новый листовой журнал» особенно привлекательно.

Ниже я немного объясню, почему я потрудился поработать над нашим положением в поисковой системе Яндекса, и как вы можете использовать это как другой способ не отставать от нашего новейшего контента, если вы так склонны. Часть этой информации может быть полезна другим веб-мастерам из США.

Почему я проверил

The New Leaf Journal с Яндекс веб-мастером?

The New Leaf Journal — это не только англоязычный веб-сайт в Нью-Йорке, но и довольно небольшой сайт.Мы начали работать только в конце апреля 2020 года, и это недорогой, низкотехнологичный процесс. Несмотря на то, что мы видим больше пользователей, чем когда-либо прежде, по мере приближения нашей шестимесячной годовщины, количество посетителей, вероятно, намного меньше, чем у большинства сайтов, которые вы часто посещаете. В свете вышесказанного вы можете спросить, почему я вообще уделил время тому, чтобы наш сайт был проиндексирован Яндексом. У меня есть причины, см. Ниже, где я кратко расскажу о поисковой системе и различных услугах, которые предлагает Яндекс.

Положение Яндекса в качестве поисковой системы

Согласно statcounter.com, Яндекс был шестой по популярности поисковой системой в мире в сентябре 2020 года. Хотя это может показаться впечатляющим в вакууме, это привело к 0,5% доли мирового рынка поисковых систем, связанной с моей предпочтительной поисковой системой. , DuckDuckGo и значительно уступает 92,26% доли рынка Google. Яндекс не вошел в шестерку лучших в США, но почти не существующая поисковая система MSN заняла шестое место с 0.Доля рынка 05%. В своей родной России «Яндекс» преуспел намного лучше, занимая 39,07% доли рынка поисковых систем, но уступая при этом 58,37% Google.

На первый взгляд может показаться, что индексирование Яндексом имеет значение только для сайтов, ориентированных на Россию и соседние страны. Хотя мы надеемся приветствовать читателей со всего мира, в том числе из России, на нашем сайте заметно не хватает русскоязычного контента. Если бы холодная война закончилась иначе, возможно, мы с Виктором создавали бы прекрасный русскоязычный контент.Однако этого не произошло, поэтому наш материал, вероятно, доступен только для двуязычных русскоязычных и тех, кто достаточно заинтересован в чтении, чтобы воспользоваться услугами перевода — официальные переводы содержания New Leaf Journal , к сожалению, немного превышают наш ограниченный бюджет.

Пакет сервисов Яндекса

Яндекс — это не только поисковая система. Хотя я не удосужился изучить все его сервисы, он кажется примерно сравнимым с Google и Microsoft Bing по тому, что он предлагает.Яндекс предлагает хостинг электронной почты (сопоставимый с Gmail), бесплатное хранилище (сопоставимое с Google Диском), карты, услуги перевода и даже собственный веб-браузер на основе хрома. Я полагаю, что если бы кто-то так склонялся к замене всех своих сервисов Google на сервисы российского «Яндекса», это было бы вполне возможно. Технически у меня есть учетная запись электронной почты на Яндексе и доступ к бесплатному хранилищу, но у меня не было особых причин воспользоваться ни тем, ни другим, поэтому я не могу предложить какой-либо углубленный обзор.Хотя я сократил свою зависимость от американских высокотехнологичных услуг, я не собираюсь заменять их российским эквивалентом. То же самое относится и к веб-браузеру Яндекса — я с удовольствием использую веб-браузер Vivaldi с Firefox в качестве резервной копии для ограниченных целей.

Похоже, Яндекс предлагает набор услуг, сопоставимых с Google и Microsoft в Интернете. Таким образом, я не могу ни рекомендовать, ни отговаривать людей пробовать различные сервисы Яндекса перед их американскими коллегами-гигантами.Яндекс не предоставляет никаких дополнительных преимуществ с точки зрения конфиденциальности (на самом деле, можно считать, что это хуже, учитывая его местоположение, но у меня нет никаких идей по этому поводу), поэтому любое сравнение будет сводиться к тому, более удобны ли его продукты. .

Обширная англоязычная поддержка Яндекса

Хотя Яндекс находится в России и в первую очередь предназначен для русскоязычных, он также предлагает почти все свои услуги на английском языке. Это примечательно тем, что четвертая по величине поисковая система, предлагающая инструменты для веб-мастеров (по приглашению), китайская Baidu, не предлагает никаких англоязычных услуг.Хотя он индексирует англоязычные сайты ( см. поиск по запросу «newleafjournal»), его пользовательский интерфейс полностью на китайском языке. То же самое относится и к крупнейшей поисковой системе Южной Кореи Naver, хотя Naver предлагает переводы в целом неоптимального качества для некоторых частей пользовательского интерфейса.

Как я узнал об инструментах Яндекса для веб-мастеров

Когда я начал администрировать The New Leaf Journal, я был знаком с концепцией инструментов для веб-мастеров, но мало о них знал.Короче говоря, инструменты для веб-мастеров имеют ряд преимуществ. Веб-мастера могут просматривать статистику о том, как страницы своего сайта и различные поисковые запросы работают в поисковых системах. Для меня наиболее важно то, что веб-мастера могут отправлять карты своего сайта в поисковые системы, что упрощает поисковым системам быстрый поиск и индексацию сайта. В случае как Google, так и Яндекса (но не Bing) с правами веб-мастера можно также получить доступ к кодам отслеживания аналитики. Как я отмечал в предыдущей статье, мы изначально использовали Google Analytics, прежде чем выбрать более безопасную для конфиденциальности альтернативу в Koko Analytics.Я не пробовал Яндекс Аналитику, хотя похоже, что она предлагает функции и недостатки, аналогичные Google Analytics.

Плагин Yoast SEO, который мы используем для различных целей поисковой оптимизации, включает раздел с полями для добавления метатегов подтверждения для четырех крупнейших поисковых систем в мире: Google, Bing (и Yahoo), Baidu и Yandex. Я быстро подтвердил свое право собственности на The New Leaf Journal для Google, и Bing удобно принимает подтверждение Google сайта в качестве доказательства права собственности на сайт без какой-либо отдельной процедуры.После небольшого исследования я узнал, что Baidu предлагает инструменты для веб-мастеров только по приглашению, и, учитывая этот барьер и его полностью китайский интерфейс, я не пытался отправить наш сайт в Baidu. Однако, как я отмечал ранее, похоже, что поисковые роботы Baidu самостоятельно нашли наш сайт без какой-либо помощи («новый журнал» возвращает наш сайт как лучший результат в Baidu).

Яндекс, однако, предлагал не только англоязычный интерфейс, но и тот же процесс проверки веб-мастеров, что и Google и Bing.Кроме того, хотя Яндекс требует независимой проверки права собственности на сайт, он позволяет пользователям входить в свою учетную запись Google для доступа к панели веб-мастеров — чем я воспользовался, прежде чем позже создать независимую учетную запись на Яндексе.

Преимущества индексации Яндексом как англоязычного сайта

Поскольку инструменты Яндекса были доступны для веб-мастеров, я не видел причин не воспользоваться этим и не отправить наш сайт на индексирование. Даже если бы не было никакой выгоды, кроме Яндекса, конечно же, нет ничего плохого в том, чтобы увеличить количество способов, которыми люди могут найти наш скромный онлайн-журнал.Однако была одна конкретная причина, по которой меня интересовал Яндекс.

Моя любимая поисковая система, DuckDuckGo, опирается на более чем 400 источников, помимо собственных ботов, для компиляции результатов поиска. Один из многих источников, на которые полагается DuckDuckGo, — это Яндекс. Как пояснил DuckDuckGo на своем официальном Reddit, он в первую очередь использует информацию от Яндекса для информирования результатов поиска для пользователей, которые используют сайт из региона России или ищут на русском языке. Поскольку DuckDuckGo — это самая быстрорастущая поисковая система, ориентированная на конфиденциальность, и та, которую я использовал в течение многих лет, меня интересовали способы обеспечить, чтобы другие пользователи DuckDuckGo могли найти наш сайт в поиске.В общем, появляться в как можно большем количестве мест — это хорошо.

Без колебаний я создал учетную запись, отправил наши карты сайта в Яндекс и попытался подтвердить наш сайт. Сначала мне не удалось проверить наш сайт, но, к счастью, я понял ошибку и исправил ее до того, как Яндекс удалил мою учетную запись веб-мастера.

Примечание о трекерах, конфиденциальности и учетных записях веб-мастеров

Прежде чем продолжить, вы можете вспомнить, что я работал над тем, чтобы сделать The New Leaf Journal максимально безопасным для конфиденциальности.С этой целью я заменил Google Analytics на Koko Analytics, поработал над удалением сторонних скриптов отслеживания с нашего сайта, разместил Google Fonts локально (теперь мы также размещаем аватары авторов локально) и ищу способы встраивания третьих лиц без трекеров. — сторонние материалы в наш контент, такие как OpenStreetMaps вместо Google или Apple Maps. Кроме того, я продолжаю исследовать, как работает веб-сайт, чтобы вносить дальнейшие улучшения, чтобы улучшить впечатление посетителей, одновременно уважая наших посетителей.

В этой статье мы обсуждаем способы, позволяющие поисковым системам находить наш сайт, а не то, что на самом деле является его частью. Например, когда я отправляю карту сайта в Google, Bing, Yahoo или Яндекс, я даю им информацию о структуре нашего сайта, чтобы их поисковым роботам было проще найти наш сайт и добавить его в свои результаты поиска. . Тот же принцип применяется к отправке специальных RSS-каналов в Яндекс для Яндекс Турбо, о которых я расскажу в следующем разделе.Это отличается, например, от включения кода отслеживания аналитики из Google или Яндекс на сайт, который обычно отслеживает основную информацию о посещениях сайта и отправляет ее третьей стороне.

Это, конечно, мое основное понимание того, как все это работает. Если я сказал что-то неправильно или даже неясно, пожалуйста, исправьте меня в гостевой книге. Как и Виктор в его рассказе о капо и TikTok, мне всегда интересно узнавать что-то новое.

Заметки о моем опыте работы с инструментами Яндекс для веб-мастеров

Прежде чем я отмечу интересный способ, которым наши подписчики могут использовать Яндекс, если они хотят приключений, я опишу несколько интересных моментов из моего опыта работы в качестве зарегистрированного веб-мастера.

Предупреждение: медленное индексирование Яндексом

В то время как Google и Bing оперативно нашли и проиндексировали The New Leaf Journal — последний уже в основном проиндексировал наш сайт до того, как я отправил карты сайта, — Яндекс тратит время на индексацию. Хотя я не проверял Яндекс постоянно, вероятно, потребовалось около двух месяцев, чтобы поисковый запрос по названию нашего сайта появился в верхней части результатов поиска Яндекса. Если я помню, наша учетная запись в Facebook появилась в поиске Яндекса задолго до нашего реального сайта.

Из этого я сделал два вывода. Во-первых, учитывая, насколько медленно Яндекс индексирует некоторые сайты, отправка карт сайта, вероятно, принесет явную пользу. Хотя отправка карт сайта никогда не бывает плохой, при условии, что они правильно настроены, Google и Bing более чем способны индексировать сайты, которые никогда не отправляют карты сайта вручную. Во-вторых, терпение — это достоинство, когда Яндекс индексирует сайт.

Настройка турбо-страниц Яндекса с помощью плагина WordPress «RSS для Яндекс Турбо»

Яндекс предлагает услугу мобильного поиска «Яндекс Турбо.«Хотя я далеко не лучший человек, чтобы объяснить это, Yandex Turbo кажется чем-то сопоставимым с ускоренными мобильными страницами (AMP), предлагая версии веб-страниц, оптимизированные для быстрой загрузки и прокрутки на мобильных устройствах. Хотя я решил, что включение AMP для The New Leaf Journal необязательно, я заметил, что панель веб-мастеров Яндекса практически просит веб-мастеров настроить турбо Яндекс. Поскольку меня несколько раздражало то, что я не видел никакой индексации нашего сайта за все время, которое я потратил на настройку своей учетной записи веб-мастера на Яндексе, я решил попробовать настроить Яндекс Турбо.

Яндекс Турбо требует отправки RSS-канала определенного типа для индексации и преобразования. Само собой разумеется, что настройка этого вручную была намного выше моих скудных возможностей. К счастью, в этом не было необходимости — разработчик, известный под именем Flector, создал бесплатный плагин WordPress под названием «RSS для Яндекс Турбо». Хотя плагин полностью на русском языке (я полагаю, в этом есть смысл), языковые барьеры не помешали мне купить японскую тему WordPress, так что и на этот раз меня не отпугнет.Я установил плагин и применил переводчик, чтобы перевести его на английский язык.

Надо сказать, что RSS для Яндекс Турбо — замечательный плагин. Он содержит значительное количество опций для тщательной настройки турбо-ленты Яндекс. Даже с помощью переводчика я обнаружил, что варианты очень просты для понимания и навигации — и я говорю это как человек, который вряд ли является лучшим в мире экспертом по WordPress даже с англоязычными плагинами. После создания RSS-каналов я отправил их в Яндекс, и они были приняты.Я мог видеть, как наши статьи выглядят в Яндекс Турбо, через панель для веб-мастеров, и я использовал этот предварительный просмотр, чтобы точно настроить наши настройки в Яндекс Турбо, чтобы решить одну проблему, касающуюся наших избранных изображений.

Я поздравляю Flector и настоятельно рекомендую этот плагин любому веб-мастеру WordPress Yandex, независимо от того, говорит ли он по-русски.

Хотя я считаю, что наш сайт и так хорошо работает на мобильных устройствах, вы можете попробовать воспользоваться Яндекс Турбо для мобильного поиска, если вам так хочется.Пожалуйста, отправьте нам отзыв о своем опыте в гостевой книге, если вы все же попытаетесь, и дайте мне знать, если возникнут какие-либо проблемы.

Использование Яндекса для поиска новейшего контента на сайте

The New Leaf Journal

После долгих размышлений мы наконец достигли стадии статьи, где я раскрываю , почему наши обычные читатели New Leaf Journal могут найти какую-то часть Яндекс полезной, хотя я сомневаюсь, что многие из наших читателей используют Яндекс.

Стильный ответ Яндекса на поисковый запрос «Журнал New Leaf»

В каждой крупной поисковой системе и нескольких нишевых поисковых системах, обеспечивающих конфиденциальность, таких как DuckDuckGo, Startpage, Qwant, Swisscows и Ecosia, прямой поиск по запросу «новый журнал» приводит к появлению нашей домашней страницы в качестве первого результата.Хотя это вряд ли можно назвать мировым достижением, этого как минимум достаточно для поиска статуса. Яндекс не является исключением в этом конкретном вопросе, но является исключением из , как отображает наш сайт в результатах поиска. Взгляните на картинку ниже:

Снимок экрана, сделанный с помощью веб-браузера Vivaldi.

Поиск Яндекс по запросу «новый журнал» не только помещает наш сайт в качестве первого результата поиска, но также предлагает карусель с нашими десятью самыми последними статьями в виде эскизов.Я должен отметить, что это лучше, чем наша собственная домашняя страница, на которой я установил отображение девяти наших последних статей. Представление Яндексом нашей домашней страницы в результатах поиска великолепно, и некоторым из вас может показаться, что это быстрый способ увидеть наш самый последний контент и перейти к статье, представляющей особый интерес (конечно, я надеюсь, что вы прочитали все наших статей).

Яндекс предлагает другой способ идти в ногу с

The New Leaf Journal

В общем, нет особых причин использовать Яндекс в качестве англоязычного пользователя, если только он не ищет информацию из России и соседних стран.Он не предлагает никаких преимуществ, связанных с конфиденциальностью, по сравнению с Google и Bing — что будет предметом предстоящей статьи об альтернативных поисковых системах — и его результаты на английском языке, вероятно, не лучше. Но для одной конкретной цели, наблюдая за тем, что происходит в The New Leaf Journal, Яндекс царит безраздельно как лучшая поисковая система в мире.

Если вы считаете, что отображение нашей недавней статьи в Яндексе полезно, вы можете добавить страницу в закладки с результатами поиска Яндекс New Leaf Journal для дальнейшего использования.Хотя я рекомендую следить за нашим сайтом, проверяя нашу домашнюю страницу напрямую, подписываясь на нашу RSS-ленту и новостную рассылку, или даже подписываясь на нас в социальных сетях, Яндекс предлагает дополнительную, хотя и необычную, возможность не отставать от нашего новейшего контента. По мере того, как все больше посетителей находят наш веб-сайт через поисковые системы, поисковые системы начнут рассматривать наш сайт как отвечающий на различные веб-запросы.

Приложив упорный труд и немного удачи, мы надеемся, что больше пользователей Интернета найдут наш контент и что наш контент будет соответствовать их поисковым запросам.

Заключение для коллег-веб-мастеров

Стоит ли отправлять в Яндекс карты сайта для англоязычного веб-сайта в США, зависит от конкретного сайта и его целей. Я надеюсь, что эта статья пролила некоторый свет на сам процесс и на то, почему один небольшой и быстрорастущий онлайн-журнал решил потратить время и силы на то, чтобы его проиндексировал Яндекс. Если вы ищете подробное руководство по проверке своего сайта с помощью Яндекса и использованию его инструментов для веб-мастеров, в Интернете есть множество таких руководств.

Еще неизвестно, окупится ли время, которое я потратил на использование панели для веб-мастеров Яндекса, значимым образом, но, по крайней мере, я доволен тем, как поисковая система аккуратно представляет нашу домашнюю страницу в результатах поиска.

Я редактор и администратор журнала The New Leaf Journal. Когда я не работаю над этим скромным онлайн-журналом, я занимаюсь юридическими исследованиями. Мне нравится кофе, чай, чтение, письмо, история, философия, растения, видеоигры, шахматы, аниме и долгие прогулки по Бруклину.

Последние сообщения Николаса А. Феррелла (посмотреть все)

Различия между Google и Яндексом SEO

Написано Анастасией Курмакаевой

Алгоритмы поиска Google и Яндекс имеют массу общего с точки зрения факторов ранжирования и сигналов, которые они принимают во внимание для отображения страниц в результатах поиска, в зависимости от их качества и релевантности для Пользователь. Оба активно работают против чрезмерной оптимизации контента, Black Hat SEO и других сокращений оптимизации, которые считаются негативными, мягко говоря, с целью обмануть поисковые системы, чтобы они предоставляли верхние позиции не заслуживающим внимания веб-сайтам.

Темные методы в сторону, в этом посте мы хотим изучить основных различий между Google и Яндекс. SEO , особенно если мы собираемся работать над международной SEO-кампанией для нашего веб-сайта. В зависимости от нашей целевой аудитории, мы можем попробовать угодить обоим, задача, которая может вызвать у нас небольшую головную боль. Мы могли бы занимать самые высокие позиции в Google по определенным ключевым словам, в то время как российская поисковая система даже не обращает на нас внимания, не говоря уже о том, чтобы наша страница считалась релевантной.По этой причине важно запомнить детали и небольшие различия, которые мы обнаружим между этими двумя поисковыми системами.

Доменное имя

Начнем с домена. Для Google владение доменом, начинающимся с ключевого слова или содержащим его, продолжает оставаться фактором релевантности. Яндекс, однако, не заботится о том, какое имя вы выберете для регистрации своего домена. С другой стороны, считает очень важным использование ccTLD , особенно если мы оптимизируем поисковые запросы, сделанные из любой точки Российской Федерации.Вы можете быть уверены, что домены с расширением .ru возьмут на себя лепту (очевидно, если они релевантны для поискового запроса).

Плотность контента и ключевых слов

Яндекс очень строг к качеству и оригинальности контента , а не к его размеру. На самом деле, правильно оптимизированный текст длиной от 400 до 600 слов является идеальным, и он будет намного лучше цениться, чем сообщения, состоящие из тысяч слов.Что касается использования ключевых слов, Яндекс не любит ни капли чрезмерной оптимизации. Постарайтесь не превышать 3-5% плотности ключевых слов в ваших текстах , и будьте особенно осторожны с наполнением ключевыми словами. Если вы превысите 6-8%, вы можете столкнуться с некоторыми реальными последствиями в своем рейтинге.

Скопированный и вставленный контент с других веб-сайтов, плохой перевод или контент, слишком похожий на другие страницы, не будут проиндексированы. Вы можете использовать этот простой инструмент для измерения процента плотности ключевых слов для любого URL-адреса или напрямую ввести текст для анализа.

Качество и оригинальность контента — один из важнейших аспектов для Яндекса при оценке вашего сайта.

Возраст вашего сайта

Яндекс начинает обращать внимание на возраст веб-сайта всего с через 1 год после даты публикации первой страницы . Однако Google предпочитает веб-сайты возрастом не менее двух лет. Мы можем сделать вывод, что обе поисковые системы с большей вероятностью будут отображать в своих результатах поиска более старшие веб-сайты, при этом Яндекс более доброжелателен, так как считает веб-сайты более «зрелыми» быстрее.

Заголовки и описания

Хотя верно, что для обеих поисковых систем хороший заголовок является ключевым, Яндекс по-прежнему типа считает ключевые слова релевантными при использовании в метатеге описания . Мы рекомендуем приложить некоторые усилия для написания хороших описаний и включения в них ключевых слов, когда это возможно.

Алгоритм Яндекса по-прежнему использует метатег description в качестве сигнала ранжирования.

Скорость индексирования

В отличие от поисковых роботов Google, которые постоянно сканируют и индексируют новые страницы, Яндекс может в этом процессе работать медленнее .Индексирование статических страниц может занять недели и даже месяцы. Однако важно отметить, что если наш веб-сайт индексируется в Яндексе слишком долго, не помешает убедиться, что мы «уведомили» поисковую систему о новом содержании через Яндекс.Вебмастер.

Ссылки

Гугл любит правильную внутреннюю структуру ссылок, но Яндекс к ней по большей части безразличен. Входящие ссылки, поступающие с других — внешних — веб-сайтов, должны быть тщательно отобраны, и их якорные тексты не должны быть чрезмерно оптимизированы .Обратите на это особое внимание, поскольку последнее обновление алгоритма Яндекса, Минусинск, опрометчиво наказывает сайты, использующие некачественные ссылки.

Качество трафика и показатель отказов

Яндекс не делает различий между сайтами, генерирующими много трафика или вообще не генерирующими. Если по критериям ваш сайт релевантен, вы попадете в топ результатов (и, таким образом, получите больше органического трафика). Яндекс также более снисходительно относится к отказу от посещений, и его не тревожат, пока показатель отказов веб-сайта не достигнет 90-95% цифр .Google, с другой стороны, может считать ваш сайт менее интересным, если вы перейдете на 75%.

Штрафы и черный список

Google гораздо более щедр, когда дело доходит до штрафов, когда веб-сайт исправляет аспекты, которые его алгоритм считает отрицательными. Если Яндекс попадет в черный список по его алгоритму , скорее всего, на вашем сайте останется отпечаток . Мы должны быть осторожны с мерами, которые мы принимаем в наших стратегиях SEO, чтобы алгоритм Яндекса оставался довольным нашим сайтом.

Таким образом, найти хороший баланс между двумя поисковыми системами возможно, хотя иногда это может показаться небольшой загадкой. Если вы планируете интернационализировать свой веб-сайт для обслуживания российского рынка, в этой статье у вас уже есть несколько полезных советов по началу работы.

Отличий поисковых систем: Google, Bing, Яндекс и др.

Теперь, когда мы рассмотрели основы работы поисковых систем, стоит воспользоваться этой возможностью, чтобы выделить некоторые ключевые различия между некоторыми из основных поисковых систем. движки: Google, Bing, Яндекс и Baidu.

• Google — Google был запущен в 1998 году, и, если вы не жили на другой планете, вы знаете, что Google на сегодняшний день является наиболее широко используемой поисковой системой с точки зрения объема поиска и является основным направлением для большинства в поисковой оптимизации (SEO).
• Bing — Принадлежащий Microsoft, Bing был запущен в 2009 году и занимает второе место по объему поиска в мире.
• Яндекс — Популярная поисковая система в России и крупнейшая технологическая компания в России.
• Baidu — доминирующая поисковая система, используемая в Китае, и 4-е место по популярности по данным Alexa 500.

Теперь, когда вы знаете, что происходит в среде поисковых систем, давайте взглянем на несколько областей, в которых они различаются.

Индексирование устройства

Google делает шаг в сторону индексации, ориентированной на мобильные устройства, при которой они будут использовать мобильную версию содержания сайта для ранжирования страниц с этого сайта, а не версию для настольных компьютеров.

В 2018 году Google также планирует развернуть обновление скорости мобильной страницы, что означает, что скорость страницы станет фактором ранжирования в мобильном поиске.

Глава отдела евангелизации поиска в Microsoft Bing Кристи Олсон заявила, что у них нет планов по развертыванию индекса, ориентированного на мобильные устройства, подобного Google.

Яндекс начал добавлять страницы, оптимизированные для мобильных устройств, в свой индекс с ноября 2015 года и развернул алгоритм, адаптированный для мобильных устройств, в 2016 году.

Оптимизированный для мобильных устройств алгоритм под кодовым названием «Владивосток» не привел к тому, что страницы, которые не считались оптимизированными для мобильных устройств, были удалены из результатов поиска, но было заявлено, что такие страницы потенциально не будут иметь такого высокого рейтинга для пользователей поиска, которые используют мобильные устройства.

«Внедрение Владивостока не означает, что веб-страницы, не оптимизированные для работы с мобильными устройствами, теперь исчезнут из результатов поиска, но их позиция в поисковой выдаче может различаться в зависимости от того, выполняет ли пользователь поиск на своем мобильном устройстве или компьютере»,

Результаты мобильного поиска Baidu существенно различаются в зависимости от того, удобна ли страница для мобильных устройств. Также стоит отметить, что Baidu использует транскодирование для преобразования веб-страниц, не оптимизированных для мобильных устройств, в созданные Baidu страницы, удобные для мобильных устройств.

Обратные ссылки как сигнал ранжирования

Согласно эмпирическим и анекдотическим данным, Google фокусируется на качестве обратных ссылок по объему.

Раньше было так, что объем обратных ссылок был ключевым сигналом ранжирования, что приводило к большому количеству некачественных ссылок, приобретаемых компаниями, покупающими обратные ссылки из ссылочных ферм и сетей.

Bing использует информацию об обратных ссылках во многом так же, как Google, в соответствии с рекомендациями для веб-мастеров, а также в соответствии с анекдотическими отчетами.

В руководстве Bing для веб-мастеров указано:

.

«Дело в том, что Bing хочет видеть качественные ссылки, указывающие на ваш веб-сайт. Часто даже нескольких качественных входящих ссылок с проверенных веб-сайтов достаточно, чтобы повысить ваш рейтинг. Как и в случае с контентом, когда дело доходит до ссылок, качество имеет наибольшее значение ».

Яндекс прекратил использовать данные обратных ссылок в своих алгоритмах ранжирования в определенных вертикалях с 2014 года.

Примерно через год данные об обратных ссылках были повторно введены в их алгоритмы, и теперь они предоставляют следующее предупреждение относительно использования приобретенных ссылок, предназначенных для повышения рейтинга в поиске:

«Публикация SEO-ссылок на других сайтах с целью продвижения вашего собственного сайта.К таким ссылкам относятся, в частности, ссылки, которые покупаются через биржи ссылок и агрегаторы ».

Известно, что, как и Google и Bing, Яндекс ищет качественные релевантные ссылки из авторитетных источников, но сами по себе обратные ссылки не являются решающим фактором ранжирования.

Baidu ценит обратные ссылки с веб-сайтов в Китае гораздо больше, чем с иностранных сайтов. Сообщается, что Baidu отстает от других основных поисковых систем в отношении обнаружения ссылочного спама.

Тактика ссылочного спама все еще эффективна для повышения рейтинга в результатах поиска Baidu и поэтому продолжает использоваться для продвижения китайских веб-сайтов.

Социальные сети как сигнал ранжирования

Google официально не использует социальные сети в качестве фактора ранжирования. Мэтт Каттс объяснил, что это связано с трудностями понимания социальной идентичности и тем, что Google не хочет использовать данные, которые могут быть неполными или вводящими в заблуждение.

Bing , с другой стороны, принимает социальные сигналы как часть своих алгоритмов. В их рекомендациях для веб-мастеров указано:

.

«Если вы влиятельны в обществе, это приводит к тому, что ваши подписчики широко распространяют вашу информацию, что, в свою очередь, приводит к тому, что Bing видит эти положительные сигналы. Эти положительные сигналы могут повлиять на ваше органическое ранжирование в долгосрочной перспективе ».

Яндекс , похоже, получает некоторые ранжирующие сигналы из социальных сетей, по крайней мере, согласно неофициальным сообщениям.

Согласно отчетам,

Baidu не использует социальные сигналы в своих алгоритмах ранжирования. Однако часто существует сильная корреляция между сайтами, занимающими видное место в Baidu, и активными аккаунтами в социальных сетях.

Далее: сканирование бюджета

Автор

Сэм Марсден

Сэм Марсден — бывший менеджер по поисковой оптимизации и контенту Deepcrawl. Сэм регулярно выступает на маркетинговых конференциях, таких как SMX и BrightonSEO, и является автором отраслевых публикаций, таких как Search Engine Journal и State of Digital.

Как удалить контент из индекса Яндекса

Владельцы сайтов обычно тратят много времени на создание и размещение нового контента на сайте или улучшение уже опубликованного контента для повышения эффективности в обычном поиске. Поэтому досадно удалять из поискового индекса страницы, на которые уходит много времени и усилий, но иногда это стоит сделать и необходимо из-за товарного ассортимента, юридических причин или изменений в направлении бизнеса или обмене сообщениями.

Удаление контента — это не всегда история безвозвратного удаления страницы.Есть несколько уровней: вы можете только удалить его из индекса, оставив на сайте, тогда пользователи не найдут его в результатах поиска, но смогут перейти на него, перейдя по ссылкам с других страниц или из закладок. Или вы можете удалить его с сайта — навсегда или временно, отправив в архив.

Вот некоторые из наиболее распространенных методов удаления устаревшего содержимого:

Тег Noindex

Нельзя удалить страницу с сайта, но дать роботу сигнал не индексировать ее с помощью тега noindex.Если он уже есть в индексе, следующие роботы сканирования должны увидеть этот тег и удалить его из индекса.

meta name = "robots" content = "noindex"

Тег noindex можно настроить с помощью плагинов SEO для CMS, в них эта функция часто встречается.

Пользователи по-прежнему смогут посещать страницу, если на ней есть внутренние ссылки на сайте или если они уже посещали ее раньше и добавили адрес в закладки.

Удаление страницы из индекса с помощью noindex не будет необратимым.Если вы хотите вернуть страницу, удалите тег, и при следующем сканировании поисковый бот его увидит.

Обратите внимание, что если вы удалили из индекса страницу с хорошими позициями, не факт, что при удалении noindex она вернется к той же поисковой выдаче.

Инструмент для удаления URL в Яндекс.Вебмастере

Вы можете ускорить процесс удаления с Яндекс. Во-первых, вам нужно отключить их индексацию: регистрация запрещает в файле robots.txt и указывает метатег робота с директивой noindex на странице.Это необходимо. На следующем шаге робот увидит эти сигналы.

Инструмент удаления контента в Яндексе для веб-мастеров

Чтобы ускорить процесс, у веб-мастера есть инструмент «Удалить URL». Чтобы удалить отдельные страницы, выберите По URL и введите адрес. Вы можете удалять до 500 адресов одного сайта в день.

За пределами Google: вселенная поиска

Когда мы говорим о поиске, мы часто говорим о Google: на Google и свойства Google приходится львиная доля видимости при поиске.Есть причина, по которой мы говорим, что собираемся что-то «погуглить». Но Google — не единственная поисковая система, и в зависимости от вашей аудитории вы можете получить большую популярность, адаптируя свой SEO для остальной части поисковой вселенной.

Поисковые системы, поисковые системы повсюду

Несмотря на мировое господство Google, существуют районы, в которых другие поисковые системы имеют прочную — и постоянно растущую — точку опоры. Фактически, Википедия перечисляет около 20 или около того текущих общих поисковых систем, а также намного больше тематических поисковых систем..

Крупнейшими конкурентами Google являются Bing (и Yahoo!), Яндекс, Baidu и небольшая, но растущая компания DuckDuckGo:

Bing и Yahoo!

В 2009 году Bing и Yahoo! Подписали десятилетнее соглашение о совместном использовании поисковых технологий, что означает, что их ранжирование, индексы и использование поиска одинаковы и могут быть объединены в одну поисковую систему с двумя лицами. В оставшейся части статьи мы будем рассматривать их как единое целое.
Bing особенно интересен для SEO и маркетологов, но только потому, что ему принадлежит более трети доли рынка США, а также потому, что есть некоторые свидетельства того, что трафик Bing конвертируется лучше, чем трафик Google.

Оптимизация для Bing

Bing использует многие из тех же технологий и работает со многими из тех же сигналов ранжирования, что и Google. Однако есть отличия.

Некоторые сигналов ранжирования имеют большее значение в Bing, чем в Google:

• Возраст и расширение домена
• Социальные сигналы

Социальные сети играют важную роль в сегодняшних усилиях по повышению рейтинга в результатах поиска. Наиболее очевидная роль, которую он играет, — это влияние. Если вы являетесь влиятельным лицом в социальных сетях, ваши подписчики, как правило, широко делятся вашей информацией, что, в свою очередь, приводит к тому, что Bing видит эти положительные сигналы.Эти положительные сигналы могут повлиять на то, как ваш сайт будет занимать в долгосрочной перспективе органический рейтинг.

SEO на странице для Bing также немного отличается от Google. Bing объясняет:

• Ожидается только один
  

  на странице.

• Внутренние ссылки используются для определения того, как контент связан.
• Ключевое слово / фразу, на которую вы нацеливаете, следует несколько раз использовать в содержании вместе с вариантами ключевого слова или фразы.
• Свежий контент, как в Google, — это преимущество.

Как и Google, Bing оценивает удобство использования для мобильных устройств . При определении удобства использования для мобильных устройств учитываются следующие особенности:

• Конфигурация окна просмотра
• Конфигурация масштабирования
• Ширина содержимого
• Читаемость текста
• Расстояние между ссылками и другим содержимым
• Важные ресурсы, заблокированные для Bingbot

Вы можете таргетинг на локальных поисков путем геотаргетинга всего или части вашего сайта в Инструментах для веб-мастеров.Геотаргетинг в Bing явно указывается веб-мастером и может применяться к странице, каталогу, субдомену или ко всему домену.

Наконец, Bing также использует сущности для улучшения понимания контента и поддерживает множество сущностей с помощью разметки Schema.org :

Возможность сканирования для Bing

Как и Google, индекс Bing создается и обновляется в основном путем сканирования паутина. Это означает, что для правильного ранжирования в Bing веб-сайты должны быть доступны для сканирования.

Согласно документации Bing, следующие элементы облегчают сканирование:

Как и Google, вы также можете отправлять URL-адреса для индексации. Bing будет сканировать URL-адреса, которые он находит в картах сайта, но вы также можете массово отправлять URL-адреса через их инструмент индексирования и отправлять их непосредственно в индекс через их API.

Инструменты и технологии Bing

Инструменты

Технологии

Яндекс

Яндекс является российским эквивалентом Google.Помимо поисковой системы, у него есть много других веб-ресурсов, аналогичных Google: электронная почта, фотографии, продукты … Яндекс может претендовать на более 50% доли поискового рынка в России, и он хорошо известен и используется во многих соседних странах. .

[Электронная книга] Техническое SEO для нетехнических мыслителей

Техническое SEO — одно из растущих направлений SEO сегодня. Он включает поиск решений для SEO, основанных на том, как и почему работают поисковые системы и веб-сайты. Эта электронная книга — все, чем вы всегда хотели поделиться со своими клиентами, друзьями и коллегами по маркетингу.

Рейтинг в Яндексе

Важно понимать, что Яндекс как русскоязычная поисковая система отдает приоритет географии России в локальном поиске и использует отдельные алгоритмы ранжирования для доменов .ru по сравнению с остальными доменами. Интернет.

По сравнению с Google процесс индексации сильно отличается:

• Более медленный процесс индексации
• Страницы размером более 10 МБ не индексируются
• URL-адреса длиной более 1024 символов не индексируются
• Языковая фильтрация:
  • «Автоматическая» индексация для сайтов, содержащих страницы на русском, украинском и белорусском языках
  • Оценка содержания для сайтов на английском, немецком и французском языках
  • Другие языки не поддерживаются

Наконец, не все проиндексированные страницы могут отображаться в поиске.Фактически, коды статуса 3xx, 4xx и 5xx или перенаправления, нацеленные только на роботов, могут исключить страницу из результатов поиска, даже если она проиндексирована.

Чтобы узнать, какие из ваших страниц доступны, вы можете обратиться к разделу «Страницы в поиске» в инструментах для веб-мастеров.

Сигналы ранжирования с наибольшим весом для Яндекса включают следующие:

• Поведение пользователя: «Поведение пользователя — ОГРОМНЫЙ фактор ранжирования и играет гораздо большую роль, чем другие сигналы, такие как построение ссылок».
• Техническая оптимизация
• Полнота и уникальность контента (обратите внимание, что фильтр дублированного контента Яндекс более строгий, чем у Google.)
• Локализация (регион)
• Факторы коммерческого ранжирования, такие как подробная информация о компании, ценах, условиях обслуживания или отзывы
• Возраст домена и актуальность контента
• Использование ключевых слов, включая мета-теги ключевых слов и наличие ключевого слова в URL. Однако обновление алгоритма Палеха для длиннохвостых запросов также ввело нейронную сеть в анализ запросов Яндекса.

Если это начинает выглядеть как крупные, хорошо зарекомендовавшие себя сайты электронной коммерции, это значит, что вы недалеко от цели.

Сканируемость для Яндекса

Хотя для индексации и ранжирования на Яндексе веб-сайт необходимо сканировать, ключевые слова играют более важную роль, чем внутренние ссылки. Следовательно, внутренняя структура сайта менее важна, чем для Google.

Веб-мастерам рекомендуется:

• Отправить карты сайта
• Использовать статический контент, так как сканер Яндекса не поддерживает Javascript

Бот Яндекса проверяет следующие элементы HTML:

• Мета-ключевые слова: используются для определения релевантности страницы
• Мета-описание: используется как описание во фрагментах (также можно использовать текст страницы)
• Мета-окно просмотра: указывает на совместимость с адаптивным дизайном
• Мета-тип содержимого: используется для определения типа и содержимого URL-адреса
• Мета-обновление: можно использовать для перенаправления страниц.Этот метатег будет перенаправлять посетителя через N секунд.
• Мета-роботы
• теги для определенного контента
• Link rel = nofollow
• Link rel = canonical. Это можно игнорировать, если канонический адрес недоступен, если канонический находится в другом домене или субдомене или если предоставлено несколько канонических URL-адресов.

Оптимизация под Яндекс

Есть несколько аспектов, в которых Яндекс существенно отличается от Google.

Hreflang

Hreflang следует использовать для Яндекса в следующих случаях:

• Версии страниц «отличаются только языком шаблона», хотя контент, например сообщения в блогах или комментарии на форуме, остается прежним.
• Страница версии на одном языке, но ориентированы на разные страны или регионы.
• Страницы являются «полными и точными» переводами
• Страницы, которые перенаправляют автоматически по местоположению или языку, должны использовать hreflang по умолчанию x

Теги Hreflang работают только в или HTTP-ответ; карты сайта не поддерживаются.

Thematic Index Citation (TIC)

TIC Яндекса используется для прямого ранжирования сайтов; теперь он стал отражением качества, но не совсем коррелирует с рейтингом сайта. TIC — это оценка от 0 до 150 000, которая измеряет, насколько хорошо сайт ссылается на то, что повышает ценность для пользователя. Ценность определяется качественным содержанием и актуальностью тематики.

Геотаргетинг

Яндекс рекомендует веб-мастерам указывать регион, на который их веб-сайты нацелены, в инструментах для веб-мастеров.

Геозависимые и геонезависимые запросы обрабатываются по-разному, и результаты не смешиваются в результатах поиска. Это означает, что если ваш бизнес может получать прибыль от локального поиска, требуется геотаргетинг.

Для геотаргетинга страницы вам необходимо:

• Опубликовать название, адрес, почтовый индекс, номер телефона и код города вашей компании на своем веб-сайте.
• Публикуйте одну и ту же информацию для всех региональных филиалов вашего бизнеса.
• Сделайте каждую страницу вашего сайта доступной для робота Яндекса независимо от IP-адреса робота.

Anti-linkspam

Яндекс вложил значительные средства в борьбу со ссылочным спамом, который они определяют как использование ссылок, созданных для воздействия на поисковые алгоритмы, которые могут быть куплены или проданы в попытке искусственно повысить авторитет сайта без улучшения качества сайта. сайт.

Алгоритм «Минусинск» определяет ссылочный спам и может привести к серьезным штрафам.

Мобильный поиск

Мобильный поиск быстро растет в России.Критерии ранжирования Яндекса для мобильного поиска аналогичны критериям Google.

Однако важно разместить мобильную версию сайта на отдельном поддомене или отдельном домене:

Яндекс рассматривает основную версию и мобильную версию сайта как отдельные сайты и индексирует их отдельно друг от друга.
Чтобы помочь роботу правильно идентифицировать мобильную версию, укажите URL-адреса мобильных страниц на соответствующих страницах основного сайта. Например, вы можете использовать элемент.
[…] Если мобильная версия сайта находится в основном каталоге сайта, робот-индексатор Яндекса не сможет ее правильно проиндексировать. Рекомендуем создавать мобильную версию в отдельном домене или в поддомене основного сайта.

— Служба поддержки Яндекса

Инструменты и технологии Яндекса

Инструменты

Технологии

В Яндексе есть несколько операторов, которые можно использовать для создания более конкретных поисковых запросов:

• Проверьте, что индексируется для site с помощью оператора запроса url.В поисковой строке Яндекса введите url: оператор запроса, адрес сайта и *. Например: url: www.example.com *.
• Заголовок [ключевое слово] — поиск по заданному ключевому слову в теге заголовка, работает так же, как и оператор Google intitle :.
• Inurl = «ключевое слово» — работает так же, как оператор Google inurl :.
• Mime = ”html / pdf / doc / ppt / xls / rtf / swf” — поиск файлов определенных типов, например: seo << mime = ”ppt” вернет результаты, которые являются файлами PowerPoint, связанными с SEO.

Baidu (百度)

Baidu — основная поисковая система Китая. Коммунистический режим Китая означает, что это подразумевает несколько важных моментов: во-первых, Google недоступен в Китае. Во-вторых, Baidu ограничен веб-сайтами на китайском языке. Наконец, действует государственная цензура.

Рейтинг в Baidu

Как и другие поисковые системы, индекс Baidu создается путем сканирования пауком Baidu. Вместо простого перехода по ссылкам, URL-адреса, полученные с помощью инструмента отправки ссылок Baidu, имеют приоритет для сканирования.

Алгоритмы ранжирования Baidu не дискриминируют иностранные сайты. Однако они ранжируют только те сайты, которые могут соответствовать запросам на упрощенном китайском языке. Это означает, что содержание на китайском языке является обязательным.

Упрощенный сценарий и грамматика китайского языка могут быть препятствием для регионов, в которых используется традиционный сценарий (Тайвань, Гонконг), а также регионов, в которых используются другие китайские языки с упрощенным сценарием, хотя Baidu по-прежнему используется веб-сайтами и пользователями как в случаи.

К другим факторам ранжирования относятся:

• Свежесть
• Плоская структура сайта (страницы, расположенные ближе к домашней странице, считаются более важными, а элементы, связанные с внутренними ссылками, такие как неработающие ссылки, перенаправления и текст привязки, могут иметь прямое влияние на рейтинг.Например, страницы-сироты часто не индексируются.)
• Мало поддоменов
• Нет Javascript (не поддерживается Baidu spider)
• Скорость страницы
• Качество контента
• Удобство для мобильных устройств
• Точное совпадение ключевых слов в заголовке

Наконец, как и в выдаче Google, продукты Baidu часто помещаются перед органическими результатами. Сюда входят объявления и страницы, принадлежащие Baidu.

Оптимизация для Baidu

Скорость страницы

Алгоритмы Baidu придают огромное значение скорости страницы до такой степени, что веб-сайты должны размещаться в Китае, чтобы быть конкурентоспособными.Хостинг в Китае чрезвычайно сложен для иностранных веб-сайтов (вам нужна лицензия поставщика интернет-контента, которая, в свою очередь, требует китайской бизнес-лицензии…), поэтому большинство зарубежных веб-сайтов должны полагаться на CDN.

Однако независимо от того, как вы размещаете свой веб-сайт, скорость загрузки страниц важна, и ограничения очевидны: первый экран страниц должен загружаться в течение 1,5 секунд.

Качество контента

До недавнего времени качество контента не имело особого значения; однако качество становится все более важным фактором.

Заголовки страниц чрезвычайно важны. Заголовки должны быть четкими, краткими (нерелевантные слова могут привести к штрафам) и содержать ключевые слова страницы (но за набивку налагаются штрафы).

Из-за местного, коммунистического контекста чрезвычайно важно проверять и подтверждать весь контент перед его публикацией.

Внутреннее SEO

Внутреннее SEO для Baidu рассматривает многие из тех же элементов, что и внутреннее SEO, для других поисковых систем, но уделяет приоритетное внимание другим аспектам.

Инструкции Baidu для веб-мастеров включают следующие правила на странице:

• Первый экран вашей страницы должен быть загружен в течение 1,5 секунд
• Контент должен использовать размер шрифта не менее 10pt
• Основной контент (основная часть (исключая панель навигации и любую рекламу) вашего веб-сайта должно занимать не менее 50% первого экрана.
• Для результатов мобильного поиска целевая страница должна быть адаптирована для мобильных устройств
• Правила для мобильных устройств и пользовательского интерфейса должны соблюдаться
• На сайте должен использоваться HTTPS
• Страница должна включать следующие HTML-теги: