Предлагаем прочесть выдержку об основных причинах, вследствие которых у сайта могут появиться проблемы с появлением в органической выдаче поисковых систем.
Сайта или отдельных страниц нет в индексе: причины
Мы выделили следующих список:- у поисковой системы нет информации о существовании сайта;
- сайт либо отдельные страницы закрыты от индексации посредством файла robots.txt;
- внутренние проблемы с настройками движков (например, при использовании WordPress можно отключить видимость отдельных статей для поисковых систем);
- на страницах используются мета-теги, запрещающие индексацию ресурса;
- наличие ошибок во время сканирования сайта поисковым роботом;
- некорректные настройки в файле .htaccess;
- нестабильная работа хостинга либо сервера, где размещается сайт;
- проблемы с индексацией информации на AJAX и JS;
- дублированный контент;
- отсутствие оптимизации скорости загрузки отдельных страниц, сайта;
- блокировка домена (наличие бана в поисковой системе);
- отсутствует карта сайта для поисковых роботов.
Отсутствует информация о создании нового сайта
Купленный вчера домен и привязанный к последнему сайт незаметен для поисковых систем. Поэтому необходимо воспользоваться базовыми рекомендациями, чтобы «заявить» о нем:- Добавляем ресурс в поиск, используя Add URL Яндекс и Google (Search Console).
- Добавляем сайт в кабинеты вебмастеров вышеупомянутых ПС (поисковых систем).
Проблема с настройкой robots.txt
При наличии большого количества технических разделов, по ошибке от индексации могут быть закрыты страницы, категории сайта. Рекомендуем проверить файл и закрыть от индексации только технические разделы проекта, остальное не трогать.Приватность или видимость в поисковых системах
На примере WordPress следует зайти в раздел «Настройки», далее – «Чтение», затем напротив пункта «Видимость для поисковых систем» снять галочку. Рекомендуем проверить сами статьи – в них также имеется возможность отключения индексации средствами CMS.
Мета-теги Noindex
Использование мета-тегов noindex и nofollow необходимо на ограниченном количестве страниц – например, на странице с политикой конфиденциальности. Данная информация в поиске неважна.Для включения индексации достаточно найти строку и удалить содержимое. Второй вариант – замена значений мета-тегов на index и follow, как на скриншоте ниже.
Проблемы со сканированием
При возникновении ошибок во время сканирования сайта поисковым роботом, существует вероятность что последний не доберется до каждой страницы. Для проверки следует воспользоваться кабинетом для вебмастеров от Google:- Переходим в Webmaster Tools.
- Находим пункт «Сканирование».
- В раздвигающемся меню выбираем «Ошибки сканирования».
- Исправляем в соответствии с рекомендациями.
Блокировка сайта в .htaccess
«.htaccess» - файл, расположенный в корневой папке хостинга или сервера. В основном используется для редиректа (перенаправления со старых URL страниц на новые). Помимо прочего, он позволяет закрывать от индексации отдельные страницы, весь сайт.Нестабильная работа хостинга или сервера
«Up Time» - процентный показатель, демонстрирующий время работы сервера. Максимальное значение – 100%, рекомендованное – не менее 99,5%.Узнать о проблемах с доступностью ресурса поможет Яндекс.Метрика – на почту (или на телефон, если заданы соответствующие настройки) приходит уведомление, где говорится о проблемах с доступностью.
Поисковые роботы находятся на сайте не постоянно, потому плохой показатель Up Time сервера или хостинга может стать причиной выпадения страниц из индекса.
AJAX и JS
Поисковые системы несколько лет назад научились индексировать AJAX и JS (Java Script), но для этого необходимо ознакомиться с инструкцией от Google, так как процесс индексации в сравнении с HTML происходит значительно сложнее.С дополнительной информацией можете ознакомиться в справке Гугл.
Дублированный контент – проблема
Поисковые системы могут не проиндексировать сайт или исключить страницы из выдачи за множественные «дубли». К последним относятся страницы пагинации, товары, одновременно относящиеся к разным категориям.Напоминаем, что отсутствие индексации в данном случае – не единственная проблема, так как возможно получение санкций со стороны ПС. У Google это – «Панда».
Скорость загрузки ресурса
Исправляйте в соответствии с рекомендациями, сжимайте изображения, уменьшайте количество используемых скриптов.
Блокировка домена
Приобретая доменное имя необходимо обратить внимание на его «историю». Возможно, там размещали запрещенный во многих странах контент (пиратский, например), что привело к блокировке домена в выдаче.Наиболее актуальна данная проблема у звучных доменных имен. Решение проблемы – отправление запроса на пересмотр в Google и переписка технической поддержкой Яндекса на предмет выявления причин отсутствия сайта в поиске.
Отсутствует карта сайта
Sitemap по-прежнему помогает поисковым система при индексации ресурса и отсутствие последней может сказаться на том, что ряд страниц не будут присутствовать в выдаче поисковых систем – роботы не смогут их обнаружить. Особенно актуально при высоком уровне вложенности страниц.Современные «движки» позволяют генерировать карты сайта автоматически, в том числе при добавлении контента. Во многих этот функционал нужно настраивать отдельно или устанавливать дополнительные модули, плагины. После чего необходимо сгенерировать карту сайта и добавить ее в кабинеты вебмастеров Яндекс и Гугл.
Выводы
Индексация проекта – важный аспект в продвижении сайта. Нет страницы в индексе поисковой системы – нет возможностей для дальнейшего продвижения. Поэтому сначала находим причину отсутствия в поиске, исправляем и дожидаемся её появления.Если не можете справиться с решением проблемы самостоятельно – обращайтесь ко мне. Предлагаю бесплатные консультации на тему продвижения сайта и оказывают необходимую помощь за разумную плату.
