Почему сайт не индексируется в Яндексе и Google

Почти каждый форум, посвященный созданию сайтов или поисковой оптимизации содержит тему с вопросом – Почему не индексируется сайт Яндексом и Google? Где-то ресурсы не попадают в индекс совсем, в каких-то топиках индексация происходит не полностью или очень медленно. по этому вопросу вырастают длинные обсуждения, каждый из участников которых старается рассказать свое мнение и свой опыт, иногда встречаются откровенные глупости. Но тема актуальная, так как без индексации нет поискового трафика, а значит, нет и доходов у проекта.

Почему сайт не индексируется в Яндекс и Google

Единого ответа почему сайт не индексируется или почему этот процесс затягивается не существует, надо в каждом случае разбираться отдельно, но я определил наиболее частые причины и о них расскажу. Будете знать причины — сможете решить проблему.

Почему сайт не индексируется

1. Медленная индексация

Самая частая причина паники вебмастеров. Написали статью, прошло уже пол дня, а в поиске постав все нет. Не нужно раньше времени «гнать волну». В большинстве ситуаций сайт индексируется, просто медленно, может быть ресурс еще молодой, или обновляется редко, в общем — в расписании поискового робота посещение вашего сайта запланировано нечасто, вот и приходится долго ждать.

Если с ресурсом все в порядке, то скорость попаданий в поиск постепенно вырастет сама, но лучше сделайте определенные действия, которые помогут ускорить индексацию сайта поисковыми системами — статья здесь.

2. Проблемы с Robots.txt

Возможно, некоторые разделы вашего сайта или весь ресурс запрещены для поисковых роботов директивами этого файла. Такое бывает, например, когда создавали сайт — закрыли его, чтобы в индекс не попадали страницы-полуфабрикаты, а после сдачи ресурса заказчику забыли открыть. Либо при настройке файла была допущена ошибка по незнанию или случайно.

О том, как правильно настроить Robots.txt с примером для WordPress я писал тут.

3. Закрывающие Мета-теги

Некоторые страницы могут не попадать в индекс из-за того, что содержат специальные запрещающие мета-теги (аналог директив в Robots.txt). К этой же категории относится тег <noindex> — где-то случайно его не так поставили, робот приходит, а ему говорят — «Проход закрыт» — он уходит. У меня один раз такое было, случайно запретил страницу поставилась галочка в плагине All in One SEO Pack, а я все никак не мог понять, почему в поиск не попадает статья. Нашел принчину, убрал запрет и все заработало как положено.

Закрывающий метатег выглядит следующим образом:

<meta name="Robots" content="nofollow,noindex">

или

<meta name="Robots" content="none">

4. Flash и Java script ссылки

Поисковые системы всегда очень плохо индексируют сайты созданные на Flash и Java script ссылки, которые в очень большом количестве расположены в «шапке» ресурса. Если вы используете подобные технологии, будьте готовы к подобным сюрпризам.

Я во Flash не силен, поэтому посоветую искать решение этой проблемы у специалистов, а по ссылкам спрятанным в скриптах скажу — не закрывайте главные навигационные элементы ресурса, чтобы поисковикам было проще находить все документы.

5. Вирусы

Проблемы в индексации сайта поисковыми системами могут создавать вирусы. Вирус — это очень серьезная проблема от которой необходимо избавляться в самые кратчайшие сроки, так будут проблемы не только с индексацией.

6. Фильтры

Ваш ресурс находится под фильтром, то есть поисковые системы наложили на него определенные санкции. Про АГС слышали все — это самый любимый вебмастерами фильтр, который мгновенно выкидывает из индекса практически все страницы ресурса. Не попасть под него легче, чем потом выбраться, так что я советую вести свой блог аккуратно и не нарушать требования поисковых систем.

Если все же попали под фильтр, то снимайте продажные ссылки, удаляйте не уникальный контент, поработайте над улучшением дизайна и юзабилити, оформите как положено все статьи (картинки, абзацы, внутренняя перелинковка страниц, подзаголовки и т.д.). после этого продолжайте вести проект «по белому» и Яндекс может сжалиться над вами.

7. Кривая структура сайта

Безграмотная структура ресурса, происходит нарушение правила «3-х кликов», когда до любой страницы или поста можно добраться перейдя по трем ссылкам. Для того, чтобы индексация проходила быстрее, роботы должны легко находить все статьи, чем больше переходов по внутренним ссылкам им нужно сделать до целевой страницы, тем больше придется ждать индексации.

8. Хостинг

Часты сбои в работе хостинг провайдера во время прихода на него поискового робота могут служить причиной того, что сайт не индексируется Яндексом и Google. Робот пришел, а сайт не работает, пришел в следующий раз — снова не работает — как, спрашивается, ему сайт проиндексировать.

9. Не уникальный контент

Наличие не уникального контента может привести не только к не индексации страниц, на которых он размещен, но и к фильтрам (пункт 6). В последнее время поисковые системы очень внимательно относятся к качеству публикуемых материалов. Вполне возможно, что вы пишите текст сами и при проверке он уникален на 100%, но никто не гарантирует вам того, что его у вас не украдут и не разместят на более авторитетном ресурсе. О том, как этого избежать хорошо написано в этой статье.

Если у вас есть какой-то случай, не укладывающийся в эти 9 пунктов, напишите о нем в комментариях.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *