Вот мы с завидным постоянством говорим о таком понятии, как «Роботы поисковых систем», но мало кто из нас пытался в нем разобраться. С поисковой системы придет робот и проиндексирует ресурс или не проиндексирует, наложит фильтр или отправит сайт в бан — это те термины которые мы постоянно слышим.
Вникать в подробности их работы стремится далеко не каждый вебмастер — какие типы роботов у поисковых систем существуют, в чем задача каждого из них и как они влияют на видимость сайта для поисковиков. В этой статье мы подробно постараемся с вопросом про поисковых роботов, рассмотрим типы и функции.
Кто такой поисковый робот
Crawler (робот) — собирает и хранит в себе информацию об URL адресах сайтов, которые ему необходимо проиндексировать или просканировать на вновь появившийся контент. То есть, в своем роде он представляет собой некий анализатор, основным назначением которого является анализ содержимого веб — документов (текста, изображений, видео и технической составляющей).
На сегодняшний день, Яндекс и Google сообщают нам о четырех типах поисковых роботов, которые посещают наши ресурсы.
Типы роботов поисковых систем
Быстрый робот (быстробот). Основной функцией является индексация свежей, актуальной, только что появившейся информации и внесением ее в основную базу. Этот трудяга живет на новостных ресурсах, а может поселиться и на вашем блоге, если вы будут регулярно публиковать материалы. То что находит быстробот появляется в поисковой выдаче сразу, без долгих проверок и анализов.
Индексирующий поисковый робот. Основное его назначение это сбор сведений о ссылках и контенте для формирования базы поиска. В основном проводится проверка на уникальность, релевантность, водность, тошноту и другие SEO параметры. Он посещает ресурс не так часто, как первый тип, но при этом, играет более важную роль для индексации сайта. Собранные им данные входят в результаты поиска всерьез и надолго.
Для того, чтобы роботы поисковых систем более тщательно индексировали ресурс, учли все важное и не показывали в поиске конфиденциальную информацию настройте правильно файл Robots.txt и сделайте XML карту сайта.
Поисковый робот по изображениям. В одной из следующих статей я расскажу, как получить трафик с Яндекс и Google размещая на сайте уникальные изображения и картинки, которые очень активно индексируются и попадают в поиск. В некоторых тематиках трафик с изображений может быть очень большим.
Технический. Проверяет работоспособность сайта, наличие и влияние скриптов на пользователя (вредоносный код и вирусы), скорость загрузки страниц и другие параметры. Мною на блоге было опубликовано несколько постов касающихся вопроса технической оптимизации сайта, в частности про ошибку 404 и 301 редирект. Советую вам прочесть их и применить на практике.
На самом деле, роботов существует гораздо больше, чем я написал, просто эти 4 попадаются чаще всего и нужны каждому сайту, а такие экземпляры как робот Яндекс Маркета или Яндекс Календаря имеют узкую специфику и интересны только для некоторых ресурсов.
Как узнать о посещении поисковым роботом ресурса
Сегодня практически любой владелец интернет портала способен определить когда и какой поисковый робот заходил на его сайт. Для этого достаточно открыть «Лог — файл», который можно найти в административной панели хостинга.
Чуть ниже представлена таблица, как отмечаются роботы поисковых систем при сканировании блога. Подробнее можно узнать пройдя по ссылке.
На этом, прекращаем играться в роботов и идем работать над своими проектами. Хорошего настроения и всего самого наилучшего.