Еще в 1994 году создали протокол по исключениям для роботов, но до сегодняшнего дня его так и не внедрили, он остался как рекомендация.
Если робот ведет себя некорректно, то вы не можете на него пожаловаться, единственный выход – это запретить «нарушителю» вход на разработка сайта, вашего сайта, лучшего сайта, используя настройки для веб-сервиса или определители IP-адреса, с которого были отосланы не совсем правильные запросы.
Хотя, стоит отметить, что роботы крупных поисковиков придерживаются исключений и, кроме того, вносят свои дополнения и расширения. Так, применяя дополнения, которых нет в стандартных исключениях, поисковики дают возможность более гибкого управления своим роботом. Например, с инструкцией Crawl-delay веб- специалист может выставить определенный промежуток между осуществлением запроса 2-х документов для роботов с Yahoo! и MSN, а если использовать инструкцию Host, то есть возможность указывать адрес зеркала ресурса для поисковика «Яндекс».
Но при этом стоит быть осторожнее с дополнительными инструкциями, так как другой робот, к примеру Snapchat, может не учесть не только данную инструкцию, но и все правила, что относятся к ней.
Кроме того, вести управление посещаемости роботов можно и в косвенном порядке, то есть робот от Гугла будет в очередной раз забирать те документы, на которые делают ссылки чаще всего.
- Об авторе
- Последние статьи
Подробнее
- Олимпиада Яндекс.Root для системных администраторов - 3 апреля 2015
- Полезная накрутка друзей Вконтакте - 2 января 2015
- Обзор игры Rail Nation - 31 декабря 2014
11 августа, 2022 
Алексей Терентьев 