Случайно обнаружил, что бесплатный
счетчик LiveInternet (иногда ошибочно пишут
lifeinternet ) может отлавливать роботов поисковых систем и содержит отчеты по страницам, где побывал робот.
Установка ловушки для поисковых роботов на страницах вашего сайта, ссылка:
Если коротко, то это делается так:
1) На веб сервере хостера сохраняется PHP скрипт
2) на всех станицах сайта делается короткая SSI вставка
3) когда робот будет лазить по сайту то это вызовет срабатывание скрипта PHP, который передает данные в LiveInternet
Обычными средствами javascript и images невозможно обнаружить робота, только на стороне сервера.
После долгих мытарств понял, что существует два способа использовать этот скрипт:
На PHP движках это не работает. Проверить можно следующим образом. Открыть в баузере страницу и посмотреть на исходный HTML код, если вставку SSI вы увидели, значит она не сработала, что-то не так.
2) На свой сайт я внедрил следующим образом:
путем включения в свой index.php кода:
include "/lifeinternet/li_spider_check.php";
где lifeinternet - это папка, где находится этот скрипт на вашем сайте. Все прекрасно заработало.
Только помните, что правильно писать LiveInternet, а не
Lifeintenet
