Краулер, веб-краулер
Краулер, или веб-краулер (web crawler) — специальная программа – паук, имеющаяся у каждой поисковой системы. Паук – веб краулер отличается упорным характером, повышенным любопытством и нечеловеческой работоспособностью.
Трудяга веб-краулер отвечает за сбор данных с Ваших сайтов, их обновление, а так же все время ищет «чего же там новенького?», благодаря чему находит новые страницы, доселе неизвестные поисковой системе.
Увидеть паука – просто хорошая примета. Увидеть паучка веб-краулера на сайте – замечательная примета для владельца сайта ! :)