+49 (0) 7351 181318-10
Crawler sind Computerprogramme welche das www nach Webseiten durchsucht. Der erste Crawler wurde 1993 eingesetzt um die Größenentwicklung des Internets zu dokumentieren.