C wie Crawler

Crawler sind Computerprogramme welche das www nach Webseiten durchsucht. Der erste Crawler wurde 1993 eingesetzt um die Größenentwicklung des Internets zu dokumentieren.