Webcrawler – was ist das?

Als Webcrawler wird ein Programm bezeichnet, dass automatisch das Internet nach speziellen Informationen und Daten durchsucht. Bei diesen Informationen und Daten kann es sich beispielsweise um Kontakte wie E-Mailadressen handeln sowie ebenso um Produktinformationen in Online-Shops. Webcrawler werden zusätzlich oftmals zur Indexierung einer Internetseite für Suchmaschinen wie Google und Co. angewandt. Bots zur Datenanalyse im Internet Ein Webcrawler ist vielen ebenso unter den Namen Bot, Searchbot, Robot oder Spider bekannt. Die Software durchsucht das Internet „von allein“ nach verschiedenen Informationen und Daten und analysiert diese im Anschluss. Vor allem für die Indexierung von Internetseiten für Suchmaschinen werden Webcrawler oftmals genutzt.

Weiterlesen