crawling

Dark Visitors widmet sich der Auflistung aller Web-Crawler. Sie dienen zur Erstellung von AI-Anwendungen. Mit einer robot.txt-Datei weist der Dienst sie an, die eigene Seite zu ignorieren. Ein praktisches Plugin steht Wordpress-Nutzern zur Verfügung. Nutzer anderer Systeme müssen die Automatisierung selbst vornehmen.