Mit der Datei robots.txt Seiten vor Robots schützen
Suchmaschine crawler spider
http://www.bjoernsworld.de/suchmaschinen/robots-txt.html besuchen
Informationen
Erstmals am 22.11.2006 gespeichert von mr.easht
Zuletzt am 14.05.2009 gespeichert von defactox
Alle Bookmarks von www.bjoernsworld.de »
Weitere Bookmarks zu suchmaschine, crawler, spider
Kommentare von Benutzern
mr.easht am 22.11.2006
Wie funktioniert die robots.txt und wozu ist sie da? Wie schützt man Seiten vor der Indexierung und vor Robots?
mr.eashts Tags: robots.txt indexieren crawler spider suchmaschine robot