Hallo zusammen
Ich möchte, solange ich an meiner Website werkle, von allen Suchmaschinen in Ruhe gelassen werden. Gehe ich richtig in der Annahme, dass ich mit folgendem Eintrag in der robots.txt dieses Ziel erreiche?
Mein Stammverzeichnis auf dem Webhoster heisst “html”. Dort hinein gehört robots.txt oder noch eine Stufe höher?
Grüsse, Marcel
[quote=“ryma, post:1, topic:6420, full:true”]Gehe ich richtig in der Annahme, dass ich mit folgendem Eintrag in der robots.txt dieses Ziel erreiche?
[/quote]
Jein. Du sagst den Crawlern, dass sie bestimmte Seiten nicht erfassen sollen. Ob sie sich dran halten, kannst du nicht festlegen. Es gibt genügend “böse” Crawlen draussen im weiten und dunklen Internet, die sich einen Teufel um solche Vorgaben scheren.
[quote=“ryma, post:1, topic:6420, full:true”]Mein Stammverzeichnis auf dem Webhoster heisst “html”. Dort hinein gehört robots.txt oder noch eine Stufe höher?
[/quote]
Die robots.txt gehört ins Root-Verzeichnis deiner Webseite. das ist die Ebene, wo auch die index.html deiner Startseite liegt
Also gibt’s keinen Schutz, und demnach nützt die robots.txt eigentlich nichts. Zumindest nicht gegen die Bösen. – Aber der Eintrag würde so stimmen?[quote=“apfelpuree, post:2, topic:6420”]
Die robots.txt gehört ins Root-Verzeichnis deiner Webseite. das ist die Ebene, wo auch die index.html deiner Startseite liegt
[/quote]
Das habe ich damit gemeint.
Grüsse, Marcel
In der Eile habe ich in RapitBot den Button “Online Validation” nicht gesehen. Der Aufruf der Überprüfungs-Seite bestätigt mir, dass der Eintrag stimmt.