- Registriert
- 21.04.08
- Beiträge
- 374
Hi,
wie wichtig erachtet ihr robots.txt? Ich habe mir mal die Richtlinien von Googles Webmasters angetan und beim
"Crawler-Zugriff" kann man sich ja problemlos eine robots.txt erstellen lassen für seine Website.
Vielerorts gehört "..kannste vergessen..."
Zugreifen tun die Crawler ja sowieso, die robots.txt sagt nochmal explizit das sie es dürfen und man kann Sachen ausschließen...
Ich würde hier mal gerne pro und contra zu robots.txt eröffnen...
LG L
wie wichtig erachtet ihr robots.txt? Ich habe mir mal die Richtlinien von Googles Webmasters angetan und beim
"Crawler-Zugriff" kann man sich ja problemlos eine robots.txt erstellen lassen für seine Website.
Vielerorts gehört "..kannste vergessen..."
Zugreifen tun die Crawler ja sowieso, die robots.txt sagt nochmal explizit das sie es dürfen und man kann Sachen ausschließen...
Ich würde hier mal gerne pro und contra zu robots.txt eröffnen...
LG L