Google Indizierung

[Alecco]

Hi,

ich habe eine Seite erstellt (ähnlich): www.domain.de/kunden/index.php?var=hallo

Des Weiteren habe ich die Domain www.name.de.
Jetzt hatte Google diese zuerst auch gefunden. Also es steht dort wenn ich google "www.name.de" auch direkt diese Seite. Wenn ich draufklicke ist alles klar und ich komme auf den Index.

Gestern Nacht habe ich dan folgendes gesehen:
Auf einmal war unter "www.name.de" oder den Keywords zwar auf der ersten Position die Domain, aber man gelangte auf sowas wie www.domain.de/kunden/index.php?var=5....

Wieso ist das so? Ich habe in die robots.txt von domain.de geschrieben:

User-agent: BeispielRobot
Disallow: /kunden/

Geht das nun wieder in Ordnung?

[_linx_]

Mach aus dem BeispielRobot en *, dann ist es für alle gültig.

Und nebenbei, es ist keine Verpflichtung der Suchmaschinenanbieter, diese robotx.txt zu beachten, sie wird von vielen auch ignoriert.

[Alecco]

Jetzt habe ich noch eine weitere Frage:

User-agent: *
Disallow: /main/core/daten/

Würden in diesem Fall alle Seiten in main und in core indiziert, aber nur daten nicht?

[_linx_]

Richtig.

[Eisenherz]

Falsch! die Robots.txt sagt nur, dass die Seiten vom Robot nicht aufgerufen werden! Wenn sie extern verlinkt sind, werden sie u.U. aber in den Index aufgenommen.

Um das zu verhindern hast du zwei Möglichkeiten:

1. Per Robots.txt Zugriff wieder erlauben und auf den Seiten (oder im Http-Header) ein NOINDEX ausgeben.
2. (Wenn es nur um Google geht: ) Mit der Webmasterkonsole unter http://www.google.de/webmasters/ die entsprechenden URLs aus dem Index entfernen.

Grüße