Robot-Plage?

[cws]

Es gibt Suchmaschinen, die schicken ihre Robots in homöopathischen Dosen und haben doch prima Ergebnisse (Google), und es gibt welche die machen mehr Traffic als die User (inktomi).

Auch hier im Forum, wenn man die online.php ansieht, da ist
"Yahoo! Slurp Suchmaschine (inktomi)" in Hunderterpack, während man den kleinen Googlebot suchen muss.

Warum sind die einen so spammartig und die anderen so zartfühlend?

Es ist ja nicht so, dass es nur hier bei AT so ist, weil es so ein großes Forum ist, nein, das ist in kleinen Foren nicht anders.
Die Anzeige "Die meisten User waren am ...." ist bei vielen VBulletin-Foren ein Wasserstandsmelder des Eröffnungsangriffs der "Yahoo! Slurp Suchmaschine (inktomi)"

Das Problem ist, dass es Traffic erzeugt, Traffic der bezahlt werden muss, der den Datenbank-Server belastet.

Also warum sind die einen so, die anderen eben nicht?

 

[stk]

Moin,

sperr sie doch einfach aus. robots.txt und Meta-Tag "revisit" regeltz.

Gruß Stefan

 

[cws]

Moin,

sperr sie doch einfach aus. robots.txt und Meta-Tag "revisit" regeltz.

Gruß Stefan

Na das will man ja auch nicht, dann streicht man sich auch aus der Suchmaschine.

Eigentlich will ich verstehen, warum die einen so und die anderen so sind. Damit leben wird man müssen.

 

[mfkne]

Ich glaube, das ist wie bei den Browsern: Warum halten sich die einen an Standards und andere nicht?

 

[cws]

Ich glaube, das ist wie bei den Browsern: Warum halten sich die einen an Standards und andere nicht?

Na, ich denke schon, dass die damit einen Zweck verfolgen, sich Vorteile ausrechenen. Das die einfach ztu blöd sind vernünftige Robots zu programmieren glaube ich nicht und ein Interesse am Durchsetzen von eigentümlichen Standards leuchtet mir auch nicht ein.

Ich könnte mir z.B. vorstellen, dass Google das Internet fast komplett spiegelt, und inktomi nicht. Das könnte unterschiedliche Strategien begründen. Ist aber einfach so ins Blaue spekuliert.

 

[ZENcom]

Das ist ein systemisches Problem der Datenbankanbindung bei den Datenbanksystemen der jeweiligen Unternehmen.

Metaphorisch ausgedrückt, fragst du: Warum sind Chinesen nicht wie Schweden (und umgekehrt)?

Jede Suchmaschine hütet - Im Internet der Dinge - ihre eigene 'besondere' Robotroutine. Die Algorithmen die die Datenbankprovider für ihre Robots einsetzen sind streng bewachte Sources. Die einen schreiben sie so und die anderen schreiben sie nochmal anders, um an die gewünschten Informationen heranzukommen. In dem Sinn entsteht Wettbewerb unter den Suchmaschinen. Der Consumer 'Internetseite' wird dabei nur selten in die Optimierungsstrategien einbezogen und dadurch entstehen rein Suchmaschinen optimierte Verfahren.

In wie weit sich jetzt das Transfervolumen durch die Zugriffe für die Server steigert und die Bandbreite des Datenaustauschs dezimiert sollte Gerd wissen.

 

[cws]

... In wie weit sich jetzt das Transfervolumen durch die Zugriffe für die Server steigert und die Bandbreite des Datenaustauschs dezimiert sollte Gerd wissen.

Transfervoulumen und Bandbreite sind meist kein Problem, die Provider sind wohl eher unglücklich, wenn die Zahl der Datenbankzugriffe und damit auch die Serverlast extrem ansteigt. Und genau dabei schafft inktomi ordentlich was.
Aber was Gerd da sagt wäre schon interessant. Wobei das eher kleinere Seiten trifft? Weil da der Prozentsatz des Suchgmnaschinentraffics noch höher ist.