Spass mit Webspiders III

Manche Schreiber von Webspiders stellen sich genauso dämlich an, wie die Schreiber von Spambots, was dazu führt (bei mir), dass sie auch genauso behandelt werden.

Ein richtiger Bot meldet sich auch so im User-Agent, mit einer eindeutigen Kennung und Infos, und nicht als Browser. Dann kann ich auch in der robots.txt Datei definieren, ob ich will, dass er meine Seiten abläuft oder nicht.
Und der grösste Schwachsinn ist es wohl heutzutage, da alle den Microsoft Internet Explorer Version 6.x loswerden wollen, sich als solcher auszugeben.

Gleiches gilt für das Referer-Feld. Das Feld is optional. Wenn man keine Referrer-Info mitschicken will, lässt man das Feld einfach weg. Stattdessen aber Referer: - zu schicken ist einfach nur kompletter Blödsinn.

Ich kann es noch ansatzweise verstehen, wenn Google, Microsoft, Yahoo und Co ab und zu mit Browserkennung aufschlagen, um zu sehen, ob die SEOs eine Spezialbehandlung für ihre Bots machen. Aber dann sollten sie auch nicht erkennbar von delegierten IP-Bereichen kommen - wie blöde glauben die eigentlich, dass professionelle SEOs sind?