Spass mit Webspiders III

It's a maexotic world ...


webspider FAIL Manche Schreiber von Webspiders stellen sich genauso dämlich an, wie die Schreiber von Spambots, was dazu führt (bei mir), dass sie auch genauso behandelt werden.

Ein richtiger Bot meldet sich auch so im User-Agent, mit einer eindeutigen Kennung und Infos, und nicht als Browser. Dann kann ich auch in der robots.txt Datei definieren, ob ich will, dass er meine Seiten abläuft oder nicht.
Und der grösste Schwachsinn ist es wohl heutzutage, da alle den Microsoft Internet Explorer Version 6.x loswerden wollen, sich als solcher auszugeben.

Gleiches gilt für das Referer-Feld. Das Feld is optional. Wenn man keine Referrer-Info mitschicken will, lässt man das Feld einfach weg. Stattdessen aber Referer: - zu schicken ist einfach nur kompletter Blödsinn.

Ich kann es noch ansatzweise verstehen, wenn Google, Microsoft, Yahoo und Co ab und zu mit Browserkennung aufschlagen, um zu sehen, ob die SEOs eine Spezialbehandlung für ihre Bots machen. Aber dann sollten sie auch nicht erkennbar von delegierten IP-Bereichen kommen - wie blöde glauben die eigentlich, dass professionelle SEOs sind?

Comments

Add Comment

Standard emoticons like :-) and ;-) are converted to images.
E-Mail addresses will not be displayed and will only be used for E-Mail notifications.

To prevent automated Bots from commentspamming, please enter the string you see in the image below in the appropriate input box. Your comment will only be submitted if the strings match. Please ensure that your browser supports and accepts cookies, or your comment cannot be verified correctly.
CAPTCHA