scripte html-code gegen suchmaschienen bots

Re(7): scripte html-code gegen suchmaschienen bots

error-is.org — Thu, 17 Jun 2004 15:43:07 GMT

msn schon, und um die gehts!

Re(4): scripte html-code gegen suchmaschienen bots

Raydoo — Thu, 17 Jun 2004 15:36:29 GMT

? ich will das der bot mir nicht soviel traffic verursacht

Re(6): scripte html-code gegen suchmaschienen bots

airboy — Thu, 17 Jun 2004 15:19:13 GMT

nicht jede suchmaschine kümmert sich um die robots.txt

Re(3): scripte html-code gegen suchmaschienen bots

airboy — Thu, 17 Jun 2004 15:18:36 GMT

dann schreib in die webalizer conf dass er die msnbots ignorieren soll?

Re(7): scripte html-code gegen suchmaschienen bots

error-is.org — Thu, 17 Jun 2004 15:17:07 GMT

ok no problem. soll nix schlimmeres passieren.

Re(6): scripte html-code gegen suchmaschienen bots

Raydoo — Thu, 17 Jun 2004 14:52:54 GMT

ja ok sorry hab ich deinen post missverstanden

Re(5): scripte html-code gegen suchmaschienen bots

error-is.org — Wed, 16 Jun 2004 21:16:41 GMT

hallo,

JA ich weiß was webalizer ist, und wenn du mal gscheite logfile-analyzer (awstats zb) gesehen hast, dann wirst auch von deinem webalizer wegkommen.

und WENN du wüsstest was robots.txt ist, dann wüßtest du auch, dass man dort expliziet bots ausschließen kann.

denn

schließt ALLE bots aus, robots.txt ist für explizite einstellungen.

so, das wars von meiner seite. restliche anschläge auf meiner tastatur wären verschwendung, da ich mich wiederhole.

Re(4): scripte html-code gegen suchmaschienen bots

Raydoo — Wed, 16 Jun 2004 18:15:41 GMT

lol

wieso soll ich nicht webalizer verwenden ?
weist du überhaupt was das macht :D
das wertet mir die logfiles meines webservers aus und die besagen das
der client von der url msnbot64050.search.msn.com schon 350 mb traffic verusacht hat

und ich weiss was ne robots.txt ist aber ich will ja nicht die nützlichen bots ausschliessen

Re(3): scripte html-code gegen suchmaschienen bots

error-is.org — Wed, 16 Jun 2004 17:24:58 GMT

du benutzt doch nicht ernsthaft webalizer?

und wieso meint er anderes? ist webalizer ne suchmaschine.

informier dich bitte über robots.txt

Re(2): scripte html-code gegen suchmaschienen bots

Raydoo — Wed, 16 Jun 2004 14:19:22 GMT

holla black

ja das wars das haltet ja leider alle robots fern naja mal schauen wenn ich nix besseres finde

danke trotzdem

Re(2): scripte html-code gegen suchmaschienen bots

Raydoo — Wed, 16 Jun 2004 14:18:19 GMT

na mein webalizer meint aber anderes

Re: scripte html-code gegen suchmaschienen bots

error-is.org — Wed, 16 Jun 2004 09:46:35 GMT

ich bewzweifle ich, dass der traffic von den suchmaschinen belastet wird. diese indiziieren nur den code, transferieren keine bilder, usw.

google mal nach "robots.txt"

diese datei enthält anweisungen für suchmaschinen.

Re: scripte html-code gegen suchmaschienen bots

BlackLegend — Wed, 16 Jun 2004 06:15:34 GMT

Hi Ray,

<META name="ROBOTS" content="NOINDEX,NOFOLLOW">

ist der Metatag der die Search Engines abhält bzw. abhalten sollte.

NOINDEX = Seite nicht aufnehmen
NOFOLLOW = Links auf der Seite nicht folgen

Zweiteres wage ich zu bezweifeln, da Search Engines sehr ausgeklügelte Systeme sind, die entsprechende Algorithmen implementiert haben bzw. kaum von einer Schleife einer Webpage überlastet werden.

scripte html-code gegen suchmaschienen bots

Raydoo — Wed, 16 Jun 2004 05:58:58 GMT

hallo

da in letzter zeit die msnbots auf meinem webserver wüten und sie mehr als die hälfte des gesamten traffics verursachen wollte ich fragen obs da eine möglichkeit gibts explizit msnbots auszusperren

weiters habe ich mal auf einer seite ein script gesehen welches spambots auf die seite dieser gruppe leite wo sie dann in einer schleife gefangen, und so überlastet werden
kennt das wer ?