Traffic! Wie sich der Googlebot in meiner Joomla Seite festfraß

0

Oh weiha, wer hätte gedacht das der Googlebot so böse sein kann, dass jeder DDoS Angriff daneben wie ein kleines Mädchen aussieht.

Ausgangssituation war folgende:
Ich habe mich mit Webseitenoptimierung auseinandergesetzt. Ladezeiten, Last, etc. Zugegeben, vorher hat mich sowas kaum interessiert, doch ich habe in letzter Zeit ein höheres Qualitätsempfinden entwickelt, was ich für private Zwecke eher nicht hatte. (jaja mein Blog wird auch bald im IE gut Aussehen *hüstel*)

So, jetzt habe ich einfach mal geschaut, was denn der Traffic so macht. Habe das Apache Modul mod_deflate installiert und somit schonmal den statischen Textinhalt um bis zu 70% verkleinert. Den eAccelerator zum Cachen der kompilierten php Dateien hatte ich vorher schon. So, da schaute ich dann mal nach laaaanger Zeit wieder mittel vnstat -d in den Traffic des Servers und wunderte mich über relativ hohe Datenmengen von bis zu 4GB täglich. Nach langer Suche fand ich dann im AWStats eines Webprojektes den Grund:

Die Seite selbst macht 7,4GB Traffic, der sogenannte „Not viewed traffic“ macht ganze 112GB aus. Dieser Traffic sind Würmer, Bots, etc. Erstmal das Schlimmste angenommen, Attacke, Wurm, o.ä., aber es war weitaus banaler als gedacht, wie mir mein Account von Google Webmaster Tools offenbarte:

Man sieht, der Bot hat sogar protokolliert, wie sehr er mich mit Anfragen überflutet hat. Maximal 3.3 GB am Tag steht da alleine für den Bot. Die Logdateien des Server sagen aus, dass er sich hauptsächlich im Fireboard von Joomla aufgehalten hat. Gegen Ende der Statistik sieht man ein eindeutiges Abfallen der Kurven für den Traffic und die Anfragen und einen Anstieg bei der Zugriffszeit. Das ganze beruht auf folgender Lösung:

1. Wie schon gesagt, mod_deflate zur Komprimierung der Inhalte

2. In Google Webmaster Tools unter Einstellungen -> Crawling Geschwindigkeit stark heruntergesetzt.

3. Eine dritte Möglichkeit wäre noch gewesen, den Bot mittels robots.txt auszusperren, dies scheint aber nicht nötig zu sein. Auf lange Zeit werde ich mich bei diesem Webprojekt auch von Joomla verabschieden, aber das ist eine andere Geschichte.

Der Traffic der Seite hat sich laut vnstat auch drastisch reduziert. Von bis zu 4.4 GB täglich auf moderate 500-800 MB, mal sehen wie es sich weiter entwickelt. Wenn noch wer gute Traffic-Einspartipps hat, immer her damit

kommentieren