Traffic! Wie sich der Googlebot in meiner Joomla Seite festfraß

Oh weiha, wer hätte gedacht das der Googlebot so böse sein kann, dass jeder DDoS Angriff daneben wie ein kleines Mädchen aussieht.

Ausgangssituation war folgende:
Ich habe mich mit Webseitenoptimierung auseinandergesetzt. Ladezeiten, Last, etc. Zugegeben, vorher hat mich sowas kaum interessiert, doch ich habe in letzter Zeit ein höheres Qualitätsempfinden entwickelt, was ich für private Zwecke eher nicht hatte. (jaja mein Blog wird auch bald im IE gut Aussehen *hüstel*)

So, jetzt habe ich einfach mal geschaut, was denn der Traffic so macht. Habe das Apache Modul mod_deflate installiert und somit schonmal den statischen Textinhalt um bis zu 70% verkleinert. Den eAccelerator zum Cachen der kompilierten php Dateien hatte ich vorher schon. So, da schaute ich dann mal nach laaaanger Zeit wieder mittel vnstat -d in den Traffic des Servers und wunderte mich über relativ hohe Datenmengen von bis zu 4GB täglich. Nach langer Suche fand ich dann im AWStats eines Webprojektes den Grund:

Die Seite selbst macht 7,4GB Traffic, der sogenannte „Not viewed traffic“ macht ganze 112GB aus. Dieser Traffic sind Würmer, Bots, etc. Erstmal das Schlimmste angenommen, Attacke, Wurm, o.ä., aber es war weitaus banaler als gedacht, wie mir mein Account von Google Webmaster Tools offenbarte:

Man sieht, der Bot hat sogar protokolliert, wie sehr er mich mit Anfragen überflutet hat. Maximal 3.3 GB am Tag steht da alleine für den Bot. Die Logdateien des Server sagen aus, dass er sich hauptsächlich im Fireboard von Joomla aufgehalten hat. Gegen Ende der Statistik sieht man ein eindeutiges Abfallen der Kurven für den Traffic und die Anfragen und einen Anstieg bei der Zugriffszeit. Das ganze beruht auf folgender Lösung:

1. Wie schon gesagt, mod_deflate zur Komprimierung der Inhalte

2. In Google Webmaster Tools unter Einstellungen -> Crawling Geschwindigkeit stark heruntergesetzt.

3. Eine dritte Möglichkeit wäre noch gewesen, den Bot mittels robots.txt auszusperren, dies scheint aber nicht nötig zu sein. Auf lange Zeit werde ich mich bei diesem Webprojekt auch von Joomla verabschieden, aber das ist eine andere Geschichte.

Der Traffic der Seite hat sich laut vnstat auch drastisch reduziert. Von bis zu 4.4 GB täglich auf moderate 500-800 MB, mal sehen wie es sich weiter entwickelt. Wenn noch wer gute Traffic-Einspartipps hat, immer her damit

Googles Schuss in den Browserofen

Es scheint ein großes Sommerloch zu herrschen, denn die Netzwelt rastet scheinbar aus, weil Google seinen Browser veröffentlicht hat, der außer ein wenig Geschwindigkeit nicht viel zu bieten hat. Immerhin: Gut die Werbetrommel gerührt haben sie, mit Hilfe eines Onlinecomics, was sich schnell verbreitet hat.

Was ich sehr schade finde: Nur wenige Blogs üben Kritik. Die olle Datenkrake hat nämlich unschöne Sachen eingebaut, zum Beispiel hat jeder Browser eine eindeutige Identifikationsnummer, auch sind die AGB mehr als unschön, was aber mittlerweile wieder geändert wurde.

Scheint vielen Leuten egal zu sein, dass Google immer weiter vordringt und die Menschen analysiert, mir jedenfalls kommt das Ding nicht auf die Platte!

Google macht auf Wiki

Knol heißt die neueste Idee von Google. Diesmal ists eine Onlineenzyklopädie in Konkurrenz zu Wikipedia und den vielen anderen. Der Unterschied: Hier entscheidet der Autor des Artikels, ob eine Änderung durch andere Benutzer am eigenen Artikel vollzogen wird oder nicht.

Ob die Welt eine neue Enzyklopädie und Google ein weiteres Standbein braucht ist fraglich, aber an Forschungsgeldern für noch mehr Projekte wird es wohl nicht scheitern.

Wusstes ihr übrigens, das Knol ein Anagram von Klon ist?

Flashdateien werden googlebar

Adobe veröffentlicht die Technologie, geschlossene proprietäre SWF Dateien für den Flashplayer indexierbar zu machen. Dies dürfte den Index der Suchmaschinen schlagartig immens vergrößern, denn bis heute sind sämtliche Flashdateien für Google und Co praktisch unsichtbar.

Primärer Gedanke: Jetzt dürfte sich neben den Flashkiddies auch jeder echte Gestalter Gedanken machen, ob Flash als Hauptkomponente einer Homepage doch Zukunft hat.

Zwei Eigenheiten machen mir aber noch Kopfschmerzen: Im Bericht wird nur von Google und Yahoo gesprochen. Wird Adobe da wieder ein neues Monopol hochziehen? Und was ist mit umfangreichen Anwendungen, welche ggf. unsauber programmiert wurden? Wie tief wird die Durchsuchbarkeit gehen?

Via Fontblog