Urs E. Gattiker

DrKPI: Robots.txt

Einfacher Test ob der robots.txt Datei richtig eingestellt ist

Den URL im Browser eingeben und /robots.txt hinzufügen
Beispiel für unseren Blog: http://blog.drkpi.de/robots.txt

Achtung mit der robots.text Datei

Einige der Blogs lassen Suchmaschinen wie Bing, Google, usw. deren Inhalte nicht indexieren. Andere erlauben es Google aber sonst niemandem. Dies ist schlecht, denn wenn die Suchmaschine die Inhalte nicht indexieren kann, dann wird der Blog auch wenig Besucher über Suchresultate erhalten.
Wenn die robots.text Datei zeigt, dass man die Inhalte des Blogs nicht indexieren darf, dann respektieren wir dies selbstverständlich! Für uns ist „Business Ethics 101“ und somit lassen wir es sein. Aber dies ist sicherlich nicht im Interesse des Blog-Besitzers.

Wir empfehlen Ihnen, dies nicht zu tun. Falls sie es trotzdem tun können wir Ihre Seite nur dann indexieren, wenn Sie im Robot txt File einen Zusatz einfügen. Dieser sollte wie folgt lauten:

User-agent: BlogRankBot

Allow: /

Die obigen Ausführungen erlauben es dem DrKPI BlogRank Bot der für DrKPI.de arbeitet Ihren Blog zu indexieren. Somit können Sie immer noch anderen Bots diesen Zugan verweigern, wenn Sie dies möchten. Nur bei Erlaubnis können wir Ihnen die Daten zur Verfügung stellen, die es Ihnen ermöglichen, die Performance und das Ranking Ihres Blogs zu verbessern.

Einfacher Test ob der robots.txt Datei richtig eingestellt ist

Den URL im Browser eingeben und /robots.txt hinzufügen
Beispiel für unseren Blog: http://blog.drkpi.de/robots.txt

PS: 99.68% aller Blogger erlauben uns Ihren Blog zu indexieren, um somit unsere Kennzahlen nutzen zu können. Machen Sie mit.
Übrigens, auch auf WordPress muss man dies richtig bewerkstelligen.

Sichtbarkeit für Suchmaschinen

Es liegt an den Suchmaschinen, diese Anfrage anzunehmen, wenn sie die Indexierung des Blogs untersagen. Doch macht das Sinn?

Wenn die obige Box mit √ markiert wurde ist es geschehen, Google kann zwar Ihren Blog nicht indexieren. Das heisst es kann, sollte es aber lassen und tut es manchmal trotzdem weil es diesen Befehl ignoriert.
Wir bei DrKPI respektieren diesen Wunsch und indexieren – crawlen – den Blog nicht. Die obige Seite finden Sie bei WordPress unter:
Einstellungen > Lesen auf Ihrem WordPress Admin Panel (Sichtbarkeit für Suchmaschinen – Box darf nicht mit Haken markiert sein).
Wir wünschen Ihnen weiterhin viel Spass beim Bloggen.