Der zehnte Tag - Fortführung des HTML-Grundkurses

Gestern konnte die Robots.txt und htaccess nicht mehr behandelt werden.

Robots.txt
Die Robots.txt ist die Datei, die von den Suchmaschinen-Crawlern ausgelesen werden. Unter www.bjoernsworld.de/suchmaschinen/robots-txt.html findet man eine Beschreibung der Robots.txt.

Die Scripte sollten in einem separaten Verzeichnis liegen (z. B. /cgi-bin/). Dieses Verzeichnis so wie temp-Verzeichnisse sollte für die Suchmaschinen-Crawler nicht zugängig sind mit
dem Code 
User-agent: *
Disallow: /cgi-bin/
Disallow: /temp/
kann man die Crawler von diesen Verzeichnissen fernhalten.

Außerdem hat man die Möglichkeit, die Seite zwar indizieren zu lassen (z. B. das Impressum oder die AGB), die Links auf dieser Seite aber nicht weiter verfolgen zu lassen. Dazu sollte folgender Code im Head der Webseite stehen.
Seite nicht indizieren:
[spitze Klammer auf]meta name="robots" content="noindex" /[spitze Klammer zu]
Links auf der Seite nicht verfolgen:
[spitze Klammer auf]meta name="robots" content="nofollow" /[spitze Klammer zu]

Das ist insofern wichtig, als dass Google die Relevanz einer Seite auch anhand der verlinkten Seiten auf einer Seite beurteilt, d. h. Links zu nicht themenrelevanten Seiten sollten ausgeschlossen werden.

Mehr zu den Meta-Angaben im Head findet sich auch auf der Seite http://de.wikipedia.org/wiki/Meta-Element.

Htaccess
In der Htaccess kann nicht nur der Password-Schutz für eine Webseite oder Teile von ihr festgehalten werden, sondern man kann in ihr auch z. B. definieren, wie die URLs umgeschrieben werden sollen, damit sie SEO-Optimal sind.

Das ist insofern wichtig, als dass Google die Relevanz einer Seite auch anhand der URL beurteilt. Eine URL-Struktur wie z. B. www.musterseite.de/HTML-Grundkurs wird deutlich besser bewertet als www.musterseite.de/2012/10/5715785.html. Die meisten Content-Management-Systeme bieten die Möglichkeit im Menü "Permalinks" diese Einstellung komfortabel vorzunehmen. Die Htaccess wird dann entsprechend automatisch konfiguriert.

Mehr zum Thema htaccess findet man unter http://de.wikipedia.org/wiki/Htaccess.

Links auf der Webseite 
Weiter oben habe ich schon den Code "Links auf der Seite nicht verfolgen:
[spitze Klammer auf]meta name="robots" content="nofollow" /[spitze Klammer zu]" vorgestellt. In diesem Zusammenhang unterstreicht Ralf noch einmal, dass Links nach draußen mit Bedacht zu setzen sind, um die Wertigkeit der eigenen Seite nicht zu reduzieren. Wenige Links nach "draußen" (auf Webseiten Dritter) ist sinnvoll, zu viele Links oder Links auf nicht themenverwandte Seiten sind kontraproduktiv. Besser ist es viele Website-interne Links zu setzen.

Die Dont's in der Website-Gestaltung

• kein übermäßiger Einsatz von h1-Überschriften
• keine weiße Schrift auf weißem Hintergrund
• Keine Schriftgröße kleiner 6
• keine Keywords hinter Bildern bzw. anderen Ebenen verstecken 
• auf keinen Fall dem Cawler eine andere Seite liefern als die, die der User bei normaler Browsernutzung sieht (Grund für BMWs temporären Ausschluss aus dem Google-Index)
• Generell ist die Nutzung von Div-Containern nicht optimal, da Google diese Seiten schlecht auswerten kann. Wenn mit Div-Containern über jquery gearbeitet wird, muss man darauf achten, dass Div-Container nach dem Verschieben aus dem Viewport vernichtet werden, Google könnte dies sonst als Betrugsversuch werten.
• mehr Dont's finden sich unter t3n.de/news/seo-25-grunde-abstrafung-google-410319/seo_google_abstrafung_infografik 

Klausurrelevant
Klausurrelevant ist zu wissen, dass folgende Elemente genutzt werden können und sollten, um die Website auf die (wichtigsten) Keywords zu optimieren:

• Domain
• Title
• Meta-Description 
• weitere Meta-Angaben, die zwar nicht von Google aber anderen Suchmaschinen ausgelesen werden

Außerdem sollte man wissen, dass die robots.txt und die .htaccess-Datei konfiguriert werden können, und dass man die einzelnen Seiten mit noindex und nofollow von der Indizierung und der Linkverfolgung ausschließen kann.