Das Attribut „noindex“ wird bei Bedarf in den Kopfbereich einer Website – genauer gesagt innerhalb der Meta-Tags – untergebracht. Die Angabe teilt einem Suchmaschinencrawler mit, dass die besuchte Seite nicht in den Index aufgenommen werden soll. Seiten mit dem „noindex“-Attribut werden also nicht in den Ergebnissen einer Suchmaschine gelistet.
Webmaster können also bewusst beeinflussen, welche Seiten ihrer Website in den Suchergebnissen angezeigt werden sollen und welche nicht. Befindet sich eine Website beispielsweise gerade noch im Aufbau und ist daher noch nicht bereit, über Suchmaschinen gefunden zu werden, kann man die komplette Website mit dem „noindex“-Tag auszeichnen. Aber auch einzelne Seiten wie bspw. das Impressum oder urheberrechtlich geschützte Inhalte können mit noindex ausgeschlossen werden.
Das Gegenteil von “noindex” ist “index”, d.h. die Seite kann von den Suchmaschinen indexiert werden. Während sich Suchmaschinen strikt an “noindex” halten, ist “index” nur als eine Empfehlung zu betrachten. Ob eine Seite tatsächlich in den Index aufgenommen wird, entscheidet die Suchmaschine anhand verschiedener Bewertungskritieren. Duplikate, Seiten mit schwachem Content oder abgestrafte Seiten werden also trotz “index” nicht zwangsläufig in die Suchergebnisliste aufgenommen.
Enthält eine Seite weder das Attribut “noindex” noch “index”, wird sie von Suchmaschinen so behandelt, als wäre der Meta Tag auf “index” gesetzt.
Einbindung von “noindex”
Möchte man eine Website oder eine einzelne Unterseite aus den Suchergebnissen ausschließen, muss man den „noindex“-Tag in den Kopfbereich der entsprechenden Seite eintragen.
<head>
[…]
<meta name=”robots” content=”noindex” />
[…]
</head>
Bei Verwendung von WordPress in Kombination mit dem Yoast SEO Plugin kann man die Einstellung direkt über das Plugin auf der entsprechenden Seite vornehmen. Hierfür scrollt man im Backend bei der Seite einfach bis zum Tool, klickt auf das Zahnradsymbol und wählt im Dropdown Menü „Nein“ aus.
Besucht nun ein Crawler die Seite und erkennt das „noindex“ Attribut im Head, dann indexiert er sie dementsprechend nicht bzw. entfernt die Seite wieder aus dem Index, wenn diese zuvor gelistet war.
Um zu kontrollieren, ob der eingegebene Meta-Tag gelesen und berücksichtigt wurde, können Webmaster eine sogenannte Site-Abfrage für die betreffende Seite durchführen. Ist der Tag korrekt eingebaut, dann sollte die entsprechende Seite nicht mehr in den SERPs auftauchen.
Sonderfälle
“noindex, follow”
Wer möchte, dass ein Crawler eine Unterseite nicht indexiert, den Links darauf aber dennoch folgt, kann den Meta-Tag „noindex“ noch um den Zusatz „follow“ erweitern. In der Praxis sieht die Zusammensetzung dann so aus:
<meta name=”robots” content=”noindex,follow” />
Dies macht beispielsweise dann Sinn, wenn die mit “noindex” ausgezeichnete Seite auf andere Seiten verlinkt, die im Gegensatz zu ihr in den Index aufgenommen werden sollen. Zum Beispiel bei Shopkategorien, die keine eigenen Inhalte enthalten, aber auf Produkte verweisen, die über die Suchergebnisse gefunden werden sollen.
“noindex, nofollow”
Soll ein Crawler eine Website weder in den Index aufnehmen noch den darauf befindlichen Links folgen, wird der Tag “noindex,nofollow” im Head-Bereich implementiert:
<meta name=”robots” content=”noindex,nofollow” />
In der Praxis wird jedoch von dieser Methode abgeraten, da sie bei falscher Anwendung das Crawling der gesamten Website behindern kann.
Unterschied zwischen “noindex” und “disallow” in der Robots Datei
Oftmals herrscht bei Webmastern Unklarheit über den Unterschied zwischen der Angabe “disallow” in der Robots Datei und dem “noindex” Tag in den Meta-Angaben. Beim “noindex” Tag wird lediglich die Indexierung der Website verhindert, nicht aber das Crawling durch die Suchmaschine. Die “disallow” Angabe in der Robots Datei hingegen unterbindet das Crawling, aber nicht die Indexierung einer Website.
Viele Webmaster kommen daher auf die Idee, beide Anweisungen gleichzeitig zu verwenden, ganz nach dem Motto “doppelt hält besser”. Davon ist jedoch dringend abzuraten. Die Robots Datei ist nämlich das erste Dokument, das ein Crawler beim Aufruf einer Website anschaut. Stößt er hier auf die Anweisung “disallow”, wird er die Seite auch nicht durchsuchen. Wenn er sie aber nicht durchsucht, kann er auch nicht den Meta Tag “noindex” auslesen. Dies führt also vor allem dann zu Problemen, wenn sich eine Website bereits im Index befindet und wieder entfernt werden soll. Mit dieser Vorgehensweise wäre dies nicht möglich. Auch, wenn eine Website nicht indexiert werden soll, der Crawler aber dennoch den Links auf der Seite folgen soll, kann dies zu Problemen führen.
