X-Robots-Tag
Was ist der X-Robots-Tag?
Der X-Robots-Tag ist ein HTTP-Response-Header, der Suchmaschinen-Crawlern mitteilt, wie sie eine Seite oder Datei behandeln sollen – ob sie indexiert, gecacht oder ob Links darin verfolgt werden dürfen. Er funktioniert wie das bekannte robots-Meta-Tag im HTML-Head, hat aber einen entscheidenden Vorteil: Er kann auf alle Dateitypen angewendet werden, nicht nur auf HTML-Seiten.
X-Robots-Tag vs. Meta-Robots-Tag
- Meta Robots Tag – wird im
<head>einer HTML-Seite platziert. Funktioniert nur für HTML-Dokumente, die ein Browser rendern kann. - X-Robots-Tag – wird als HTTP-Header gesendet. Funktioniert für alle Ressourcentypen: PDFs, Bilder, JSON-Dateien, API-Endpunkte, JavaScript-Dateien.
Typische Direktiven, die beide Formate kennen: noindex (nicht indexieren), nofollow (Links nicht verfolgen), noarchive (nicht cachen), none (weder indexieren noch Links folgen).
X-Robots-Tag in WordPress
WordPress selbst setzt den X-Robots-Tag nicht automatisch für normale Seiten. SEO-Plugins wie Yoast SEO oder Rank Math können ihn jedoch ausgeben. Ein typisches Szenario: Staging-Umgebungen oder Entwicklungsversionen einer Website sollen vollständig von der Indexierung ausgeschlossen werden – hier ist ein serverseitiger X-Robots-Tag: noindex die zuverlässigste Methode, da er auch dann greift, wenn jemand vergisst, das SEO-Plugin entsprechend zu konfigurieren.
X-Robots-Tag per PHP in WordPress setzen
add_action( 'send_headers', function() {
if ( ! is_user_logged_in() ) {
header( 'X-Robots-Tag: noindex, nofollow', true );
}
} );Mit diesem Code-Snippet in der functions.php eines Child Themes oder in einem Plugin erhält jede Seite den Header – praktisch für Entwicklungsumgebungen, bei denen alle Seiten von der Indexierung ausgeschlossen werden sollen.
