Was ist Robots txt? Korrekt für WordPress

1. Was ist ein Suchroboter?

2. Was ist robots.txt?

robots.txt- Das Textdatei(.txt), die sich im Stammverzeichnis (Stammverzeichnis) Ihrer Site befindet. Es enthält Anweisungen für Suchroboter. Diese Anweisungen können die Indizierung bestimmter Abschnitte oder Seiten der Website verhindern, auf eine korrekte „Spiegelung“ der Domain hinweisen, dem Suchroboter empfehlen, ein bestimmtes Zeitintervall zwischen dem Herunterladen von Dokumenten vom Server einzuhalten usw.

3. Wie erstelle ich robots.txt?

4. Was und warum kann in die robots.txt-Datei geschrieben werden?

User-Agent: * # Der nach dieser Zeile geschriebene Befehl richtet sich an alle Suchroboter
Benutzeragent: YandexBot # Zugriff auf den Haupt-Indizierungsroboter von Yandex
User-Agent: Googlebot # Zugriff auf den Hauptindexierungsroboter von Google

Indizierung zulassen und deaktivieren
Um die Indizierung zu aktivieren und zu deaktivieren, gibt es zwei entsprechende Befehle: Erlauben(möglich) und Nicht zulassen(es ist verboten).

User-Agent: *
Disallow: /adminka/ # verhindert, dass alle Robots das Adminka-Verzeichnis indizieren, das angeblich das Admin-Panel enthält

Benutzeragent: YandexBot # Der folgende Befehl wird an Yandex adressiert
Disallow: / # Wir verbieten die Indizierung der gesamten Website durch den Yandex-Roboter

User-Agent: Googlebot # Mit dem folgenden Befehl wird Google aufgerufen
Zulassen: /images # ermöglicht die Indizierung aller Inhalte des Bilderverzeichnisses
Disallow: / # und alles andere ist verboten

Die Reihenfolge spielt keine Rolle

User-Agent: *
Erlauben: /images
Nicht zulassen: /

User-Agent: *
Nicht zulassen: /
Erlauben: /images
# beide dürfen Dateien indizieren
# beginnend mit „/images“

Sitemap-Richtlinie
Dieser Befehl gibt die Adresse Ihrer Sitemap an:

Sitemap: http://yoursite.ru/structure/my_sitemaps.xml # Gibt die Sitemap-Adresse an

Host-Anweisung
Dieser Befehl wird AM ENDE Ihrer Datei eingefügt und bezeichnet den Hauptspiegel
1) steht am Ende Ihrer Datei
2) wird nur einmal angegeben. andernfalls wird nur die erste Zeile akzeptiert
3) wird nach „Zulassen“ oder „Nicht zulassen“ angezeigt

Host: www.yoursite.ru # Spiegel Ihrer Website

#Wenn www.yoursite.ru der Hauptspiegel der Website ist, dann
#robots.txt für alle Mirror-Sites sieht so aus
User-Agent: *
Nicht zulassen: /images
Nicht zulassen: /include
Host: www.yoursite.ru

# Von Google-Standard ignoriert Host, Sie müssen dies tun
User-Agent: * # alle indizieren
Nicht zulassen: /admin/ # Admin-Index nicht zulassen
Host: www.mainsite.ru # gibt den Hauptspiegel an
User-Agent: Googlebot # führt jetzt Befehle für Google aus
Nicht zulassen: /admin/ # Verbot für Google

5. Beispiele für Roboternamen

YandexBot-- Hauptindexierungsroboter;
YandexMedia– ein Roboter, der Multimediadaten indiziert;
YandexImages-- Yandex.Images-Indexer;
YandexKatalog- „Anzapfen“ von Yandex.Catalogue, um unzugängliche Websites im Katalog vorübergehend aus der Veröffentlichung zu entfernen;
YandexDirect-- Yandex.Direct-Roboter, interpretiert robots.txt auf besondere Weise;
YandexBlogs– Blog-Suchroboter, der Beiträge und Kommentare indiziert;
YandexNews-- Yandex.News-Roboter;
YandexPagechecker– Mikro-Markup-Validator;
YandexMetrika-- Yandex.Metrica-Roboter;
YandexMarket-- Yandex.Market-Roboter;
YandexCalendar-- Yandex.Calendar-Roboter.

6. Beispiel einer fertigen robots.txt

User-Agent: *
Nicht zulassen: /admin/
Nicht zulassen: /cache/
Nicht zulassen: /components/

Benutzeragent: Yandex
Nicht zulassen: /admin/
Nicht zulassen: /cache/
Nicht zulassen: /components/
Nicht zulassen: /images/
Nicht zulassen: /includes/

Sitemap: http://yoursite.ru/structure/my_sitemaps.xml

Hallo Freunde! Der Artikel zeigt, was der richtige Robots-TXT für die Site ist, auf der er sich befindet, wie man eine Robots-Datei erstellt, wie man eine Robots-Datei von einer anderen Site anpasst und wie man sie in Ihr Blog hochlädt.

Was ist eine Datei?Roboter txt,Warum wird es benötigt und wofür ist es verantwortlich?

Eine Robots-TXT-Datei ist eine Textdatei, die Anweisungen für Suchroboter enthält. Bevor der Roboter auf die Seiten Ihres Blogs zugreift, sucht er zunächst nach der Robots-Datei, weshalb diese so wichtig ist. Die Robots-txt-Datei ist ein Standard, um zu verhindern, dass Robots bestimmte Seiten indizieren. Die Robots-txt-Datei bestimmt, ob Ihre vertraulichen Daten freigegeben werden. Der richtige Robots-Text für eine Website hilft bei der Werbung, da er ein wichtiges Instrument bei der Interaktion zwischen Ihrer Website und Suchrobotern ist.

Nicht umsonst wird die Robots-txt-Datei als das wichtigste SEO-Tool bezeichnet; diese kleine Datei wirkt sich direkt auf die Indexierung der Seiten der Website und der Website als Ganzes aus. Umgekehrt kann eine fehlerhafte Robots-txt-Datei dazu führen, dass einige Seiten, Abschnitte oder die Website als Ganzes aus den Suchergebnissen ausgeschlossen werden. In diesem Fall können Sie 1000 Artikel auf Ihrem Blog haben, aber es werden einfach keine Besucher auf der Website sein, sondern rein zufällige Passanten.

Der Yandex-Webmaster verfügt über ein Schulungsvideo, in dem Yandex die Datei vergleicht Roboter, die mit einer Kiste mit Ihren persönlichen Gegenständen, die Sie niemandem zeigen möchten. Um zu verhindern, dass Fremde in diese Schachtel schauen, verschließen Sie sie mit Klebeband und schreiben darauf: „Nicht öffnen.“

Als wohlerzogene Individuen öffnen Roboter diese Kiste nicht und können anderen nicht sagen, was sich dort befindet. Wenn keine Robots-txt-Datei vorhanden ist, geht der Suchmaschinenroboter davon aus, dass alle Dateien verfügbar sind. Er öffnet die Box, schaut sich alles an und teilt anderen mit, was sich in der Box befindet. Um zu verhindern, dass der Roboter in diese Box klettert, müssen Sie ihm das Klettern dort verbieten; dies geschieht mit der Disallow-Direktive, die aus dem Englischen „verbieten“ und „Zulassen“ als „erlauben“ übersetzt wird.

Hierbei handelt es sich um eine normale TXT-Datei, die in einem normalen Notepad- oder NotePad++-Programm kompiliert wird. Dabei handelt es sich um eine Datei, die Robotern vorschlägt, bestimmte Seiten der Website nicht zu indizieren. Wofür ist das:

• Eine ordnungsgemäß komponierte Robots-TXT-Datei verhindert, dass Robots irgendwelchen Müll indizieren und nicht verstopfen Suchergebnisse unnötiges Material zu vermeiden und auch keine doppelten Seiten zu erstellen, was ein sehr schädliches Phänomen ist;
• erlaubt es Robotern nicht, Informationen zu indizieren, die für den offiziellen Gebrauch benötigt werden;
• verhindert, dass Spionageroboter vertrauliche Daten stehlen und zum Versenden von Spam verwenden.

Das bedeutet nicht, dass wir etwas vor den Suchmaschinen verbergen wollen, etwas Geheimnisvolles, sondern nur, dass diese Informationen weder für Suchmaschinen noch für Besucher von Wert sind. Zum Beispiel Anmeldeseite, RSS-Feeds usw. Darüber hinaus gibt die Robots-txt-Datei den Site-Mirror sowie die Sitemap an. Standardmäßig verfügt eine auf WordPress erstellte Website nicht über eine Robots-TXT-Datei. Daher müssen Sie eine Robots-TXT-Datei erstellen und diese in den Stammordner Ihres Blogs hochladen. In diesem Artikel werden wir uns mit Robots-TXT für WordPress, seiner Erstellung, Anpassung und dem Hochladen auf die Website befassen. Zuerst wollen wir also wissen, wo sich die Robots-TXT-Datei befindet.

Wo befindet sichRoboter txtWie kann man es sehen?

Ich denke, viele Anfänger stellen sich die Frage: Wo befindet sich Robots TXT? Die Datei befindet sich im Stammordner der Site, im Ordner public_html, sie ist ganz einfach zu sehen. Sie können zu Ihrem Hosting gehen, den Ordner Ihrer Site öffnen und sehen, ob diese Datei dort ist oder nicht. Das Video unten zeigt, wie das geht. Sie können die Datei mit dem Yandex-Webmaster und dem Google-Webmaster anzeigen, aber darüber sprechen wir später.

Es gibt eine noch einfachere Option, mit der Sie nicht nur Ihre Robots-Texte, sondern auch die Robots jeder Website anzeigen können. Sie können Robots auf Ihren Computer herunterladen, diese dann an Sie anpassen und auf Ihrer Website (Blog) verwenden. Dies geschieht folgendermaßen: Sie öffnen die gewünschte Website (Blog) und fügen robots.txt mit einem Schrägstrich hinzu (siehe Screenshot).

und drücken Sie die Eingabetaste. Die Robots-TXT-Datei wird geöffnet. In diesem Fall können Sie nicht sehen, wo sich Robots TXT befindet, aber Sie können es anzeigen und herunterladen.

So erstellen Sie das RichtigeRoboter txt für Website

Es gibt verschiedene Möglichkeiten, Robots-Text für eine Website zu erstellen:

• Verwenden Sie Online-Generatoren, die schnell eine Robots-TXT-Datei erstellen. Es gibt eine ganze Reihe von Websites und Diensten, die dies tun können.
• Verwenden Sie Plugins für WordPress, die zur Lösung dieses Problems beitragen.
• Erstellen Sie mit Ihren eigenen Händen manuell eine Robots-TXT-Datei in einem normalen Notepad- oder NotePad++-Programm.
• Verwenden Sie vorgefertigte, korrekte Robots-Textdateien von der Website (Blog) einer anderen Person und ersetzen Sie darin die Adresse Ihrer Website.

Generatoren

Daher habe ich bisher noch keine Generatoren zum Erstellen von Robots-TXT-Dateien verwendet, aber bevor ich diesen Artikel geschrieben habe, habe ich beschlossen, vier Dienste zum Generieren von Robots-TXT-Dateien zu testen. Ich habe bestimmte Ergebnisse erzielt, über die ich Ihnen später berichten werde. Diese Dienste sind:

• SEOlib ;
• PR-CY-Dienst;
• Dienst Raskruty.ru;
• SEO Café können Sie hier über diesen Link aufrufen: info.seocafe.info/tools/robotsgenerator.

Wie Sie den Robots-TXT-Generator in der Praxis nutzen, wird im Video unten ausführlich gezeigt. Während des Testprozesses kam ich zu dem Schluss, dass sie nicht für Anfänger geeignet sind, und hier ist der Grund dafür? Mit dem Generator können Sie nur den richtigen Eintrag ohne Fehler in der Datei selbst erstellen. Um jedoch den richtigen Robots-Text zu erstellen, müssen Sie noch über Kenntnisse verfügen. Sie müssen wissen, welche Ordner geschlossen werden müssen und welche nicht. Aus diesem Grund empfehle ich Anfängern nicht, den Robots-TXT-Generator zum Erstellen einer Datei zu verwenden.

PluginsFür WordPress

Es gibt Plugins, zum Beispiel PC Robots.txt, um die Datei zu erstellen. Mit diesem Plugin können Sie eine Datei direkt im Control Panel der Site bearbeiten. Ein weiteres Plugin ist iRobots.txt SEO – dieses Plugin hat eine ähnliche Funktionalität. Sie können eine Reihe verschiedener Plugins finden, mit denen Sie mit der Robots-TXT-Datei arbeiten können. Wenn Sie möchten, können Sie im Feld „Nach Plugins suchen“ die Phrase „Robots“ eingeben. txt und klicken Sie auf die Schaltfläche „Suchen“. Ihnen werden mehrere Plugins angeboten. Natürlich müssen Sie sich über jeden von ihnen informieren und sich die Rezensionen ansehen.

Die Funktionsweise von Robots-TXT-Plugins für WordPress ist der Funktionsweise von Generatoren sehr ähnlich. Um den richtigen Robots-Text für eine Website zu erhalten, braucht man Wissen und Erfahrung, aber wo können Anfänger diese bekommen? Meiner Meinung nach können solche Dienste mehr schaden als nützen. Und wenn Sie ein Plugin installieren, wird auch das Hosting geladen. Aus diesem Grund empfehle ich nicht, das Robots-txt-WordPress-Plugin zu installieren.

ErstellenRoboter txtmanuell

Sie können Robots-Texte manuell mit einem normalen Notepad- oder NotePad++-Programm erstellen, dies erfordert jedoch Kenntnisse und Erfahrung. Auch diese Option ist für Anfänger nicht geeignet. Aber mit der Zeit, wenn Sie Erfahrung sammeln, werden Sie in der Lage sein, dies zu tun, und Sie können eine Robots-TXT-Datei für die Site erstellen, Disallow-Robots-Anweisungen registrieren, die erforderlichen Ordner aus der Indizierung schließen, eine Robots-Prüfung durchführen und sie in nur wenigen Minuten anpassen 10 Minuten. Der Screenshot unten zeigt Robots TXT im Editor:

Wir werden hier nicht auf das Verfahren zum Erstellen einer Robots-TXT-Datei eingehen; dies wird in vielen Quellen, zum Beispiel Yandex Webmaster, ausführlich beschrieben. Bevor Sie eine Robots-TXT-Datei kompilieren, müssen Sie zu Yandex Webmaster gehen, wo jede Direktive detailliert beschrieben wird und wofür sie verantwortlich ist, und auf der Grundlage dieser Informationen eine Datei erstellen. (siehe Screenshot).

Übrigens, neues Yandex Der Webmaster bietet ausführliche und ausführliche Informationen, einen Artikel dazu finden Sie im Blog. Genauer gesagt werden zwei Artikel vorgestellt, die für Blogger und nicht nur für Anfänger von großem Nutzen sein werden. Ich empfehle Ihnen, sie zu lesen.

Wenn Sie kein Anfänger sind und Roboter-Texte selbst erstellen möchten, müssen Sie eine Reihe von Regeln befolgen:

1. Die Verwendung nationaler Zeichen in der Robots-TXT-Datei ist nicht erlaubt.
2. Die Größe der Robots-Datei sollte 32 KB nicht überschreiten.
3. Der Name der Robots-Datei darf nicht wie „Robots“ oder „ROBOTS“ geschrieben werden; die Datei muss genau wie im Artikel gezeigt signiert sein.
4. Jede Direktive muss in einer neuen Zeile beginnen.
5. Sie können nicht mehr als eine Direktive in einer Zeile angeben.
6. Die „Disallow“-Direktive mit einer leeren Zeile entspricht der „Allow“-Direktive – erlauben Sie, dies muss beachtet werden.
7. Sie können am Anfang einer Zeile kein Leerzeichen einfügen.
8. Wenn Sie zwischen den verschiedenen „User-Agent“-Anweisungen kein Leerzeichen setzen, akzeptieren die Roboter nur die oberste Direktive – der Rest wird ignoriert.
9. Der Direktivenparameter selbst muss nur in eine Zeile geschrieben werden.
10. Direktivenparameter können nicht in Anführungszeichen gesetzt werden.
11. Sie können eine Zeile nicht mit einem Semikolon nach einer Direktive schließen.
12. Wenn die Robots-Datei nicht erkannt wird oder leer ist, nehmen die Robots dies als „Alles ist erlaubt“ wahr.
13. Sie können in der Direktivenzeile Kommentare machen (um deutlich zu machen, worum es in der Zeile geht), aber nur nach dem Rautezeichen #.
14. Wenn Sie zwischen den Zeilen ein Leerzeichen einfügen, bedeutet dies das Ende der User-Agent-Direktive.
15. Die Anweisungen „Disallow“ und „Allow“ dürfen nur einen Parameter enthalten.
16. Für Direktiven, die ein Verzeichnis sind, wird ein Schrägstrich hinzugefügt, zum Beispiel – Disallow/wp-admin.
17. Im Abschnitt „Crawl-Verzögerung“ müssen Sie den Robotern das Zeitintervall zwischen dem Herunterladen von Dokumenten vom Server empfehlen, normalerweise 4-5 Sekunden.
18. Wichtig: Zwischen den Anweisungen dürfen keine Leerzeilen stehen. Eine neue Direktive beginnt mit einem Leerzeichen. Dies bedeutet das Ende der Regeln für den Suchroboter, wie das beigefügte Video im Detail zeigt. Sternchen bedeuten eine Folge beliebiger Zeichen.
19. Ich rate Ihnen, alle Regeln separat für den Yandex-Roboter zu wiederholen, d. h. alle Anweisungen, die für andere Roboter vorgeschrieben wurden, separat für Yandex zu wiederholen. Am Ende der Informationen für den Yandex-Roboter müssen Sie die Host-Anweisung (Host – wird nur von Yandex unterstützt) notieren und Ihr Blog angeben. Der Host teilt Yandex mit, welcher Spiegel Ihrer Website der Hauptspiegel ist, mit oder ohne www.
20. Darüber hinaus empfiehlt es sich, in einem separaten Verzeichnis der Robots-txt-Datei, also durch ein Leerzeichen getrennt, die Adresse Ihrer Sitemap anzugeben. Das Erstellen der Datei ist in wenigen Minuten erledigt und beginnt mit dem Satz „User-Agent:“. Wenn Sie beispielsweise die Indizierung von Bildern blockieren möchten, müssen Sie Disallow: /images/ festlegen.

Verwenden Sie das richtigeRoboter txt von der Website einer anderen Person

Es gibt keine ideale Datei. Sie müssen regelmäßig experimentieren und Änderungen in der Funktionsweise von Suchmaschinen berücksichtigen. Berücksichtigen Sie auch die Fehler, die im Laufe der Zeit in Ihrem Blog auftreten können. Daher können Sie zunächst die verifizierte Robots-TXT-Datei einer anderen Person nehmen und sie selbst installieren.

Ändern Sie unbedingt die Einträge, die die Adresse Ihres Blogs im Host-Verzeichnis widerspiegeln (siehe Screenshot, siehe auch Video), und ersetzen Sie sie auch durch Ihre Site-Adresse in der Sitemap-Adresse (untere zwei Zeilen). Im Laufe der Zeit muss diese Datei ein wenig angepasst werden. Sie haben beispielsweise bemerkt, dass doppelte Seiten angezeigt wurden.

Im Abschnitt „Wo befindet sich Robots TXT und wie kann ich es sehen?“, der sich oben befindet, haben wir uns angeschaut, wie man Robots TXT anzeigen und herunterladen kann. Daher müssen Sie eine gute Vertrauensseite auswählen, die über Folgendes verfügt Hochleistung Titz, viel Verkehr, öffnen Sie die richtige Robots-Textdatei und laden Sie sie herunter. Sie müssen mehrere Websites vergleichen und selbst auswählen erforderliche Datei robots txt und laden Sie es auf Ihre Website hoch.

So laden Sie eine Datei auf die Website hochRoboter txt in den Stammordner der Site

Wie bereits geschrieben, gibt es nach dem Erstellen einer Website in WordPress standardmäßig keine Robots-TXT-Datei. Daher muss es erstellt und in den Stammordner unserer Website (Blog) auf dem Hosting hochgeladen werden. Das Hochladen der Datei ist ganz einfach. Beim TimeWeb-Hosting können Sie bei anderen Hostings entweder über oder über hochladen. Das folgende Video zeigt den Vorgang des Hochladens einer Robots-TXT-Datei auf das TimeWeb-Hosting.

Überprüfung der Robots-txt-Datei

Nachdem Sie die Robots-txt-Datei heruntergeladen haben, müssen Sie deren Vorhandensein und Funktion überprüfen. Dazu können wir uns die Datei im Browser ansehen, wie oben im Abschnitt „Wo befindet sich Robots TXT und wie wird es angezeigt?“ gezeigt. Sie können die Funktion der Datei mit Yandex Webmaster und Google Webmaster überprüfen. Wir erinnern uns daran, dass es dafür ein und in geben muss.

Um Yandex einzuchecken, gehen Sie zu unserem Yandex-Webmaster-Konto und wählen Sie eine Website aus, wenn Sie mehrere davon haben. Wählen Sie „Indizierungseinstellungen“, „Robots.txt-Analyse“ und folgen Sie dann den Anweisungen.

Im Google Webmaster machen wir dasselbe: Gehen Sie zu unserem Konto, wählen Sie die gewünschte Website aus (falls es mehrere davon gibt), klicken Sie auf die Schaltfläche „Crawling“ und wählen Sie „Tool zur Überprüfung der Robots.txt-Datei“. Die Robots-txt-Datei wird geöffnet. Sie können sie bearbeiten oder überprüfen.

Auf derselben Seite finden Sie hervorragende Anweisungen zum Arbeiten mit der Robots-TXT-Datei, die Sie lesen können. Abschließend stelle ich ein Video zur Verfügung, das zeigt, was eine Robots-TXT-Datei ist, wie man sie findet, wie man sie anzeigt und herunterlädt, wie man mit dem Dateigenerator arbeitet, wie man eine Robots-TXT-Datei erstellt und für sich selbst anpasst und weitere Informationen wird gezeigt:

Abschluss

In diesem Artikel haben wir uns mit der Frage beschäftigt, was eine Robots-txt-Datei ist, und herausgefunden, dass diese Datei für die Website sehr wichtig ist. Wir haben gelernt, wie man die richtige Robots-TXT-Datei erstellt, wie man eine Robots-TXT-Datei von der Website einer anderen Person an die eigene anpasst, wie man sie in sein Blog hochlädt und wie man sie überprüft.

Aus dem Artikel wurde deutlich, dass es für Anfänger zunächst besser ist, einen vorgefertigten und korrekten Robots-Text zu verwenden. Sie müssen jedoch daran denken, die darin enthaltene Domain im Host-Verzeichnis durch Ihre eigene zu ersetzen und auch die Adresse einzugeben Ihres Blogs in den Sitemaps. Sie können meine Robots-txt-Datei hier herunterladen. Nach der Korrektur können Sie die Datei nun in Ihrem Blog verwenden.

Für die Robots-txt-Datei gibt es eine eigene Website, auf der Sie detailliertere Informationen finden können. Ich hoffe, dass für Sie alles klappt und der Blog gut indiziert wird. Viel Erfolg!

Herzliche Grüße, Ivan Kunpan.

P.S. Um Ihr Blog richtig zu bewerben, müssen Sie richtig über die Optimierung von Artikeln in Ihrem Blog schreiben, dann wird es einen hohen Traffic und hohe Bewertungen haben. Dabei helfen Ihnen meine Informationsprodukte, in die meine dreijährige Erfahrung eingeflossen ist. Sie können folgende Produkte erhalten:

• kostenpflichtiges Buch;
• Geheimdienstkarte;
• kostenpflichtiger Videokurs " ".

Erhalten Sie neue Blogartikel direkt per E-Mail. Füllen Sie das Formular aus und klicken Sie auf die Schaltfläche „Abonnieren“.

Hallo, liebe Leser des Blogs „Webmaster’s World“!

Datei robots.txt– Dies ist eine sehr wichtige Datei, die sich direkt auf die Qualität der Indexierung Ihrer Website und damit auf deren Suchmaschinenwerbung auswirkt.

Deshalb müssen Sie robots.txt korrekt formatieren können, um nicht versehentlich die Aufnahme wichtiger Dokumente des Internetprojekts in den Index zu verhindern.

In diesem Artikel wird erläutert, wie die robots.txt-Datei formatiert wird, welche Syntax verwendet werden sollte und wie Dokumente für den Index zugelassen und abgelehnt werden.

Über die robots.txt-Datei

Lassen Sie uns zunächst genauer herausfinden, um welche Art von Datei es sich handelt.

Dateiroboter ist eine Datei, die zeigt Suchmaschinen, welche Seiten und Dokumente der Site zum Index hinzugefügt werden können und welche nicht. Dies ist notwendig, da Suchmaschinen zunächst versuchen, die gesamte Website zu indizieren, was nicht immer korrekt ist. Wenn Sie beispielsweise eine Site auf einer Engine (WordPress, Joomla usw.) erstellen, verfügen Sie über Ordner, die die Arbeit des Verwaltungsbereichs organisieren. Es ist klar, dass die Informationen in diesen Ordnern nicht indiziert werden können; in diesem Fall wird die Datei robots.txt verwendet, die den Zugriff für Suchmaschinen einschränkt.

Die robots.txt-Datei enthält außerdem die Adresse der Sitemap (sie verbessert die Indexierung durch Suchmaschinen) sowie die Hauptdomäne der Site (den Hauptspiegel).

Spiegel– Dies ist eine absolute Kopie der Website, d. h. Wenn es eine Site gibt, sagt man, dass eine davon die Hauptdomain und die andere ihr Spiegel ist.

Die Datei hat also eine Menge Funktionen, und zwar wichtige!

Syntax der Robots.txt-Datei

Die Robots-Datei enthält Regelblöcke, die einer bestimmten Suchmaschine mitteilen, was indiziert werden kann und was nicht. Es kann einen Regelblock geben (für alle Suchmaschinen), es können aber auch mehrere sein – für einige bestimmte Suchmaschinen separat.

Jeder dieser Blöcke beginnt mit einem „User-Agent“-Operator, der angibt, für welche Suchmaschine diese Regeln gelten.

Benutzer-Agent:A
(Regeln für Roboter „A“)

Benutzer-Agent:B
(Regeln für Roboter „B“)

Das obige Beispiel zeigt, dass der „User-Agent“-Operator einen Parameter hat – den Namen des Suchmaschinen-Robots, auf den die Regeln angewendet werden. Ich werde die wichtigsten im Folgenden angeben:

Nach „User-Agent“ gibt es weitere Operatoren. Hier ist ihre Beschreibung:

Alle Operatoren haben die gleiche Syntax. Diese. Operatoren sollten wie folgt verwendet werden:

Operator1: Parameter1

Operator2: Parameter2

…

Daher schreiben wir zuerst den Namen des Operators (egal ob in Groß- oder Kleinschrift), dann setzen wir einen Doppelpunkt und geben, durch ein Leerzeichen getrennt, den Parameter dieses Operators an. Dann beschreiben wir, beginnend in einer neuen Zeile, Operator zwei auf die gleiche Weise.

Wichtig!!! Leere Zeile bedeutet, dass der Regelblock für diese Suchmaschine vollständig ist. Trennen Sie die Anweisungen daher nicht durch eine Leerzeile.

Beispiel einer robots.txt-Datei

Schauen wir uns ein einfaches Beispiel einer robots.txt-Datei an, um die Funktionen ihrer Syntax besser zu verstehen:

Benutzeragent: Yandex
Erlauben: /folder1/
Nicht zulassen: /file1.html
Host: www.site.ru

User-Agent: *
Nicht zulassen: /document.php
Nicht zulassen: /folderxxx/
Nicht zulassen: /folderyyy/folderzzz
Nicht zulassen: /feed/

Sitemap: http://www.site.ru/sitemap.xml

Schauen wir uns nun das beschriebene Beispiel an.

Die Datei besteht aus drei Blöcken: der erste für Yandex, der zweite für alle Suchmaschinen und der dritte enthält die Sitemap-Adresse (wird automatisch für alle Suchmaschinen angewendet, sodass keine Angabe von „User-Agent“ erforderlich ist). Wir erlaubten Yandex, den Ordner „folder1“ und seinen gesamten Inhalt zu indizieren, untersagten ihm jedoch die Indizierung des Dokuments „file1.html“, das sich im Stammverzeichnis des Hostings befindet. Wir haben Yandex auch die Hauptdomain der Website angegeben. Der zweite Block ist für alle Suchmaschinen. Dort haben wir das Dokument „document.php“ sowie die Ordner „folderxxx“, „folderyyy/folderzzz“ und „feed“ gesperrt.

Bitte beachten Sie, dass wir im zweiten Befehlsblock zum Index nicht den gesamten Ordner „folderyyy“, sondern nur den Ordner innerhalb dieses Ordners – „folderzzz“ – gesperrt haben. Diese. Wir haben den vollständigen Pfad für „folderzzz“ angegeben. Dies sollte immer dann erfolgen, wenn wir ein Dokument verbieten, das sich nicht im Stammverzeichnis der Site, sondern irgendwo in anderen Ordnern befindet.

Die Erstellung dauert weniger als zwei Minuten:

Die erstellte Robots-Datei kann im Yandex-Webmaster-Panel auf Funktionalität überprüft werden. Wenn plötzlich Fehler in der Datei entdeckt werden, zeigt Yandex diese an.

Erstellen Sie unbedingt eine robots.txt-Datei für Ihre Website, falls Sie noch keine haben. Dies wird dazu beitragen, dass sich Ihre Website in Suchmaschinen entwickelt. Sie können auch unseren anderen Artikel über die Methode von Meta-Tags und .htaccess lesen.

Wir haben ein neues Buch „Content Marketing in“ veröffentlicht in sozialen Netzwerken: Wie Sie in die Köpfe Ihrer Abonnenten eindringen und sie dazu bringen, sich in Ihre Marke zu verlieben.“

Robots.txt ist eine Textdatei mit Informationen für Suchroboter, die bei der Indexierung von Portalseiten helfen.

Weitere Videos auf unserem Kanal – Internetmarketing lernen mit SEMANTICA

Stellen Sie sich vor, Sie wären auf der Suche nach Schätzen auf eine Insel gegangen. Sie haben eine Karte. Dort ist die Route angegeben: „An einen großen Baumstumpf heranfahren. Gehen Sie von dort aus 10 Schritte nach Osten und erreichen Sie dann die Klippe. Biegen Sie rechts ab und finden Sie eine Höhle.“

Dies sind die Anweisungen. Wenn Sie ihnen folgen, folgen Sie der Route und finden den Schatz. Ein Suchbot funktioniert ähnlich, wenn er mit der Indizierung einer Website oder Seite beginnt. Es findet die robots.txt-Datei. Es liest, welche Seiten indexiert werden müssen und welche nicht. Und wenn es diese Befehle befolgt, crawlt es das Portal und fügt seine Seiten dem Index hinzu.

Wozu dient robots.txt?

Sie beginnen mit dem Besuch von Websites und der Indizierung von Seiten, nachdem die Website auf das Hosting hochgeladen und DNS registriert wurde. Sie machen ihren Job, unabhängig davon, ob Sie welche haben technische Dateien oder nicht. Robots teilen Suchmaschinen mit, dass sie beim Crawlen einer Website die darin enthaltenen Parameter berücksichtigen müssen.

Das Fehlen einer robots.txt-Datei kann zu Problemen mit der Crawling-Geschwindigkeit der Website und zum Vorhandensein von Müll im Index führen. Eine falsche Konfiguration der Datei kann dazu führen, dass wichtige Teile der Ressource aus dem Index ausgeschlossen werden und unnötige Seiten in der Ausgabe vorhanden sind.

All dies führt zu Problemen bei der Beförderung.

Schauen wir uns genauer an, welche Anweisungen in dieser Datei enthalten sind und wie sie sich auf das Verhalten des Bots auf Ihrer Website auswirken.

So erstellen Sie robots.txt

Überprüfen Sie zunächst, ob Sie über diese Datei verfügen.

Geben Sie die Site-Adresse in die Adressleiste des Browsers ein, gefolgt von einem Schrägstrich des Dateinamens, zum Beispiel https://www.xxxxx.ru/robots.txt

Wenn die Datei vorhanden ist, erscheint eine Liste ihrer Parameter auf dem Bildschirm.

Wenn keine Datei vorhanden ist:

1. Die Datei wird in einem normalen Texteditor wie Notepad oder Notepad++ erstellt.
2. Sie müssen den Namen „Robots“ und die Erweiterung „.txt“ festlegen. Geben Sie Daten unter Berücksichtigung anerkannter Designstandards ein.
3. Sie können mit Diensten wie Yandex Webmaster nach Fehlern suchen. Dort müssen Sie im Abschnitt „Tools“ den Punkt „Robots.txt Analysis“ auswählen und den Anweisungen folgen.
4. Wenn die Datei fertig ist, laden Sie sie in das Stammverzeichnis der Site hoch.

Regeln festlegen

Suchmaschinen haben mehr als einen Roboter. Manche Bots indizieren nur Textinhalte, andere nur grafische Inhalte. Und selbst bei den Suchmaschinen selbst kann die Funktionsweise von Crawlern unterschiedlich sein. Dies muss bei der Zusammenstellung der Datei berücksichtigt werden.

Einige von ihnen ignorieren möglicherweise einige Regeln. Beispielsweise reagiert GoogleBot nicht auf Informationen darüber, welcher Site-Mirror als der wichtigste gilt. Aber im Allgemeinen nehmen sie die Akte wahr und lassen sich von ihr leiten.

Dateisyntax

Dokumentparameter: Name des Roboters (Bots) „User-Agent“, Anweisungen: Erlauben „Erlauben“ und Verbieten „Verbieten“.

Mittlerweile gibt es zwei wichtige Suchmaschinen: Yandex bzw. Google. Bei der Erstellung einer Website ist es wichtig, die Anforderungen beider zu berücksichtigen.

Das Format zum Erstellen von Einträgen ist wie folgt, bitte beachten Sie die erforderlichen Leerzeichen und Leerzeilen.

User-Agent-Anweisung

Der Roboter sucht nach Datensätzen, die mit „User-agent“ beginnen; sie sollten Hinweise auf den Namen des Suchroboters enthalten. Wenn dies nicht angegeben ist, gilt der Bot-Zugriff als unbegrenzt.

Disallow- und Allow-Anweisungen

Wenn Sie die Indizierung in robots.txt deaktivieren müssen, verwenden Sie Disallow. Mit seiner Hilfe wird der Zugriff des Bots auf die Website oder bestimmte Bereiche eingeschränkt.

Wenn robots.txt keine verbotenen „Disallow“-Anweisungen enthält, wird davon ausgegangen, dass die Indizierung der gesamten Website zulässig ist. Normalerweise werden Verbote nach jedem Bot separat verordnet.

Alle Informationen, die nach dem #-Zeichen erscheinen, sind Kommentare und nicht maschinenlesbar.

Allow wird verwendet, um den Zugriff zu erlauben.

Als Hinweis darauf, was für alle gilt, dient das Sternchen-Symbol: User-Agent: *.

Im Gegenteil bedeutet diese Option ein vollständiges Indexierungsverbot für alle.

Verhindern Sie, dass der gesamte Inhalt eines bestimmten Verzeichnisordners angezeigt wird

Um eine Datei zu blockieren, müssen Sie ihren absoluten Pfad angeben

Sitemap, Host-Anweisungen

Bei Yandex ist es üblich, anzugeben, welchen Spiegel Sie als Hauptspiegel festlegen möchten. Und Google ignoriert es, wie wir uns erinnern. Wenn es keine Mirrors gibt, notieren Sie einfach, ob Sie es für richtig halten, den Namen Ihrer Website mit oder ohne www zu schreiben.

Clean-param-Direktive

Es kann verwendet werden, wenn die URLs von Website-Seiten veränderbare Parameter enthalten, die sich nicht auf deren Inhalt auswirken (dies können Benutzer-IDs oder Referrer sein).

Beispielsweise bestimmt „ref“ in der Seitenadresse die Traffic-Quelle, d. h. gibt an, von wo der Besucher auf die Website gelangt ist. Die Seite ist für alle Benutzer gleich.

Sie können den Roboter darauf hinweisen und er lädt keine doppelten Informationen herunter. Dadurch wird die Serverlast reduziert.

Crawl-Delay-Anweisung

Damit können Sie bestimmen, wie oft der Bot Seiten zur Analyse lädt. Dieser Befehl wird verwendet, wenn der Server überlastet ist und zeigt an, dass der Crawl-Vorgang beschleunigt werden sollte.

Robots.txt-Fehler

1. Die Datei befindet sich nicht im Stammverzeichnis. Der Roboter wird nicht tiefer danach suchen und es nicht berücksichtigen.
2. Die Buchstaben im Namen müssen lateinische Kleinbuchstaben sein.
   Es gibt einen Fehler im Namen, manchmal fehlt der Buchstabe S am Ende und man schreibt „robot“.
3. Sie können in der robots.txt-Datei keine kyrillischen Zeichen verwenden. Wenn Sie eine Domäne auf Russisch angeben müssen, verwenden Sie das Format in der speziellen Punycode-Kodierung.
4. Dies ist eine Methode zum Konvertieren von Domänennamen in eine Folge von ASCII-Zeichen. Dazu können Sie spezielle Konverter verwenden.

Diese Kodierung sieht so aus:
site.rf = xn--80aswg.xn--p1ai

Weitere Informationen zum Schließen in Robots TXT und zu Einstellungen gemäß den Anforderungen der Suchmaschinen Google und Yandex finden Sie in den Hilfedokumenten. Verschiedene cms können auch ihre eigenen Eigenschaften haben, dies sollte berücksichtigt werden.

Die erfolgreiche Indexierung einer neuen Website hängt von vielen Faktoren ab. Eine davon ist die robots.txt-Datei, deren korrektes Ausfüllen jedem unerfahrenen Webmaster bekannt sein sollte.

Was ist robots.txt und warum wird es benötigt?

Dabei handelt es sich um eine Textdatei (Dokument im TXT-Format), die klare Anweisungen zum Indizieren einer bestimmten Site enthält. Die Datei zeigt Suchmaschinen an, welche Seiten einer Webressource indiziert werden müssen und welche von der Indizierung ausgeschlossen werden sollten.

Es scheint, warum die Indexierung einiger Website-Inhalte zu verbieten? Lassen Sie den Suchroboter alles wahllos indizieren, nach dem Prinzip: Je mehr Seiten, desto besser! Aber das ist nicht so.

Nicht alle Inhalte einer Website werden von Suchrobotern benötigt. Es gibt Systemdateien, es gibt doppelte Seiten, es gibt Kategorien Schlüsselwörter und es gibt noch viel mehr, das nicht unbedingt indiziert werden muss. Andernfalls kann die folgende Situation nicht ausgeschlossen werden.

Wenn ein Suchroboter auf Ihre Website gelangt, versucht er zunächst, die berüchtigte robots.txt-Datei zu finden. Wenn diese Datei von ihr nicht erkannt wird oder erkannt wird, sie aber falsch kompiliert ist (ohne die erforderlichen Verbote), beginnt die Suchmaschine „Messenger“ nach eigenem Ermessen mit der Untersuchung der Website.

Dabei indiziert er alles und es ist keineswegs eine Tatsache, dass er mit den Seiten beginnt, die zuerst in die Suche eingegeben werden müssen (neue Artikel, Rezensionen, Fotoberichte usw.). In diesem Fall kann die Indexierung der neuen Site natürlich einige Zeit in Anspruch nehmen.

Um solch ein wenig beneidenswertes Schicksal zu vermeiden, muss der Webmaster rechtzeitig darauf achten, die richtige robots.txt-Datei zu erstellen.

„User-agent:“ ist die Hauptanweisung von robots.txt

In der Praxis werden Anweisungen (Befehle) in robots.txt unter Verwendung spezieller Begriffe geschrieben, von denen der wichtigste als Direktive angesehen werden kann „ User-Agent: " Letzteres dient der Festlegung des Suchroboters, der in Zukunft bestimmte Anweisungen erhalten soll. Zum Beispiel:

• Benutzeragent: Googlebot– Alle Befehle, die dieser Grundanweisung folgen, beziehen sich ausschließlich auf die Suchmaschine Google-Systeme(ihr Indexierungsroboter);
• Benutzeragent: Yandex– Adressat ist in diesem Fall die inländische Suchmaschine Yandex.

Über die robots.txt-Datei können alle anderen Suchmaschinen kombiniert angesprochen werden. Der Befehl sieht in diesem Fall so aus: User-Agent: *. Das Sonderzeichen „*“ bedeutet normalerweise „beliebiger Text“. In unserem Fall alle anderen Suchmaschinen als Yandex. Google nimmt diese Weisung übrigens auch persönlich, es sei denn, Sie wenden sich persönlich an ihn.

Befehl „Disallow:“ – Verbieten der Indizierung in robots.txt

Der Hauptanweisung „User-agent:“, die an Suchmaschinen gerichtet ist, können spezifische Befehle folgen. Am gebräuchlichsten ist unter ihnen die Richtlinie „ Nicht zulassen: " Mit diesem Befehl können Sie verhindern, dass der Suchroboter die gesamte Webressource oder einen Teil davon indiziert. Es hängt alles davon ab, welche Erweiterung diese Richtlinie haben wird. Schauen wir uns Beispiele an:

Benutzeragent: Yandex Disallow: /

Ein solcher Eintrag in der robots.txt-Datei bedeutet, dass der Yandex-Suchroboter diese Site überhaupt nicht indizieren darf, da das Verbotszeichen „/“ allein steht und keine Erläuterungen enthält.

Benutzeragent: Yandex Nicht zulassen: /wp-admin

Wie Sie sehen, gibt es dieses Mal Klarstellungen, die den Systemordner betreffen wp-admin V . Das heißt, der Indizierungsroboter weigert sich mit diesem Befehl (dem darin angegebenen Pfad), den gesamten Ordner zu indizieren.

Benutzeragent: Yandex Disallow: /wp-content/themes

Eine solche Anweisung an den Yandex-Roboter setzt seine Aufnahme in eine große Kategorie voraus. wp-Inhalt ", in dem alle Inhalte außer " indiziert werden können Themen ».

Lassen Sie uns die „verbotenen“ Funktionen des robots.txt-Textdokuments weiter untersuchen:

Benutzeragent: Yandex Disallow: /index$

In diesem Befehl wird, wie aus dem Beispiel hervorgeht, ein weiteres Sonderzeichen „$“ verwendet. Seine Verwendung teilt dem Roboter mit, dass er die Seiten, deren Links die Buchstabenfolge enthalten, nicht indizieren kann. Index " Indizieren Sie gleichzeitig eine separate Site-Datei mit demselben Namen. index.php » Der Roboter ist nicht verboten. Daher wird das Symbol „$“ verwendet, wenn ein selektiver Ansatz zum Verbot der Indizierung erforderlich ist.

Außerdem können Sie in der robots.txt-Datei die Indizierung einzelner Ressourcenseiten, die bestimmte Zeichen enthalten, verbieten. Es könnte so aussehen:

Benutzeragent: Yandex Disallow: *&*

Dieser Befehl weist den Yandex-Suchroboter an, nicht alle Seiten einer Website zu indizieren, deren URLs das Zeichen „&“ enthalten. Darüber hinaus muss dieses Zeichen im Link zwischen allen anderen Symbolen erscheinen. Es kann jedoch auch eine andere Situation vorliegen:

Benutzeragent: Yandex Disallow: *&

Dabei gilt das Indexierungsverbot für alle Seiten, deren Links mit „&“ enden.

Wenn mit Indizierung verboten Systemdateien Sollte es auf der Website keine Fragen geben, können sich solche Fragen zum Verbot der Indizierung einzelner Seiten der Ressource stellen. Warum ist das grundsätzlich notwendig? Ein erfahrener Webmaster mag in dieser Hinsicht viele Überlegungen haben, aber die wichtigste ist die Notwendigkeit, doppelte Seiten bei der Suche zu entfernen. Verwenden des Befehls und der Gruppe „Disallow:“. spezielle Charaktere, wie oben besprochen, können Sie ganz einfach mit „unerwünschten“ Seiten umgehen.

Befehl „Zulassen:“ – Indizierung in robots.txt zulassen

Der Antipode der vorherigen Richtlinie kann als Befehl angesehen werden „ Erlauben: " Mit denselben klärenden Elementen, aber mit diesem Befehl in der robots.txt-Datei können Sie dem Indexierungsroboter erlauben, die benötigten Site-Elemente in die Suchdatenbank einzugeben. Um dies zu bestätigen, hier ein weiteres Beispiel:

Benutzeragent: Yandex Zulassen: /wp-admin

Aus irgendeinem Grund änderte der Webmaster seine Meinung und nahm die entsprechenden Anpassungen an robots.txt vor. Als Konsequenz von nun an der Inhalt des Ordners wp-admin offiziell zur Indexierung durch Yandex freigegeben.

Obwohl der Befehl Allow: existiert, wird er in der Praxis nicht sehr oft verwendet. Im Großen und Ganzen ist dies nicht erforderlich, da die Anwendung automatisch erfolgt. Der Websitebesitzer muss lediglich die Direktive „Disallow:“ verwenden, um die Indizierung dieses oder jenes Inhalts zu verhindern. Danach werden alle anderen Inhalte der Ressource, die in der robots.txt-Datei nicht verboten sind, vom Suchroboter als etwas wahrgenommen, das indiziert werden kann und sollte. Alles ist wie in der Rechtswissenschaft: „Erlaubt ist alles, was nicht gesetzlich verboten ist.“

„Host:“- und „Sitemap:“-Anweisungen

Die Übersicht über wichtige Anweisungen in robots.txt wird durch die Befehle „ Gastgeber: " Und " Seitenverzeichnis: " Was das erste betrifft, ist es ausschließlich für Yandex bestimmt und gibt an, welcher Site-Spiegel (mit oder ohne www) als der wichtigste gilt. Eine Website könnte beispielsweise so aussehen:

Benutzeragent: Yandex Host: Website

Benutzeragent: Yandex Host: www.site

Durch die Verwendung dieses Befehls wird außerdem eine unnötige Duplizierung des Website-Inhalts vermieden.

Im Gegenzug lautet die Richtlinie „ Seitenverzeichnis: » zeigt dem Indexierungsroboter den korrekten Pfad zu den sogenannten Site Map-Dateien an sitemap.xml Und sitemap.xml.gz (im Fall von CMS WordPress). Ein hypothetisches Beispiel könnte sein:

Benutzeragent: * Sitemap: http://site/sitemap.xml Sitemap: http://site/sitemap.xml.gz

Wenn Sie diesen Befehl in die robots.txt-Datei schreiben, kann der Suchroboter die Sitemap schneller indizieren. Dies wiederum beschleunigt auch den Prozess, Webressourcenseiten in die Suchergebnisse zu bringen.

Die robots.txt-Datei ist fertig – wie geht es weiter?

Nehmen wir an, dass Sie als unerfahrener Webmaster die gesamte Palette der oben aufgeführten Informationen beherrschen. Was tun danach? Erstellen Text dokument robots.txt unter Berücksichtigung der Eigenschaften Ihrer Website. Dazu benötigen Sie:

• ausnutzen Texteditor(z. B. Notepad), um die benötigte robots.txt zu kompilieren;
• Überprüfen Sie die Richtigkeit des erstellten Dokuments beispielsweise mit diesem Yandex-Dienst.
• Laden Sie die fertige Datei mit einem FTP-Client in den Stammordner Ihrer Website hoch (im Fall von WordPress sprechen wir normalerweise davon). Systemordner public_html).

Ja, fast hätten wir es vergessen. Ein unerfahrener Webmaster wird zweifellos einen ersten Blick darauf werfen wollen vorgefertigte Beispiele Diese Datei von anderen durchgeführt. Nichts könnte einfacher sein. Geben Sie dazu einfach in die Adresszeile Ihres Browsers ein site.ru/robots.txt . Anstelle von „site.ru“ – der Name der Ressource, an der Sie interessiert sind. Das ist alles.

Viel Spaß beim Experimentieren und vielen Dank fürs Lesen!