Die Google Webmaster Tools wurden um ein weiteres Werkzeug erweitert, dem Robots.txt Tester.
Wie es der Name sagt, kann man mit dem Robots.txt Test Tool die Funktion der Robots.txt prüfen.
Was die Robots.txt ist und wie man sie richtig erstellt, hatten wir im OnPage Friday zum Thema Robots.txt, Sitemap.xml und GoogleBots.
Was kann der neue Robots.txt Tester?
Der Tester für die Robots.txt hat folgende Funktionen:
- Er zeigt Fehler und Warnungen für die Robots.txt an.
- Man hat die Möglichkeit verschiedene URLs zu prüfen.
- Werden Sie blockiert?
- Werden sie nicht blockiert?
- Die URLs kann man mit den verschiedensten Google Bots prüfen:
- Natürlich mit dem Googlebot.
- Mit dem Newsbot.
- Mit dem Google- Bilderbot.
- Auch mit dem Videobot.
- Dem Smartphonebot.
- Mit dem Google- AdsBot.
- Und natürlich dem Mediapartners- Bot
- Außerdem wird angezeigt, wann Google die Letzte Version der Robots.txt geladen hat.