Für das Crawling von Webseiten ist es eine Möglichkeit, XML-Sitemaps zu verwenden. Diese Sitemaps kann man an Google senden und es der Suchmaschine damit ermöglichen, interessante Inhalte einer Webseite zu finden und herunterzuladen.
Eine weitere Möglichkeit wäre die Verwendung von RSS/Atom Feeds. Der wichtigste Unterschied zwischen Sitemaps und Atom Feeds ist der, dass Sitemaps die gesamte Anzahl der URLs einer Webseite/Domain angeben und die beschreiben die letzten Änderungen.
- Sitemaps sind größer als RSS/Atom Feeds
- Sitemaps werden seltener heruntergeladen
Was denn nun – RSS/Atom Feed oder XML-Sitemap
Für optimales Crawlen empfiehlt Google die Verwendung von Sitemaps und Feeds. Denn die Sitemaps geben Google alle Informationen über die URLs einer Webseite und die Feeds versorgen die Suchmaschine mit ständigen Updates. Aber allein die Verwendung von Sitemap und Feed garantiert nicht das indexieren der Inhalte.
Beispiel einer Sitemap
<?xml version="1.0" encoding="utf-8"?> <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> <url> <loc>http://example.com/mypage</loc> <lastmod>2011-06-27T19:34:00+01:00</lastmod> <!-- optional additional tags --> </url> <url> ... </url> </urlset>
Beispiel RSS Feed
<?xml version="1.0" encoding="utf-8"?>
<rss>
<channel>
<!-- other tags -->
<item>
<!-- other tags -->
<link>http://example.com/mypage</link>
<pubDate>Mon, 27 Jun 2011 19:34:00 +0100</pubDate>
</item>
<item>
...
</item>
</channel>
</rss>
Beispiel Atom-Feed
<?xml version="1.0" encoding="utf-8"?> <feed xmlns="http://www.w3.org/2005/Atom"> <!-- other tags --> <entry> <link href="http://example.com/mypage" /> <updated>2011-06-27T19:34:00+01:00</updated> <!-- other tags --> </entry> <entry> ... </entry> </feed>
Häufige Fehler:
Ein häufiger Fehler bei der Verwendung von Sitemaps und Feeds: die URLs werden in der Robots.txt verboten, dann kann Google sie nicht crawlen, obwohl die URL in der Sitemap steht. Um das zu prüfen, kann man den neuen Robots.txt-Tester verwenden.
