{"id":1991,"date":"2014-11-05T16:02:25","date_gmt":"2014-11-05T14:02:25","guid":{"rendered":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/?p=1991"},"modified":"2020-01-08T10:44:54","modified_gmt":"2020-01-08T08:44:54","slug":"diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools","status":"publish","type":"post","link":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools","title":{"rendered":"XML Sitemap und indexierte Seiten bei Google"},"content":{"rendered":"<h2>Indexierte Seiten bei Google<\/h2>\n<p>Auf Google Webmaster Central wurde unl\u00e4ngst der Artikel \u201eBest Practices for XML Sitemaps &amp; RSS\/Atom Feeds\u201c ver\u00f6ffentlicht. Darauf aufbauend m\u00f6chte ich das Thema Steuerung der Indizierung und XML Sitemaps als Teil der <a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/leistungen\/seo-consulting\/technische-optimierung\">technischen SEO<\/a> aufgreifen. Ich m\u00f6chte L\u00f6sungsans\u00e4tze aufzeigen, wenn es deutliche Unterschiede in der Anzahl der durch Google indizierten Seiten und den \u00fcber die XML Sitemap eingereichten Seiten gibt. Au\u00dferdem schauen wir uns an, ob alle crawlbaren Seiten in der Sitemap zu finden sind.<\/p>\n<p><strong>1. Seiten, die in der Sitemap gelistet sind, aber nicht bei Google performen <\/strong><\/p>\n<p>Wenn wir einen deutlichen Unterschied in der Anzahl der indizierten Seiten feststellen, sollten wir der Ursache auf den Grund gehen. In meinem Beispiel wurden knapp 21.000 Seiten per XML Sitemap eingereicht und nur etwas mehr als 7.400 indiziert, was ca. 35 % entspricht. Mit dem unten beschriebenen Vorgehen k\u00f6nnen wir die Ursachen eingrenzen.<\/p>\n<p>Um das vorab klarzustellen: <strong>Wir gehen ins Eingemachte!<\/strong><\/p>\n<p>Bei der Analyse der Domain haben sich mehrere Situationen gezeigt, die allesamt die Domain ausbremsen. Die Steuerung der Indizierung ist ein wichtiges und m\u00e4chtiges Instrument, um eine Domain bei Google gut performen zu lassen.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-1.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-1994 size-full\" title=\"xml-sitemap-1\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-1.png\" alt=\"xml-sitemap-1\" width=\"535\" height=\"287\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-1.png 535w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-1-300x160.png 300w\" sizes=\"(max-width: 535px) 100vw, 535px\" \/><\/a><\/p>\n<p>Das Problem in unserem Beispiel ist, dass wahrscheinlich das von Google bereitgestellte Crawling-Kontingent verschwendet wird. Neue Produkte oder Kategorien werden nicht oder nicht so schnell, wie sie es verdienen, von Google indiziert. Wenn wir davon ausgehen, dass die nicht indizierten Seiten auch nicht bei Google ranken, haben wir einen gro\u00dfen Potenzialverlust.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>A) \u00a0 Google Webmaster Tools<\/strong><\/p>\n<p>Welche Daten stehen uns zur Verf\u00fcgung, um dem Problem auf den Grund zu gehen? Die XML Sitemap haben wir nat\u00fcrlich. Wir wissen nur nicht, welche der eingereichten URLs nicht indiziert wurden. Da wir mit Google arbeiten, m\u00fcssen wir auch Googles Daten nutzen. Die erste Adresse sind die Google Webmaster Tools.<\/p>\n<p>Unter dem Punkt \u201eSuchanfragen\u201c finden wir den Unterpunkt \u201eDie h\u00e4ufigsten Seiten\u201c. Dort k\u00f6nnen wir \u00fcber den Filter einstellen, dass wir alle Quellen angezeigt bekommen wollen. \u00dcber diese Einstellungs\u00e4nderung habe ich in meinem Beispiel noch einmal ca. 20 % mehr URLs gewinnen k\u00f6nnen. Zus\u00e4tzlich drehen wir den Zeitraum auf das Maximum von drei Monaten.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-2.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-1995 size-full\" title=\"xml-sitemap-2\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-2.png\" alt=\"xml-sitemap-2\" width=\"588\" height=\"274\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-2.png 588w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-2-300x139.png 300w\" sizes=\"(max-width: 588px) 100vw, 588px\" \/><\/a><\/p>\n<p>Dann klicken wir auf \u201eTabelle herunterladen\u201c. Da in meinem Office 2010 die Umlaute in den Google Webmaster Tools Exporten falsch ausgegeben werden, mache ich einen kleinen Umweg und \u00f6ffne die exportierte CSV Datei im Texteditor und kopiere sie dann in eine leere Excel Datei in die Spalte A.<\/p>\n<p>In Excel haben wir die Komma-separierten Daten in nur einer Spalte. Wir ben\u00f6tigen f\u00fcr unseren Zweck ausschlie\u00dflich die URLs. Impressions, CTR usw. interessieren an dieser Stelle nicht.<\/p>\n<p>Die erste Spalte markieren wir. \u00dcber den Reiter \u201eDaten\u201c kommen wir in Excel zum Punkt \u201eText in Spalten\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-3.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-1996\" title=\"xml-sitemap-3\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-3.png\" alt=\"xml-sitemap-3\" width=\"539\" height=\"136\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-3.png 539w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-3-300x75.png 300w\" sizes=\"(max-width: 539px) 100vw, 539px\" \/><\/a><\/p>\n<p>In drei Schritten k\u00f6nnen wir die Daten in separate Spalten schieben.<\/p>\n<p>Wir w\u00e4hlen \u201eGetrennt\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-4.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-1997 size-full\" title=\"xml-sitemap-4\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-4.png\" alt=\"xml-sitemap-4\" width=\"282\" height=\"155\" \/><\/a><\/p>\n<p>Dann \u201eKomma\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-5.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-1998 size-full\" title=\"xml-sitemap-5\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-5.png\" alt=\"xml-sitemap-5\" width=\"288\" height=\"189\" \/><\/a><\/p>\n<p>Und schlie\u00dflich \u201eStandard\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-6.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-1999 size-full\" title=\"xml-sitemap-6\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-6.png\" alt=\"xml-sitemap-6\" width=\"298\" height=\"162\" \/><\/a><\/p>\n<p>Klicken auf \u201eFertig stellen\u201c und haben nun die URLs in Spalte A.<\/p>\n<p>Unsere <strong>zweite Quelle ist Google Analytics<\/strong>. Aus Analytics bekommen wir nur die URIs, also die Adresse ohne die Domain. Aus diesem Grund entfernen wir mit Suchen &amp; Ersetzen den Domainnamen \u201ehttp:\/\/www.example.com\/\u201c gegen \u201e\/\u201c in unserem ersten Datensatz, dem aus den Google Webmaster Tools.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-7.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2000 size-full\" title=\"xml-sitemap-7\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-7.png\" alt=\"xml-sitemap-7\" width=\"463\" height=\"190\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-7.png 463w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-7-300x123.png 300w\" sizes=\"(max-width: 463px) 100vw, 463px\" \/><\/a><\/p>\n<p>&nbsp;<\/p>\n<p><strong>B) \u00a0 Google Analytics<\/strong><\/p>\n<p>In Google Analytics kommen wir \u00fcber den Punkt \u201eAkquisition\u201c zu den Channels.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-8.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2001 size-full\" title=\"xml-sitemap-8\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-8.png\" alt=\"xml-sitemap-8\" width=\"226\" height=\"327\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-8.png 226w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-8-207x300.png 207w\" sizes=\"(max-width: 226px) 100vw, 226px\" \/><\/a><\/p>\n<p>Wir ben\u00f6tigen den Channel \u201eOrganic Search\u201c. Der anzuzeigende Zeitraum sollte sinnvoll gew\u00e4hlt werden.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-9.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2002 size-full\" title=\"xml-sitemap-9\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-9.png\" alt=\"xml-sitemap-9\" width=\"428\" height=\"92\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-9.png 428w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-9-300x64.png 300w\" sizes=\"(max-width: 428px) 100vw, 428px\" \/><\/a><\/p>\n<p>Im Channel \u201eOrganic Search\u201c w\u00e4hlen wir als sekund\u00e4re Dimension \u201eZielseite\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-10.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2003\" title=\"xml-sitemap-10\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-10.png\" alt=\"xml-sitemap-10\" width=\"801\" height=\"209\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-10.png 801w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-10-300x78.png 300w\" sizes=\"(max-width: 801px) 100vw, 801px\" \/><\/a><\/p>\n<p>Nun wollen wir m\u00f6glichst viele Daten bekommen, also stellen wir die maximale Zeilenzahl 5.000 ein. Sollte diese Zahl nicht ausreichen, k\u00f6nnen wir \u00fcber die Adresszeile die Anzahl weiter hochschrauben.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-11.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2004 size-full\" title=\"xml-sitemap-11\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-11.png\" alt=\"xml-sitemap-11\" width=\"354\" height=\"56\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-11.png 354w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-11-300x47.png 300w\" sizes=\"(max-width: 354px) 100vw, 354px\" \/><\/a><\/p>\n<p>Statt der 5.000 kann man z. B. 10.000 Zeilen einstellen und auf Enter dr\u00fccken. Zu beachten ist, dass der Browser irgendwann schlapp macht. An diese Grenze kann man sich heran tasten.<\/p>\n<p>Wenn die gr\u00f6\u00dftm\u00f6gliche Anzahl an Seiten angezeigt wird, klicken wir oben links auf der Seite auf \u201eExport\u201c und w\u00e4hlen unser Lieblingsformat. F\u00fcr mich ist das XLSX.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-12.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2005 size-full\" title=\"xml-sitemap-12\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-12.png\" alt=\"xml-sitemap-12\" width=\"408\" height=\"255\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-12.png 408w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-12-300x187.png 300w\" sizes=\"(max-width: 408px) 100vw, 408px\" \/><\/a><\/p>\n<p>In diesem Export finden wir im Sheet 2 \u201eDatensatz1\u201c die URIs sowie andere Werte, die wir f\u00fcr unsere jetzigen Zwecke nicht ben\u00f6tigen. Spalte B \u201eZielseite\u201c kopieren wir und f\u00fcgen sie in eine neue Excel Datei in Spalte B ein.<\/p>\n<p>Dann kopieren wir die URIs aus dem Google Webmaster Tools Export an das Ende der Daten aus Google Analytics. Der Kopf der Tabelle (Zeile 1 \u201eSeite\u201c) muss dabei entfernt werden.<\/p>\n<p>In meinem Beispiel habe ich 8.269 URLs aus den Google Webmaster Tools und 4.863 URLs aus Google Analytics. Nun markiere ich die Spalte und gehe \u00fcber den Reiter \u201eDaten\u201c zu \u201eDuplikate entfernen\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-13.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2006\" title=\"xml-sitemap-13\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-13.png\" alt=\"xml-sitemap-13\" width=\"583\" height=\"123\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-13.png 583w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-13-300x63.png 300w\" sizes=\"(max-width: 583px) 100vw, 583px\" \/><\/a><\/p>\n<p>Wenn man wie oben beschrieben vorgeht, braucht man im aufpoppenden Men\u00fc nur auf \u201eOK\u201c klicken. In meinem Beispiel wurden 9.187 eindeutige URLs gefunden.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>C) \u00a0 XML Sitemap in Excel<\/strong><\/p>\n<p>Jetzt wird es spannend. Wir machen die XML Sitemap in Excel auf, d. h., wir ziehen sie auf eine offene Excel Datei. Wenn Excel fragt, in welchem Format die Datei ge\u00f6ffnet werden soll, w\u00e4hlen wir die XML-Tabelle und klicken \u201eOK\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-14.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2007 size-full\" title=\"xml-sitemap-14\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-14.png\" alt=\"xml-sitemap-14\" width=\"315\" height=\"134\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-14.png 315w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-14-300x127.png 300w\" sizes=\"(max-width: 315px) 100vw, 315px\" \/><\/a><\/p>\n<p>Eventuell erscheint ein Hinweis auf das verwendete Schema. Hier klicken wir einfach wieder \u201eOK\u201c.<\/p>\n<p>Nun entfernen wir den Domainnamen aus der ersten Spalte mit Suchen und ersetzen, wie oben beschrieben. Die gesamte Spalte kopieren wir in die Excel Datei, in der schon die Daten aus Google Analytics und den Google Webmaster Tools zu finden sind. Die URLs aus der Sitemap f\u00fcgen wir in Spalte A ein. Bitte zwischendurch immer wieder speichern.<\/p>\n<p>Mit der bedingten Formatierung k\u00f6nnen wir jetzt die URLs ermitteln, die in der Sitemap sind, aber keinen Traffic \u00fcber die organische Suche bringen. Wir markieren die Spalte A. Im Reiter \u201eStart\u201c finden wir den Punkt \u201eBedingte Formatierung\u201c. Hier w\u00e4hlen wir \u201eNeue Regel&#8220;\u00a6\u201c<\/p>\n<p>Dann w\u00e4hlen wir den Punkt \u201eFormel zur Ermittlung der zu formatierenden Zellen verwenden\u201c. Im Feld \u201eWerte formatieren, f\u00fcr die diese Formel wahr ist\u201c geben wir \u201e=A1=SVERWEIS(A1;B:B;1;FALSCH)\u201c ein &#8211; ohne die Anf\u00fchrungszeichen.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-15.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2008 size-full\" title=\"xml-sitemap-15\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-15.png\" alt=\"xml-sitemap-15\" width=\"473\" height=\"463\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-15.png 473w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-15-300x293.png 300w\" sizes=\"(max-width: 473px) 100vw, 473px\" \/><\/a><\/p>\n<p>Dann klicken wir unten noch auf \u201eFormatieren&#8220;\u00a6\u201c, w\u00e4hlen eine Farbe und klicken auf \u201eOK\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-16.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2009 size-full\" title=\"xml-sitemap-16\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-16.png\" alt=\"xml-sitemap-16\" width=\"386\" height=\"158\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-16.png 386w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-16-300x122.png 300w\" sizes=\"(max-width: 386px) 100vw, 386px\" \/><\/a><\/p>\n<p>Nun sollten einige Zellen in Spalte A in der gew\u00e4hlten Farbe eingef\u00e4rbt sein.<\/p>\n<p>Im Anschluss markieren wir die erste Zeile der Tabelle und klicken im Reiter \u201eDaten\u201c auf den Button \u201eFiltern\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-17.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2010\" title=\"xml-sitemap-17\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-17.png\" alt=\"xml-sitemap-17\" width=\"709\" height=\"184\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-17.png 709w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-17-300x77.png 300w\" sizes=\"(max-width: 709px) 100vw, 709px\" \/><\/a><\/p>\n<p>Dann k\u00f6nnen wir im Kopf der Tabelle die Spalte A nach Farben sortieren. Hier w\u00e4hlen wir \u201eKeine F\u00fcllung\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-18.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2011 size-full\" title=\"xml-sitemap-18\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-18.png\" alt=\"xml-sitemap-18\" width=\"488\" height=\"205\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-18.png 488w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-18-300x126.png 300w\" sizes=\"(max-width: 488px) 100vw, 488px\" \/><\/a><\/p>\n<p>Nur die Daten in Spalte A sind interessant. Die eingef\u00e4rbten Zellen enthalten die URLs, die auch in Spalte B vorhanden sind. Es sind also Adressen, die sowohl in der Sitemap als auch in den Google Daten vorhanden sind. Mit diesen ist alles in Ordnung. (&#8222;\u00a6 puh)<\/p>\n<p>Interessant sind die Zeilen, die nicht eingef\u00e4rbt sind. Wieso hat Google sie nicht indiziert? In meinem Beispiel sind von knapp 21.000 eingereichten URLs nur ca. 4.700 bei Google sichtbar.<\/p>\n<p>Ich habe verschiedene Ideen, was nicht stimmen k\u00f6nnte. Mein erster Ansatz ist Duplicate Content bzw. Near Duplicates.<\/p>\n<p>Auch schon gesehen habe ich, dass URLs in der Sitemap stehen, die per robots Meta Tag auf \u201enoindex\u201c gesetzt wurden. Die Google Webmaster Tools geben in diesem Fall keinen Fehler und keine Warnung aus.<\/p>\n<p>Wie k\u00f6nnen wir &#8211; evtl. als Externer &#8211; herausbekommen, welche kanonischen URLs im Quelltext von mehreren tausend Seiten stehen?<\/p>\n<p>Meine erste Wahl w\u00e4re der Screaming Frog SEO Spider. Hiermit kann man ganze Domains oder einfache Listen mit URLs crawlen lassen.<\/p>\n<p>Da wir aber schon mit Excel arbeiten, nutzen wir die <a href=\"http:\/\/nielsbosma.se\/projects\/seotools\/\" target=\"_blank\" rel=\"noopener noreferrer nofollow nofollow\">SEO Tools for Excel von Nils Bosma<\/a>, um die ben\u00f6tigten Daten zu holen.<\/p>\n<p>Jetzt wird es kurz etwas lame. Ziel ist es, die URIs in URLs zu verwandeln. Dazu brauchen wir am Anfang der Adresse wieder den Domainnamen. Wer einen eleganteren Weg weiss, kann diesen gerne nutzen.<\/p>\n<p>Wir nehmen die Liste der URLs, die nicht farbig markiert wurden, machen ein neues Sheet auf und kopieren diese Liste in Spalte B.<\/p>\n<p>Dann schreiben wir den Domainnamen in Spalte A (<a href=\"http:\/\/www.example.com\" rel=\"nofollow\">http:\/\/www.example.com<\/a>) und dr\u00fccken Enter. Wenn wir die Zelle nun markieren, k\u00f6nnen wir die folgenden Zellen mit dem gleichen Inhalt versehen.<\/p>\n<p>Dazu bewegen wir den Mauszeiger \u00fcber die rechte untere Ecke der markierten Zelle, bis das kleine schwarze Kreuz erscheint.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-19.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2012 size-full\" title=\"xml-sitemap-19\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-19.png\" alt=\"xml-sitemap-19\" width=\"370\" height=\"104\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-19.png 370w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-19-300x84.png 300w\" sizes=\"(max-width: 370px) 100vw, 370px\" \/><\/a><\/p>\n<p>Mit gedr\u00fcckter linker Maustaste ziehen wir den Cursor so weit runter, wie die Liste in Spalte B lang ist.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-20.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2013 size-full\" title=\"xml-sitemap-20\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-20.png\" alt=\"xml-sitemap-20\" width=\"285\" height=\"149\" \/><\/a><\/p>\n<p>Nun kopieren wir die Spalte A und B gemeinsam und f\u00fcgen sie in den Texteditor ein. Die Werte aus A und B sind durch Tabs getrennt. Markieren und kopieren wir einen davon. Mit + (in z. B. Ultra Edit) bzw. + (im Windows Editor) kommen wir in das \u201eSuchen und Ersetzen\u201c Men\u00fc. Hier ersetzen wir den Tabstop gegen <em>nichts<\/em>. Im Ersetzen-Feld stellen wir sicher, dass auch keine Leerzeichen vorhanden sind.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-21.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2014\" title=\"xml-sitemap-21\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-21.png\" alt=\"xml-sitemap-21\" width=\"743\" height=\"244\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-21.png 743w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-21-300x98.png 300w\" sizes=\"(max-width: 743px) 100vw, 743px\" \/><\/a><\/p>\n<p>So haben wir wieder eine Liste von URLs, die gecrawlt werden kann.<\/p>\n<p>Diese kopieren wir wieder nach Excel. Nun kommen die SEO Tools for Excel zum Einsatz. Wir wollen als erstes pr\u00fcfen, ob falsch kanonisierte URLs in der XML Sitemap vorhanden sind.<\/p>\n<p>In Spalte A sind unsere URLs, in Spalte B (Zelle B2 muss markiert sein) f\u00fchren wir die Pr\u00fcfung der Canonical Tags durch. Dazu gehen wir in Excel \u00fcber den neuen Reiter \u201eSEO Tools\u201c auf den Men\u00fcpunkt \u201eOnpage\u201c und w\u00e4hlen dort \u201eHtmLCanonical\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-22.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2015\" title=\"xml-sitemap-22\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-22.png\" alt=\"xml-sitemap-22\" width=\"651\" height=\"358\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-22.png 651w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-22-300x164.png 300w\" sizes=\"(max-width: 651px) 100vw, 651px\" \/><\/a><\/p>\n<p>Solche Crawls mache ich grunds\u00e4tzlich auf einem Zweitrechner, um ungest\u00f6rt weiterarbeiten zu k\u00f6nnen.<\/p>\n<p>Wir werden gefragt, welche URL gepr\u00fcft werden soll. Wir markieren Zelle A2 und klicken auf \u201eOK\u201c.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-23.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2016\" title=\"xml-sitemap-23\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-23.png\" alt=\"xml-sitemap-23\" width=\"727\" height=\"291\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-23.png 727w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-23-300x120.png 300w\" sizes=\"(max-width: 727px) 100vw, 727px\" \/><\/a><\/p>\n<p>Entweder bleibt die Zelle leer, was hei\u00dft, dass kein Canonical Tag vorhanden ist oder die kanonische URL wird angezeigt. Dann markieren wir die Zelle B2 und ziehen wieder das kleine schwarze Kreuz nach unten, bis an das Ende der Liste.<\/p>\n<p>Der Grund f\u00fcr die Pr\u00fcfung der kanonischen URLs ist, dass ein Canonical wie eine Weiterleitung gewertet wird. Weiterleitungen haben in der XML Sitemap nichts zu suchen. Ebenso URLs, die per Canonical auf eine zweite URL verweisen.<\/p>\n<p>Wenn alle URLs gepr\u00fcft wurden, k\u00f6nnen wir \u00fcber die bedingte Formatierung (wie oben beschrieben) oder auf eine andere Art pr\u00fcfen, ob die URLs in Spalte A und die kanonischen URLs in Spalte B identisch sind. Man kann auch statt der bedingten Formatierung in der dritten Spalte die Formel \u201e=WENN(ISTFEHLER(FINDEN(A2;B2;1));0;1)\u201c eingeben und dann nach 1 (stimmt \u00fcberein) bzw. 0 (stimmt nicht \u00fcberein) filtern.<\/p>\n<p>Uns interessieren die kanonischen URLs, die nicht mit der URL in Spalte A \u00fcbereinstimmen. Diese m\u00fcssen n\u00e4her untersucht werden.<\/p>\n<p>Nach gleichem Muster pr\u00fcfen wir den robots Meta Tag der Seiten aus der Liste. Ein \u201enoindex\u201c darf bei URLs, die in der XML Sitemap stehen nicht vorkommen. Dazu nehmen wir die Liste der URLs, bei denen wir den Canonical gepr\u00fcft haben und fragen den robots Meta Tag ab.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-24.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2017 size-full\" title=\"xml-sitemap-24\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-24.png\" alt=\"xml-sitemap-24\" width=\"470\" height=\"246\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-24.png 470w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-24-300x157.png 300w\" sizes=\"(max-width: 470px) 100vw, 470px\" \/><\/a><\/p>\n<p>In meinem Beispiel fand ich fast 5.000 URLs, die auf \u201enoindex, follow\u201c standen. Die Frage, ob diese Seiten indiziert werden sollen oder nicht, muss mit dem Seitenbetreiber gekl\u00e4rt werden. Wenn sie nicht indiziert werden sollen, also nicht in den Google Ergebnissen auftauchen sollen, m\u00fcssen sie auf jeden Fall aus der XML Sitemap entfernt werden.<\/p>\n<p>Neben den falsch kanonisierten URLs und den falschen robots Meta Tags sollten wir uns auch um Duplikate bzw. Quasi-Duplikate k\u00fcmmern. Wenn Duplikate oder Quasi-Duplikate bestehen, m\u00f6chte Google nur eine dieser URLs indizieren. Bei den meisten Duplikaten fehlt dem User der Mehrwert. Zur Pr\u00fcfung haben wir in Excel mit den SEO Tools verschiedene M\u00f6glichkeiten.<\/p>\n<p>Die datenm\u00e4\u00dfige Gr\u00f6\u00dfe der Seiten (identische Gr\u00f6\u00dfe in kb) kann z. B. ein Hinweis auf (quasi) Duplikate sein. Auch der verwendete Title kann Aufschluss geben. Das gleiche gilt f\u00fcr doppelte Meta Descriptions. Die beiden letzten Punkte k\u00f6nnen auch \u00fcber die Google Webmaster Tools gepr\u00fcft werden.<\/p>\n<p>Wie wir das Problem mit Quasi-Duplikaten beheben muss von Fall zu Fall entschieden werden.<br \/>\nEin Bsp. aus der Praxis: Wir haben einen Artikel in verschiedenen Farben. Als der Artikel eingestellt wurde, wurde f\u00fcr jede Farbvariante eine eigene Produktseite angelegt. Googles Empfehlung ist f\u00fcr solche F\u00e4lle, nur <em>einen<\/em> Artikel anzulegen und die Farben als Varianten einzupflegen. Der User hat dann die M\u00f6glichkeit per Pull Down Men\u00fc die Farben zu w\u00e4hlen.<\/p>\n<p>Eine weitere M\u00f6glichkeit, aber ehrlich gesagt nur eine Kr\u00fccke, w\u00e4re die Kanonisierung auf ein Master-Produkt. Davon rate ich aus verschiedenen Gr\u00fcnden ab.<\/p>\n<p>Da wir die Seite f\u00fcr den User \/ Kunden machen, sollten wir uns f\u00fcr die L\u00f6sung entscheiden, die dem User am meisten bringt. Stichwort Usability. Das ist die erste L\u00f6sung mit dem Pull Down Men\u00fc. Der User muss so nicht x neue Seiten laden, um die anderen Farben zu sehen.<\/p>\n<p>Solange Excel noch die kanonischen URLs pr\u00fcft, sollten wir uns aber die Liste der URLs einmal genauer ansehen. Wenn wir die Adressen alphabetisch sortieren, entdecken wir evtl. bestimmte Bereiche oder Kategorien \/ Produkte, die per XML Sitemap eingereicht, aber nicht indiziert werden. Hier lohnt es sich genauer zu schauen. D. h. wir rufen die Seiten auf, pr\u00fcfen den Inhalt der Seite, pr\u00fcfen, ob die Seite evtl. doch von Google gecached ist und verschaffen uns so einen \u00dcberblick.<\/p>\n<p>Besonders wenn die XML Sitemap vom System generiert wurde, ohne dass sich jemand die Details angeschaut hat, k\u00f6nnen sich Fehler einschleichen.<\/p>\n<p>In meinem Beispiel habe ich nicht nur falsch kanonisierte URLs oder gesperrte URLs, sondern auch Quasi-Duplikate gefunden, von denen der Seitenbetreiber selbst der Meinung war, dass sie nichts im Google Index zu suchen haben. So konnten in drei Schritten mehrere tausend Seiten entsch\u00e4rft, d. h. f\u00fcr Google gesperrt \/ gel\u00f6scht werden.<\/p>\n<p>Solange eine URL keinen 404 oder 410 liefert, bleibt sie in Googles Index. Also haben wir die URLs etwas modifiziert. Schon wenn ein Zeichen in der URL ge\u00e4ndert wird, ist es f\u00fcr Google eine komplett neue Adresse. Diese werden per robots Meta Tag auf \u201enoindex, nofollow\u201c gesetzt. W\u00fcrden wir nur \u201enoindex\u201c w\u00e4hlen, w\u00fcrde Google die Seiten immer noch pr\u00fcfen und den Links folgen. Das \u201enoindex\u201c hei\u00dft nur, dass sie nicht in den Suchergebnissen auftauchen sollen. Da Google wirklich <em>jede<\/em> URL crawlen und den Links in Dokumenten folgen will, um mehr Seiten zu finden, muss die Anweisung f\u00fcr den Googlebot eindeutig sein. Der Vollst\u00e4ndigkeit halber sperren wir also das neue URL Muster auch in der robots.txt. Die alten URLs werden in diesem Fall nicht weitergeleitet. Sie m\u00fcssen eine Header Meldung 404 bzw. 410 liefern. In diesem Fall ist 410 (Gone) die bessere Wahl.<\/p>\n<p>Wenn wir die neuen URLs nur in der robots.txt sperren w\u00fcrden und im robots Meta Tag \u201eindex, follow\u201c st\u00fcnde, w\u00fcrde Google die Seite wahrscheinlich indexieren. Google will <em>alles<\/em> wissen. Wissen ist Macht.<\/p>\n<p>Bei Magento und auch bei JTL Shops u. a. haben wir schon gro\u00dfe Probleme mit der fassettierten Navigation gehabt. \u00dcber die fassettierte Navigation wurden unz\u00e4hlige Quasi-Duplikate erzeugt. Es gibt immer noch Leute, die denken, dass man mit vielen URLs auch besonders gut rankt. Dem ist aber nicht so. Wenn wir einen Shop mit einer fassettierten Navigation haben, sollten wir die verschiedenen Ebenen nach und nach mit Verstand freischalten. Der Shop sollte nicht in allen Instanzen indizierbar sein. Die Produkte m\u00fcssen nat\u00fcrlich f\u00fcr den Googlebot freigegeben werden. Die fassettierte Navigation bietet aber so viele Varianten, dass wir viel Crawling Kontingent verbrennen w\u00fcrden, wenn wir alle Ebenen frei g\u00e4ben.<\/p>\n<p>Wir vermeiden Quasi-Duplikate und fokussieren uns auf gute Verteilerseiten. Diese Verteilerseiten (Kategorien, Subkategorien) haben durch die interne Verlinkung und Position in der Shop-Hierarchie ausreichend Kraft f\u00fcr ein Top Ranking.<\/p>\n<p>Ein wichtiges Mittel in diesem Zusammenhang ist die Parameterbehandlung in den Google Webmaster Tools (Men\u00fcpunkt Crawling\/ URL-Parameter). Alle Sortierparameter sollten entsprechend eingestellt werden.<\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/xml-sitemap-25.png\"><img loading=\"lazy\" decoding=\"async\" class=\"alignnone wp-image-2018 size-full\" title=\"xml-sitemap-25\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-25.png\" alt=\"xml-sitemap-25\" width=\"490\" height=\"316\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-25.png 490w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/xml-sitemap-25-300x193.png 300w\" sizes=\"(max-width: 490px) 100vw, 490px\" \/><\/a><\/p>\n<p>&nbsp;<\/p>\n<p><strong>2. Seiten, die crawlbar sind, aber nicht in der XML Sitemap gelistet werden<\/strong><\/p>\n<p>Nach diesem kurzen Ausflug k\u00fcmmern wir uns wieder um unsere XML Sitemap. Mit Screaming Frog oder Strucr oder Xenu crawlen wir die Domain. Wobei ich pers\u00f6nlich Xenu nicht mehr nutze, seitdem ich Screaming Frog habe. Screaming Frog ist einfach komfortabler &#8211; was auch seinen Preis hat &#8211; und zwar einen j\u00e4hrlichen. Screaming Frog ist aber leider bei gr\u00f6\u00dferen Seiten irgendwann \u00fcberfordert. Um Speicher zu sparen, sollte man genau einstellen, was man gecrawlt haben will. Man kann sich auf HTML Dokumente beschr\u00e4nken, <a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/leistungen\/offpage-seo\/linkaufbau\">externe Links<\/a> au\u00dfen vor lassen usw. F\u00fcr gro\u00dfe Seiten nimmt man Strucr.<\/p>\n<p><strong>Die Frage, die wir uns beantworten wollen ist, welche Seiten sind crawlbar und nicht in der Sitemap enthalten? Eine Webseite und ihre XML Sitemap m\u00fcssen konsistent sein.<\/strong><\/p>\n<p>Das Ergebnis des Crawls halten wir gegen die Sitemap. Das machen wir nach dem gleichen Muster, wie den Abgleich zwischen Sitemap und den URLs aus Google Analytics \/ den Google Webmaster Tools. So identifizieren wir alle URLs, die bisher in der Sitemap nicht ber\u00fccksichtigt wurden. Denkbar ist, dass es in einem Shop einen Service- oder Infobereich gibt, der bisher nicht in die Sitemap aufgenommen wurde o.\u00e4. Solche Seiten, die einen Mehrwert f\u00fcr den User bieten, sollten unbedingt in die Sitemap aufgenommen werden. Auch, wenn das Angebot im Shop eher statisch ist, k\u00f6nnen \u00fcber Infoseiten mehrwertige Inhalte rund um die Produkte geschaffen werden. Und grunds\u00e4tzlich gilt: Wenn eine Seite es wert ist, sie zu erstellen, ist sie es auch wert gefunden zu werden. Die XML Sitemap hilft dabei ein St\u00fcck weit.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>3. Fazit<\/strong><\/p>\n<p>Mit den oben beschriebenen Ma\u00dfnahmen haben wir innerhalb von drei Monaten eine Steigerung im Traffic von knapp 20 % erreicht. Die Anzahl der indizierten Seiten ist im selben Zeitraum um ca. 16 % gefallen.<\/p>\n<p>Es wurden keine weiteren SEO Ma\u00dfnahmen unternommen. Somit l\u00e4sst sich eine Verf\u00e4lschung des Ergebnisses nahezu ausschlie\u00dfen.<\/p>\n<p>&nbsp;<\/p>\n<p><strong>\u00dcber den Autor:<\/strong><\/p>\n<p><a href=\"https:\/\/www.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/kamillo-kluth-semseo-2014.jpg\"><img loading=\"lazy\" decoding=\"async\" class=\"alignright wp-image-2039\" title=\"kamillo-kluth-abakus-internet-marketing\" src=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/seoblog\/wp-content\/uploads\/2014\/11\/kamillo-kluth-semseo-2014-150x150.jpg\" alt=\"kamillo-kluth-abakus-internet-marketing\" width=\"150\" height=\"150\" align=\"right\" srcset=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/kamillo-kluth-semseo-2014-150x150.jpg 150w, https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2014\/11\/kamillo-kluth-semseo-2014.jpg 250w\" sizes=\"(max-width: 150px) 100vw, 150px\" \/><\/a>Seit 11 Jahren ist <a href=\"https:\/\/plus.google.com\/116024680685496305513\/posts\" target=\"_blank\" rel=\"noopener noreferrer nofollow\">Kamillo Kluth<\/a> f\u00fcr ABAKUS Internet Marketing t\u00e4tig. In dieser Zeit hat er ma\u00dfgeblich die langfristigen Strategien f\u00fcr die Suchmaschinenoptimierung im Unternehmen mitbestimmt. Aktuell ist er der Leiter der Abteilung Suchmaschinenoptimierung bei ABAKUS und somit am Puls der Zeit.<\/p>\n<p>Weiterf\u00fchrende Links:<br \/>\n<a href=\"http:\/\/googlewebmastercentral.blogspot.de\/2014\/10\/best-practices-for-xml-sitemaps-rssatom.html\" target=\"_blank\" rel=\"noopener noreferrer nofollow nofollow\">Best Practices for XML Sitemaps &amp; RSS\/Atom Feeds<\/a><\/p>\n","protected":false},"excerpt":{"rendered":"<p>Indexierte Seiten bei Google Auf Google Webmaster Central wurde unl\u00e4ngst der Artikel \u201eBest Practices for XML Sitemaps &amp; RSS\/Atom Feeds\u201c ver\u00f6ffentlicht. Darauf aufbauend m\u00f6chte ich das Thema Steuerung der Indizierung und XML Sitemaps als Teil der technischen SEO aufgreifen. Ich m\u00f6chte L\u00f6sungsans\u00e4tze aufzeigen, wenn es deutliche Unterschiede in der Anzahl der durch Google indizierten Seiten<\/p>\n<p><span class=\"weiterlesen\">><\/span>&nbsp;<a href=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools\" class=\"blue weiterlesen_klein\">WEITERLESEN &#8230;<\/a><\/p>\n","protected":false},"author":47,"featured_media":4094,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"_acf_changed":false,"footnotes":""},"categories":[60],"tags":[],"class_list":["post-1991","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-onsite-seo"],"acf":[],"yoast_head":"<!-- This site is optimized with the Yoast SEO plugin v23.7 - https:\/\/yoast.com\/wordpress\/plugins\/seo\/ -->\n<title>XML Sitemap und indexierte Seiten bei Google - ABAKUS Blogarchiv<\/title>\n<meta name=\"robots\" content=\"index, follow, max-snippet:-1, max-image-preview:large, max-video-preview:-1\" \/>\n<link rel=\"canonical\" href=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools\" \/>\n<meta property=\"og:locale\" content=\"de_DE\" \/>\n<meta property=\"og:type\" content=\"article\" \/>\n<meta property=\"og:title\" content=\"XML Sitemap und indexierte Seiten bei Google - ABAKUS Blogarchiv\" \/>\n<meta property=\"og:description\" content=\"Indexierte Seiten bei Google Auf Google Webmaster Central wurde unl\u00e4ngst der Artikel \u201eBest Practices for XML Sitemaps &amp; RSS\/Atom Feeds\u201c ver\u00f6ffentlicht. Darauf aufbauend m\u00f6chte ich das Thema Steuerung der Indizierung und XML Sitemaps als Teil der technischen SEO aufgreifen. Ich m\u00f6chte L\u00f6sungsans\u00e4tze aufzeigen, wenn es deutliche Unterschiede in der Anzahl der durch Google indizierten Seiten&gt;&nbsp;WEITERLESEN ...\" \/>\n<meta property=\"og:url\" content=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools\" \/>\n<meta property=\"og:site_name\" content=\"ABAKUS Blogarchiv\" \/>\n<meta property=\"article:publisher\" content=\"https:\/\/de-de.facebook.com\/abakusinternetmarketing\/\" \/>\n<meta property=\"article:author\" content=\"https:\/\/de-de.facebook.com\/kamillo.kluth\" \/>\n<meta property=\"article:published_time\" content=\"2014-11-05T14:02:25+00:00\" \/>\n<meta property=\"article:modified_time\" content=\"2020-01-08T08:44:54+00:00\" \/>\n<meta property=\"og:image\" content=\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg\" \/>\n\t<meta property=\"og:image:width\" content=\"512\" \/>\n\t<meta property=\"og:image:height\" content=\"512\" \/>\n\t<meta property=\"og:image:type\" content=\"image\/jpeg\" \/>\n<meta name=\"author\" content=\"Kamillo Kluth\" \/>\n<meta name=\"twitter:card\" content=\"summary_large_image\" \/>\n<meta name=\"twitter:creator\" content=\"@AbakusIM\" \/>\n<meta name=\"twitter:site\" content=\"@AbakusIM\" \/>\n<meta name=\"twitter:label1\" content=\"Verfasst von\" \/>\n\t<meta name=\"twitter:data1\" content=\"Kamillo Kluth\" \/>\n\t<meta name=\"twitter:label2\" content=\"Gesch\u00e4tzte Lesezeit\" \/>\n\t<meta name=\"twitter:data2\" content=\"15\u00a0Minuten\" \/>\n<script type=\"application\/ld+json\" class=\"yoast-schema-graph\">{\"@context\":\"https:\/\/schema.org\",\"@graph\":[{\"@type\":\"WebPage\",\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools\",\"url\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools\",\"name\":\"XML Sitemap und indexierte Seiten bei Google - ABAKUS Blogarchiv\",\"isPartOf\":{\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#website\"},\"primaryImageOfPage\":{\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools#primaryimage\"},\"image\":{\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools#primaryimage\"},\"thumbnailUrl\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg\",\"datePublished\":\"2014-11-05T14:02:25+00:00\",\"dateModified\":\"2020-01-08T08:44:54+00:00\",\"author\":{\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#\/schema\/person\/324de5c6f51552ab5a4182f416b5af60\"},\"inLanguage\":\"de\",\"potentialAction\":[{\"@type\":\"ReadAction\",\"target\":[\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools\"]}]},{\"@type\":\"ImageObject\",\"inLanguage\":\"de\",\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools#primaryimage\",\"url\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg\",\"contentUrl\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg\",\"width\":512,\"height\":512},{\"@type\":\"WebSite\",\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#website\",\"url\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/\",\"name\":\"ABAKUS Blogarchiv\",\"description\":\"\",\"potentialAction\":[{\"@type\":\"SearchAction\",\"target\":{\"@type\":\"EntryPoint\",\"urlTemplate\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/?s={search_term_string}\"},\"query-input\":{\"@type\":\"PropertyValueSpecification\",\"valueRequired\":true,\"valueName\":\"search_term_string\"}}],\"inLanguage\":\"de\"},{\"@type\":\"Person\",\"@id\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#\/schema\/person\/324de5c6f51552ab5a4182f416b5af60\",\"name\":\"Kamillo Kluth\",\"description\":\"Gesch\u00e4ftsleiter Kamillo Kluth ist Gesch\u00e4ftsleiter der ABAKUS Internet Marketing GmbH und besch\u00e4ftigt sich schon seit dem Jahr 2001 mit Suchmaschinenoptimierung. Als SEO der ersten Stunde hat er zahlreiche bekannte Unternehmen beraten und zu besseren Rankings verholfen. Er ist ein Experte f\u00fcr Nutzerpsychologie und die technischen Feinheiten des Google-Algorithmus. Kamillo Kluth ist au\u00dferdem ein gefragter Dozent und Fachautor.\",\"sameAs\":[\"https:\/\/about.me\/kamillo.kluth\",\"https:\/\/de-de.facebook.com\/kamillo.kluth\"],\"url\":\"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/author\/kamillo-kluth\"}]}<\/script>\n<!-- \/ Yoast SEO plugin. -->","yoast_head_json":{"title":"XML Sitemap und indexierte Seiten bei Google - ABAKUS Blogarchiv","robots":{"index":"index","follow":"follow","max-snippet":"max-snippet:-1","max-image-preview":"max-image-preview:large","max-video-preview":"max-video-preview:-1"},"canonical":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools","og_locale":"de_DE","og_type":"article","og_title":"XML Sitemap und indexierte Seiten bei Google - ABAKUS Blogarchiv","og_description":"Indexierte Seiten bei Google Auf Google Webmaster Central wurde unl\u00e4ngst der Artikel \u201eBest Practices for XML Sitemaps &amp; RSS\/Atom Feeds\u201c ver\u00f6ffentlicht. Darauf aufbauend m\u00f6chte ich das Thema Steuerung der Indizierung und XML Sitemaps als Teil der technischen SEO aufgreifen. Ich m\u00f6chte L\u00f6sungsans\u00e4tze aufzeigen, wenn es deutliche Unterschiede in der Anzahl der durch Google indizierten Seiten>&nbsp;WEITERLESEN ...","og_url":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools","og_site_name":"ABAKUS Blogarchiv","article_publisher":"https:\/\/de-de.facebook.com\/abakusinternetmarketing\/","article_author":"https:\/\/de-de.facebook.com\/kamillo.kluth","article_published_time":"2014-11-05T14:02:25+00:00","article_modified_time":"2020-01-08T08:44:54+00:00","og_image":[{"width":512,"height":512,"url":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg","type":"image\/jpeg"}],"author":"Kamillo Kluth","twitter_card":"summary_large_image","twitter_creator":"@AbakusIM","twitter_site":"@AbakusIM","twitter_misc":{"Verfasst von":"Kamillo Kluth","Gesch\u00e4tzte Lesezeit":"15\u00a0Minuten"},"schema":{"@context":"https:\/\/schema.org","@graph":[{"@type":"WebPage","@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools","url":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools","name":"XML Sitemap und indexierte Seiten bei Google - ABAKUS Blogarchiv","isPartOf":{"@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#website"},"primaryImageOfPage":{"@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools#primaryimage"},"image":{"@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools#primaryimage"},"thumbnailUrl":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg","datePublished":"2014-11-05T14:02:25+00:00","dateModified":"2020-01-08T08:44:54+00:00","author":{"@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#\/schema\/person\/324de5c6f51552ab5a4182f416b5af60"},"inLanguage":"de","potentialAction":[{"@type":"ReadAction","target":["https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools"]}]},{"@type":"ImageObject","inLanguage":"de","@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/onsite-seo\/diskrepanz-zwischen-indizierten-seiten-und-per-xml-sitemap-eingereichten-seiten-in-den-google-webmaster-tools#primaryimage","url":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg","contentUrl":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-content\/uploads\/2016\/02\/cropped-abakus-logo-amp.jpg","width":512,"height":512},{"@type":"WebSite","@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#website","url":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/","name":"ABAKUS Blogarchiv","description":"","potentialAction":[{"@type":"SearchAction","target":{"@type":"EntryPoint","urlTemplate":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/?s={search_term_string}"},"query-input":{"@type":"PropertyValueSpecification","valueRequired":true,"valueName":"search_term_string"}}],"inLanguage":"de"},{"@type":"Person","@id":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/#\/schema\/person\/324de5c6f51552ab5a4182f416b5af60","name":"Kamillo Kluth","description":"Gesch\u00e4ftsleiter Kamillo Kluth ist Gesch\u00e4ftsleiter der ABAKUS Internet Marketing GmbH und besch\u00e4ftigt sich schon seit dem Jahr 2001 mit Suchmaschinenoptimierung. Als SEO der ersten Stunde hat er zahlreiche bekannte Unternehmen beraten und zu besseren Rankings verholfen. Er ist ein Experte f\u00fcr Nutzerpsychologie und die technischen Feinheiten des Google-Algorithmus. Kamillo Kluth ist au\u00dferdem ein gefragter Dozent und Fachautor.","sameAs":["https:\/\/about.me\/kamillo.kluth","https:\/\/de-de.facebook.com\/kamillo.kluth"],"url":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/author\/kamillo-kluth"}]}},"amp_enabled":true,"_links":{"self":[{"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/posts\/1991"}],"collection":[{"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/users\/47"}],"replies":[{"embeddable":true,"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/comments?post=1991"}],"version-history":[{"count":4,"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/posts\/1991\/revisions"}],"predecessor-version":[{"id":24588,"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/posts\/1991\/revisions\/24588"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/media\/4094"}],"wp:attachment":[{"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/media?parent=1991"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/categories?post=1991"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/archiv.abakus-internet-marketing.de\/wissen\/seo-blog\/wp-json\/wp\/v2\/tags?post=1991"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}