Warum werden Seiten indiziert, obwohl nicht verlinkt?

[UweKeim]

Bei einem Mitbewerber von uns habe ich gesehen, dass Seiten von ihm im Index von Google- und Sistrix enthalten sind, obwohl diese Seiten weder von extern noch von intern verlinkt sind.

(Ich habe mal mit mit WinHTTrack alles downgeloaded, durchsucht und keine Verweise gefunden)

Die URL, die von Google gefunden wird und deren Inhalte indiziert werden ist z.B.:

https://www.meine-eigene-website.de/einordner/

Auf eben diese URL gibt es keine internen und externen Verweise.

Auf was es hingegen sehr wohl interne Verweise gibt ist z.B.:

https://www.meine-eigene-website.de/ein ... kument.pdf

Dazu meine Frage: Warum indiziert Google die Inhalte einer URL, die nicht referenziert wird?

Eine Vermutung von mir ist, dass sobald etwas unterhalb eines Ordners referenziert wird, eine Suchmaschine "nach oben" wandert und alles jeweils anschaut.

Liege ich mit dieser Vermutung so richtig?

[Hirnhamster]

Hast du mal geschaut, ob der Ordner in der Sitemap steht? Falls nicht könnte er immer noch durch Anpingen den Bot drauf aufmerksam gemacht haben.

Außerdem wirst du kaum den gleichen Datenbestand wie Google abfragen können und demnach gar nicht genau wissen könne, ob von extern Links auf die Seite existieren.

[UweKeim]

Danke, @Hirnmaster.

Der Mitbewerber macht das auf vielen seiner unterschiedlichen Domains, Sitemap hat er auch keine.

Das mit dem Anpingen des Google Bots klingt interessant, gibt's da eine Vorgehensweise? Ggf. eine bestimmt URL aufrufen (ohne Captcha) und über die URL benachrichtigen?

[Anonymous]

Bei einem Mitbewerber von uns habe ich gesehen, dass Seiten von ihm im Index von Google- und Sistrix enthalten sind, obwohl diese Seiten weder von extern noch von intern verlinkt sind.

hast du ne zuverlässige Glaskugel, oder warum kannst du das so genau sagen?

einerseits zeigt dir keine Suchmaschine alle Links an, andererseits ist es auch problemlos möglich einen Link aus den Backlinkanzeigen der Suchmaschinen rauszuhalten...

auch reicht es teilweise mit einer PR Anzeige im Browser eine URL zu besuchen damit Google sie kennt und spidert...

auch kannst du nicht wirklich mit gewissheit sagen das es keine Sitemap gibt, es gibt Möglichkeiten zu verhindern das sich jeder diese Sitemap ansehen kann...

[Hirnhamster]

Das mit dem Anpingen des Google Bots klingt interessant, gibt's da eine Vorgehensweise? Ggf. eine bestimmt URL aufrufen (ohne Captcha) und über die URL benachrichtigen?

Es gibt massig Pingdienste da draußen.. z.B. pingler.com, pingomatic.com, pingdevice.com... Außerdem kann man sich sowas auch einfach selbst basteln. Man muss ja lediglich einen Request an die URL des Pindienstes schicken.

[tuennes]

Außerdem kann es ja auch sein, dass die Seiten mal früher verlinkt waren oder Adsense-Werbung enthalten haben, so dass der Bot mitbekommen hat, dass diese Seiten existieren...

[UweKeim]

Herzlichen Dank an Euch alle! Ich bin mir relativ sicher, dass es keine Sitemap gibt, das mit dem Pingdienst erscheint mir am plausibelsten, mille gracie

[BrainCandy]

einerseits zeigt dir keine Suchmaschine alle Links an, andererseits ist es auch problemlos möglich einen Link aus den Backlinkanzeigen der Suchmaschinen rauszuhalten...

Letzteres habe ich ja noch nie gehört. Wie soll das gehen? JavaScript o.ä.?

[Anonymous]

Letzteres habe ich ja noch nie gehört. Wie soll das gehen? JavaScript o.ä.?

na, wenn die Linkgebende Seite ein robots="noindex" in den Metas stehen hat, wird die Seite im Index ja nicht aufgeführt, auch nicht als Backlink....

[BrainCandy]

na, wenn die Linkgebende Seite ein robots="noindex" in den Metas stehen hat, wird die Seite im Index ja nicht aufgeführt, auch nicht als Backlink....

Das ist irgendwie schon wieder zu logisch

[Vegas]

na, wenn die Linkgebende Seite ein robots="noindex" in den Metas stehen hat, wird die Seite im Index ja nicht aufgeführt, auch nicht als Backlink....

Stimmt, leider in der Regel nur auf eigenen Seiten einsetzbar. Es gibt aber noch einen anderen kleinen Trick: Flooding mit Schrott.

1. Domain registrieren, zur Not auch Pseudodomain wie .co.cc o.ä, Hauptsache billig.

2. Automatisch Massen an Unterseiten erzeugen. Kann der letzte Schrott sein, gut geeignet sind etwa einige der kostenlosen Affiliate Shop Scripte die über eine API abertausende Produkte ziehen.

3. Sitewide Link zu den Domains deren Backlinks man nicht gerne der Konkurrenz zeigen möchte setzen.

4. Verlinken damit möglichst viele Unterseiten indiziert werden. Schneller und bequemer geht es mit einer gedroppten Domain mit bestehenden Backlinks in Schritt 1.

Effekt: In den üblichen kostenlosen Quellen wie dem Yahoo Site Exploer werden die Massen an Links von der einen Domain angezeigt, die anderen Linkquellen die man ungerne preisgeben möchte zumindest teilweise verdrängt.

Das ganze ist natürlich nicht perfekt, je nachdem wie professionell die Konkurrenz arbeitet und welche Tools zur Backlinkanalyse zum Einsatz kommen, aber es erschwert zumindest dem Otto Normal Seitenbetreiber, die eigene Linkstruktur nachzubauen und gleich alle Sahnestücke auf dem Silbertablett serviert zu bekommen.

Zudem kann man mit einer Viertelmillion Backlinks auch gegenüber Linktausch Partnern Eindruck schinden

[unknownsoul]

Wie wäre es mit der Google Toolbar als Grund?

[Cura]

Jetzt machen sich hier alle möglichen Leute Gedanken drum, warum sein könnte, was der TE anfragt. Dabei wissen wir alle schon lange, dass G alles spidert was ihnen bekannt wird und was sie nicht explizit aussperrt.

Wir hatten dazu sogar mal ne Diskussion, ob das so überhaupt gesetzeskonform ist. Und auch dazu, wie G an die Infos kommt gab es schon verschiedenste Diskussionen. Eine der wahrscheinlichen Möglichkeiten ist die G-Tollbar, die aufgerufene Seiten so an die Mami meldet.

Wir hatte auch schon Diskussionen dazu, ob es genügt eine Seite über die G-Tollbar anzusteuern, um eine Seite in den Index zu kriegen.

[Anonymous]

Es gibt aber noch einen anderen kleinen Trick: Flooding mit Schrott.

ist aber nur bedingt wirksam... wer das erkennt, setzt einfach ein -site:floodingdomain.tld in die backlinkabfrage und filtert so diese Links aus...

[UweKeim]

Nochmals Danke

Ich habe mal ein paar Testseiten nach dem Muster des Wettbewerbers aufgesetzt und warte jetzt mal ab, ob Google die indiziert.