Seite 1 von 1

site für bots sperren!

Verfasst: 02.11.2004, 15:19
von sascha_
hallo, mir ist eine scheisse passiert. ich programmiere gerade meinen shop, stehe aber noch ganz am anfang. weil das alles für mich neu ist dauert es auch lange und wenn probleme auftauchen frage ich in foren. momentan arbeite ich noch an der startseite und die wollte ich in einem forum am wochenende auf browserkompatibilität testen lassen, also habe ich sie im thread verlinkt. nun googel ich und finde plötzlich meine seite -- würg. das wollte ich doch garnicht, denn da ist nichts dran fertig. nun möchte ich hier fragen, wie man die site für die bots der suchmaschinen nicht zugänglich macht? , damit mir sowas nicht nochmal passiert!

ich hatte sie auf einen testaccount geladen. wenn ich sie später (ich habe mir vorgenommen in einem monat mit der site fertig zu werden) auf den richtigen webspace lade, würde mich interessieren ob ich ärger mit google bekomme, weil er ja eine sehr ähnliche startseite vom testaccount kennt! ich glaube sowas nennt sich doublette.

dann würde ich noch gerne wissen wie ihr das mit den foren macht. irgendwie finde ich es nicht so schön, wenn meine mitbewerber wind davon bekommen, oder threads von mir lesen, in denen ich mich nach webprogrammierung oder seo themen erkundige. man könnte ja einfach nicht mehr direkt linken, sondern die url ohne www. schreiben. hier befürchte ich allerdings, dass man die threads trotzdem findet, indem man nach meiner url googelt. oder man könnte eine url mit weiterleitung auf den boards verlinken. was meint ihr?

nun zu den guten nachrichten. dafür möchte ich etwas weiter ausholen. also ich hatte die fixe idee einen onlineshop zu betreiben und bin irgendwie hier in diesem forum gelandet und habe hier sehr viel gelesen. all diese grundlegenden tipps habe ich dann versucht in die programmierung, die ich ja erst noch lernen musste mit einfliessen zu lassen.

und heute sehe ich dann bei google das ergebnis. obwohl nur die startseite existiert, die noch nichtmal fertig optimiert war und nur ein link auf diese verweist, bin ich bei meinen 3 gewählten kws auf platz 4, 8 und 17. richtig optimiert hatte ich erst auf das kw, wo ich auf platz 4 bin. -- vor freude könnte ich euch alle küssen, denn hier habe ich alles gelernt und hier hat alles angefangen.

liebste grüsse,
sascha - freut - sich! :D

Verfasst:
von

Verfasst: 02.11.2004, 15:30
von bull

Verfasst: 02.11.2004, 16:41
von sascha_
ok, also über die "robots.txt" mit "Disallow: /" .
jedoch weiss ich ja nicht, wie die bots der suchmaschinen heissen. praktisch wäre auch ein befehl, indem ich alle bots aussperren könnte.

kann mir hier jemand weiterhelfen?

gruss,
sascha

Verfasst:
von
SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


Verfasst: 02.11.2004, 17:05
von Southmedia
User-Agent: *
Das davor.

Verfasst: 02.11.2004, 18:58
von Lutz-Development
Wenn dann würde ich das über ie .htaccess machen.

Verfasst: 02.11.2004, 21:04
von Caterham
dann würde ich noch gerne wissen wie ihr das mit den foren macht. irgendwie finde ich es nicht so schön, wenn meine mitbewerber wind davon bekommen, oder threads von mir lesen, in denen ich mich nach webprogrammierung oder seo themen erkundige. man könnte ja einfach nicht mehr direkt linken, sondern die url ohne www. schreiben. hier befürchte ich allerdings, dass man die threads trotzdem findet, indem man nach meiner url googelt. oder man könnte eine url mit weiterleitung auf den boards verlinken. was meint ihr?
Mir wäre es ehrlich gesagt egal, ob jmd. Foreneinträge findet; wenn'se Langeweile haben...

Ich denke, du hast gute Chancen bei Links wie gucke hier. Wenn du nach der URI https://hallo.de als Text suchst, wird nichts gefunden, da kein Text mit der URI vorhanden ist.

Als Link wird hier im Forum das von google sowieso nicht erkannt (->outbound.pl) und nicht verfolgt.
ich hatte sie auf einen testaccount geladen. wenn ich sie später (ich habe mir vorgenommen in einem monat mit der site fertig zu werden) auf den richtigen webspace lade, würde mich interessieren ob ich ärger mit google bekomme, weil er ja eine sehr ähnliche startseite vom testaccount kennt! ich glaube sowas nennt sich doublette.
Wenn das einmal vorkommt, wird das wohl keine Konsequenzen haben. Wohl anders wenn div. Seiten identisch sind und bei Doorwaypages

Gruß
Robert

Verfasst: 03.11.2004, 18:06
von sascha_
@Lutz-Development:
wieso denn lieber über die .htaccess?
damit ich nicht ewig solche fragen stelle, muss ich doch auch verstehen wieso etwas besser ist als etwas anderes! :wink:

@Caterham:
Wohl anders wenn div. Seiten identisch sind
ja, es handelt sich um eine div seite die in den ersten 100 zeilen vom code identisch sein wird. dann kommt halt noch mehr text dazu, um die restlichen kws unterzubringen. diesen text würde google dann noch nicht kennen. habe ich da etwas zu befürchen?

gruss,
sascha

Verfasst: 03.11.2004, 21:03
von Caterham
Mit "div. Seiten" meinte ich eigentlich diverse Seiten, d.h. dass das mehr oder minder massenhaft vorkommt ("cloning").
Wie gesagt, wenn es die eine Seite ist und du keine halben Domains spiegelst, wirst du da wohl nichts zu befürchten haben.

zu dem .htaccess -> Eigentlich nur nötig, für Suchmaschinen, die die robotx.txt nicht 'respektieren'. "Vernünftige" Suchmaschinen machen das aber und müssen nicht per .htaccess zwangsausgesperrt werden.
Es gibt auch noch ein paar unvernünftige SuMas und Spam-Bots oder Bots generell. Diese folgen nicht den robots.txt Anweisungen.

So wie ich das verstanden habe, möchtest du eine Indizierung von Google u.a. verhindern; da sollte die robots.txt genügen.
Wenn deine Seite aus dem Index schnell verschwinden soll
-> https://www.google.de/intl/de/remove.ht ... de_website ->https://services.google.com/urlconsole/controller

Gruß
Robert

Verfasst: 04.11.2004, 10:32
von sascha_
zu dem .htaccess -> Eigentlich nur nötig, für Suchmaschinen, die die robotx.txt nicht 'respektieren'. "Vernünftige" Suchmaschinen machen das aber und müssen nicht per .htaccess zwangsausgesperrt werden.
na dann werde ich zusätzlich noch über die .htaccess sperren, denn eine halbfertige seite brauch ja von niemanden gespidert werden.

der link war sehr gut, denn da steht ja wirklich alles drin. kommt direkt zu den favoriten.

gruss,
sascha