Alle Bots sperren

Beitrag von **Racker** » 04.02.2005, 10:53

Hallo
Gibt es eigentlich eine möglichkeit ALLE bots außer Google zu sperren? Ohne das man jeden Bot in die Robots eintägt Ich bin es nämlich leid das meine Seiten in diese ganzen hundikus katzikus und den anderen kus Scheiß drin ist. Und der Betreiber soll mir jetzt nicht erzählen ich soll ihm eien Mail schreiben.Bei sovielen KUS domains währe ich da in einer Woche noch dran
Katja

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **hyro** » 04.02.2005, 11:04

Hallo Katja,

du kannst entweder

1) eine mail schreiben in welcher die domains stehen die du ausgetragen haben willst (egal welches portal)

dies bewirkt eine globale sperre in all diesen themensuchmaschinen..
die updates hierfür laufen alle paar tage und bewirken nebst dem austrag
auch die anzeige der ehemaligen seite als 404 error seite mit "noindex"

die robots schnittstelle dürfte so hoffe ich zum ende der woche fertigsein, sodaß
man hierfür den robot auch komplett über die robots.txt mit disallow vom user-agent "thesubot" sperren kann, was automatisch zum austrag der seite bei uns führt.

Beitrag von **bull** » 04.02.2005, 11:07

https://www.abakus-internet-marketing.d ... hp?p=87473

Beitrag von robo

von **Anzeige von ABAKUS** »

Beitrag von **Racker** » 04.02.2005, 11:37

@Bull Danke das hatte ich schon gelesen.Aber mir gehts nicht nur um diese Kus Domains. Es gibt ja noch zig andere "pseudo suchmaschinen" und die haben dann auch noch 302 er weiterleitungen drin.("Huch habe ich nicht gewußt das das schädlich für sie sein kann will doch nur meine klicks tracken",aber dieselben Leute 2000 Beiträge im Abakus geschrieben haben. Ich bin es einfach leid alle anzuschreiben und zu betteln das sie meine Seiten rausnehmen.Und dann solche Antworten zu bekommen wie "schreib mir ne mail", "kann ich nicht rausnehmen daten sind nicht von mir" "Was wollen sie eigentlich.Bekommen doch Backlinks" usw. Na ja vieleicht sollte man dann doch mal zu härteren Mitteln greifen.
Schade eigentlich das man diese "Suchmaschinen" nicht mit einem Befehl aussperren kann.Meine robots.txt ist jetzt schon rießig Außerdem liest man hier im Abakus aber auch in anderen Foren das zuviele Backlinks auf einmal auch nicht gut sein sollen.
Katja

Beitrag von **fool** » 04.02.2005, 12:19

Hallo Katja,
ich bin mir ja nicht ganz sicher. Aber wenn du die Bots bis auf Google sperren willst, wäre dann nicht htaccess die bessere Methode als in der robots.txt

Und für deinen Fall muß ich an den Thread über emailharvester und spambots denken, den wir hier vor kurzem hatten:

https://www.abakus-internet-marketing.d ... e0b5f.html

Auf Seite 4 schrieb da bull:
"
Weiterhin erscheint es sinnvoll, User-agents, welche mit Kleinbuchstaben oder Zahlen beginnen, auszuschließen, einige wie msnbot hingegen nicht. Es gab letzthin immer wieder zufällige User-agents, welche mit Kleinbuchstaben begannen.
Code:
RewriteCond %{HTTP_USER_AGENT} ^[a-z0-9]+
RewriteCond %{HTTP_USER_AGENT} !^msnbot
RewriteCond %{HTTP_USER_AGENT} !^contype
RewriteCond %{HTTP_USER_AGENT} !^wwwster
RewriteCond %{HTTP_USER_AGENT} !^ia_archiver
RewriteCond %{HTTP_USER_AGENT} !^arianna\.libero
"
Wende ich mittlerweile auch erfolgreich an. Kann ich nur empfehlen.

Und dann schrieb bull noch:

Mittlerweile gehe ich allerdings sogar dazu über, neben Kleinbuchstaben bestimmte Anfangsbuchstaben zu sperren und bewege mich mehr oder weniger auf eine Positivliste zu.

Code:
RewriteCond %{HTTP_USER_AGENT} ^A.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^C.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^D.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^E.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^H.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^I.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^J.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^K.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^L.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^N.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Q.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^T.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^U.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^V.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^X.+ [OR]
RewriteCond %{HTTP_USER_AGENT} ^Y.+
"

Wenn du dann eine Ausnahme für G oder Google zuläßt, ist es doch das, was du willst um zumindest nicht mehr neu gespidert zu werden?!?

Gruß
fool

Beitrag von **Racker** » 04.02.2005, 12:48

Hallo
Danke das werde ich mal testen

Katja

Beitrag von **Christophe** » 04.02.2005, 13:16

So, oder so ähnlich könnte es ganz effektiv sein:

RewriteCond %{HTTP_USER_AGENT} bot|crawler|spider [NC]
RewriteCond %{HTTP_USER_AGENT} !(googlebot|msnbot|slurp) [NC]
RewriteRule .* - [F,L]

Ich vermute mal genau so funktioniert es nicht, aber das Prinzip sollte klar sein, erst eine sehr allgemeine Blacklist, dann einzelne Bots wieder erlauben.

Beitrag von **Pretender** » 11.02.2005, 00:31

also diese pseudo suchmaschinen die ich kenne, kann man auf diese art nicht ausperren.
ich habe mir mal ein teil vorführen lassen:
Progis duchsuchen nicht meine seiten... nein, die durchsuchen die top 10 plätze in beliebigen suchmaschinen und wenn man halt mit einem bestimmten suchwort unter den top 10 ist, dann wird halt auch meine seite (description oder was auch grad bei der wirklichen suma angezeigt wird), als content dieser pseudosuma genutzt um den betreiber seine adsense anzeigen ein richtiges thema zu geben.

also irgendwie muss ich da meine zweifel an der legalität anmelden.

es würde mich eher interessieren ob man diesen är...e nicht zwingen kann, meine seite zu löschen. aber damit würde man denen verbieten die serps der sumas abzugrasen.

ich sagen nur

https://www.mrinfo.de oder https://www.suchfliege.de/ oder https://webfinder.dyndns.org oder oder oder.

mir wird schlecht wenn ich einen suchbegriff einegebe mit meiner url hinten dran, wieviele meine seite nutzen um geld zu machen.

DAS muss man unterbinden... aber wie?

Beitrag von **Fridaynite** » 11.02.2005, 01:10

mir wird schlecht wenn ich einen suchbegriff einegebe mit meiner url hinten dran, wieviele meine seite nutzen um geld zu machen.

weisst Du - das ist ganz einfach Internet - die Möglichkeiten sind riesig.
Wenn Du damit nicht zurecht kommst, solltest Du Deine Domain einfach löschen.
ALLE hier müssen mit diesem Mist zurecht kommen.

Wenn ich O.T sein sollte - bitte löschen

Beitrag von **Pretender** » 11.02.2005, 01:32

Fridaynite hat geschrieben: weisst Du - das ist ganz einfach Internet - die Möglichkeiten sind riesig.
Wenn Du damit nicht zurecht kommst, solltest Du Deine Domain einfach löschen.
ALLE hier müssen mit diesem Mist zurecht kommen.

@Fridaynite
man man, welch intelligenter beitrag zum thema.

wenn du dich belästigst fühlst durch einen beitrag, dann solltest du nicht in forums lesen. wenn dir nicht besseres einfällt als son mist hier zu posten, dann lass es besser ganz.

vieleicht sollte ich ja diese pseudosumas akzeptieren und mit niemanden darüber sprechen, damit der herr fridaynite sich nicht in seiner ruhe gestört fühlt.

und da wir ja auch alle von url-hijacking content-klau und vielen anderen schönen sachen betroffen sind, brauchen wir diese themen ja auch nicht ansprechen und nehmen sie schweigend hin oder löschen alle unsere domos, weil dem herr fridaynite es zu blöde ist darüber zu sprechen.

also, lass uns doch über themen sprechen, die nur dich betreffen.
das wird sicher alle hier mehr interessieren als meine hirnloses gelaber über eine sinnlose problemlösung.

also ehrlich mal fridaynite, ich kann deinen post wirklich nicht nachvollziehen, sorry wenn ich dich jetzt beleidigt habe.

Beitrag von **Fridaynite** » 11.02.2005, 01:44

oh - da muss aber einer wirklich böse von Google bestraft worden sein.....

P.S. Mich kann man nicht beleidigen - Höchstens durch Unsachlichkeit.

Sieh es einfach sportlich - einer der ersten die davon betroffen waren war ich - Man muss nur eben seine Konsequenzen ziehen und besser werden.

Suche benutzen

)

Lösungen wurden hier schon präsentiert, die wirklich gut funktionieren.

Beitrag von **Pretender** » 11.02.2005, 10:41

moin,

also, ich bin nicht von den richtigen sumas in keinster weise bestraft worden,im gegenteil. nach dem letztem update sind meine besucher und mein umsatz um 350% gestiegen.

darum geht es mir hier allerdings nicht, falls es aus meinem post nicht deutlich wurde.

ob diese pseudosumas vor mir oder hinter mir in den serps sind, ist mir reichlich wurscht. es geht mir hier einzig darum,

>>>wie man das verhindert, dass die meine domain nutzen um geld zu verdienen<<<

, da ich in keinster weise einsehe, die arbeit für solche billige "webmaster" zu machen.

von einer paar ausnahmen abgesehen, bin ich vor diesen billigen pseudos in den serps aber das hat für mich nichts mit sportlichkeit zu tun. im gegenteil, ich finde es sehr unsportlich.
wenn man mit gleichen mittel das selbe erreichen will, dann und nur dann kann man von sportlichkeit reden.

und was das suchen angeht.... wenn ich DAS gefunden hätte, dann würde ich genausowenig blöde fragen... dann hätte ich die lösung gelesen und würde was dagegen tun können.

oder etwa nicht?

aber was sportlichkeit und interessante themen angeht, trifften unsere meinungen wohl sehr stark auseinander und ich möchte den vieleicht interessierten lesern hier nicht weiter langweilen mit dieser sinnlosen einstellungsfrage.

p.s. ich halt es immer so: wenn ich beitrag sehe der hier schonmal behandelt wurde, dann poste ich den link zu diesem beitrag, damit der jenige diesen lesen kann und schreibe keinen posts die völlig sinnlos sind und meilenweit am thema vorbei gehen

back to the topic

Beitrag von **hard_pollux** » 11.02.2005, 18:46

Pretender,

vielleicht siehst Du hier

https://www.abakus-internet-marketing.d ... html#91082

mögliche Lösungsansätze.

Gruß
HardPollux