Content schützen? - HT Access reicht nicht!

Beitrag von **striker1do** » 10.10.2005, 11:35

Suche script oder coder, der meinen content, der auf HTML-Seiten liegt vor Saugern schützt, die mit speziellen Tools oder Teleport Pro o.ä. arbeiten. MySQL DB ist vorhanden, weiß aber nicht, wie ich z.b. Übergabeparameter etc. definieren kann. Wer helfen kann oder Tipps hat, wo ich suchen kann, bitte per PN oder email.

Gruß und Dank

striker

von **Anzeige von ABAKUS** »

Hochwertiger Linkaufbau bei ABAKUS:

Google-konformer Linkaufbau
nachhaltiges Ranking
Linkbuilding Angebote zu fairen Preisen
internationale Backlinks

Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

Beitrag von **linux** » 10.10.2005, 11:50

servus

ich weiß nicht was du meinst, denn du kannst dich nicht dagegen schützen.

ich habe mal mit nem kumpel was durchgesponnen, denn ein spider kann sich z.b als googlebot tarnen.

man nehme die bekannten googleips und alle diese durch eine selbstgebaute firewall durch!
wenn eine nicht googlebot ip kommt wird geschaut ob er javascript an hat, wenn ja kommt er auf die seite wenn nicht kommt er auf ne leere/andere seite.

leider ist das in googles augen cloaking vom feinsten!

gruß

linux

Beitrag von **Southmedia** » 10.10.2005, 12:23

und in meinen augen auch absolut bescheuert - man darf nicht einfach nutzer aussperren nur weil sie javascript deaktiviert haben. ich würds mir auf jeden fall nicht erlauben.

ein besserer ansatz wäre jedem nutzer eine bestimmte anzahl an pageviews zuzuweisen und sobald dieses zahl überschritten wird liefert der server einen fehler - dummerweise würdest du damit auch die bots aussperren, müsstest diese also irgendwie whitelisten.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **Eistee** » 10.10.2005, 12:24

Content 100%ig schützen? Ja, klemm' den Server vom Internet ab. Das dein Content aber in Sumas erscheint, ihn aber keiner "saugen" kann - vergiss' es.

Ach ja, auch IPs kann man faken.

Beitrag von **linux** » 10.10.2005, 13:22

@eistee
hm arp spoofen und so aber so viel mühe für ne domain, wie gesagt das mit der firewall war

und außder klauen die spider nicht nur von dir sondern nehmen den google cache!

gruß

lee

Beitrag von **gsingle** » 10.10.2005, 15:08

wenn ich das richtig verstanden habe ist die lösung für dein Problem etwas in dieser art:

.htaccess ->

Code: Alles auswählen

RewriteEngine On
RewriteBase / 
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^\&#40;&#91;^\&#41;&#93;+$ &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Alexibot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Anarchie &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^asterias &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^BackDoorBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Black\.Hole &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^BlackWidow &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^BlowFish &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Bot\ mailto&#58;craftbot@yahoo.com &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^BotALot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^BuiltBotTough &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Bullseye &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^BunnySlippers &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Cegbfeieh &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^CheeseBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^CherryPicker &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^ChinaClaw &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^compatible\ ;\ MSIE\ 6.0 &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^CopyRightCheck &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^cosmos &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Crescent &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Custo &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^DISCo &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^DittoSpyder &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^dloader&#40;NaverRobot&#41; &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Download\ Demon &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^DTS\ Agent &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^eCatch &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^EirGrabber &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^EroCrawler &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Express\ WebPictures &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^ExtractorPro &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^EyeNetIE &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^FlashGet &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Foobot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Get &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Go!Zilla &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Go-Ahead-Got-It &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^GornKer &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^GrabNet &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Grafula &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Harvest &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^hloader &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^HMView &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^HTTrack &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^humanlinks &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^ia_archiver &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^IE\ \d\.\d\ Compatible.*Browser$ &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Image\ Stripper &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Image\ Sucker &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Indy\ Library &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^InfoNaviRobot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^InterGET &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Internet\ Ninja &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Irvine &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^JennyBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^JetCar &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^JOC\ Web\ Spider &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Kenjin\.Spider &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Keyword\.Density &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^larbin &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^LeechFTP &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^LexiBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^libWeb\/clsHTTP &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^LinkextractorPro &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^LinkScan\/8\.1a\.Unix &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^LinkWalker &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^lwp-trivial &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^mail &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mass\ Downloader &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mata.Hari &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Microsoft\ URL\ Control &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Microsoft\.URL &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^MIDown\ tool &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^MIIxpc &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mister\ PiX &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mister\.PiX &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^moget &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mozilla.*\ obot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mozilla.*NEWT &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mozilla\/2 &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mozilla\/3\.Mozilla\/2\.01 &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Mozilla/4\.0$ &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Navroad &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^NearSite &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Net &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^NICErsPRO &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^NPBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^oBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Octopus &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^oegp &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Offline\ Explorer &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Offline\ Navigator &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Openfind &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^PageGrabber &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Papa\ Foto &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^pavuk &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^pcBrowser &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^PingALink &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^ProPowerBot\/2\.14 &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^ProWebWalker &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^QueryN.Metasearch &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^RealDownload &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^ReGet &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^RepoMonkey &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^RMA &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^RIN\.\ Web\ crawler &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SearchExpress &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Siphon &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SiteSnagger &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SlySearch &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SmartDownload &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SpankBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^spanner &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SuperBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^SuperHTTP &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Surfbot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^suzuran &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^tAkeOut &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Teleport &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Telesoft &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^The\.Intraformant &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^TheNomad &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^TightTwatBot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Titan &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^toCrawl/UrlDispatcher &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^True_Robot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^turingos &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^TurnitinBot &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^URLy\.Warning &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^VCI &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^VoidEYE &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Web &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Wget &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Widow &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^WWW\-Collector\-E &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^WWWOFFLE &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Xaldon\ WebSpider &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Xenu &#91;NC,OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Zeus &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Java &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^thesubot &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Baiduspider* &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^Python* &#91;OR&#93;
RewriteCond %&#123;REMOTE_ADDR&#125; ^217\.115\.&#40;13&#91;8-9&#93;|14&#91;0-3&#93;&#41;\. &#91;OR&#93;
RewriteCond %&#123;HTTP_USER_AGENT&#125; ^ZyBorg
RewriteRule ^.* - &#91;F&#93;

Das hält die bösen Contentwegsauger weitgehend draussen.

Sollte ich dich misverstanden haben:
Steinigt mich

Beitrag von **striker1do** » 10.10.2005, 19:00

Vielen Dank an gsingle!!!!!!

das sieht gut aus..

Beitrag von **lala** » 14.10.2005, 06:48

Was sind das in der htacess denn für content-sauger? Sind das diejenigen, die man auch immer in google findet mit entsprechenden keyword-Endungen in der url und dann dem keyword entsprechend fremden content oder contentschnipsel draufhauen?

Grüße lala

Beitrag von **Zeuge** » 14.10.2005, 09:52

@gsingle

Was macht eigentlich die 217er IP in der Liste? Besondere Bedeutung?

Beitrag von **deldao** » 29.12.2005, 00:44

lala hat geschrieben:Was sind das in der htacess denn für content-sauger? Sind das diejenigen, die man auch immer in google findet mit entsprechenden keyword-Endungen in der url und dann dem keyword entsprechend fremden content oder contentschnipsel draufhauen?

Grüße lala

ja

Beitrag von **Meinespinne** » 29.12.2005, 01:51

Ich kenn einen der will mich nicht auf seiner seite haben und hat den Provider gesperrt über den ich mich einwähle zszsz soviele User hat der ausgesperrt

Beitrag von **deldao** » 29.12.2005, 08:39

am besten sperrt er alle Provider, da Du Deinen ja schliesslich wechseln kannst ..

Beitrag von **shapeshifter** » 29.12.2005, 11:13

Ach kommt kinders - ist doch ganz einfach -> nur Form-Buttons mit javascript redirect zur Navigation nutzen

Beitrag von **Fridaynite** » 29.12.2005, 11:34

Mal eine Frage zu den Bots oben. Was ist denn das für einer?

ia_archiver

Beitrag von **Airport1** » 29.12.2005, 11:49

100% Schutz geht nicht , aber Limes dorthinstrebend geht (fast). Dazu muss man aber Referer und IPs sammeln, die "boese" sind, bzw. den Ansatz "zuviele (unnatuerliche) Requests in zu kurzer Zeit impliziert Sperrung" verfolgen. Fuehre schon laenger eine Sperrliste, und werfe den boesen Viechern einen 404 mit ner persoenlichen Widmung vor die Fuesse

Wenn jemand tauschen moechte, immer gern.