Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

OmniExplorer_Bot weisst jemand was für einer ist es ?

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
robo
PostRank 8
PostRank 8
Beiträge: 837
Registriert: 23.12.2003, 19:41
Wohnort: Schwangau

Beitrag von robo » 14.06.2005, 15:07

IP-Adressen sperrt man über mod_access, nicht über mod_rewrite.

Für die ersten 3 Blöcke müsstest du wohl ein etwas grösseres Netz sperren, nämlich 65.19.128.0/18, das entspricht 65.19.128.0 - 65.19.191.255 und gehört Hurricane Electric. Die letzte IP gehört zum Netz 64.71.128.0 - 64.71.191.255, ebenfalls Hurricane Electric. CIDR: 64.71.128.0/18

cu, Robo :)

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

chris21
PostRank 9
PostRank 9
Beiträge: 2758
Registriert: 10.04.2005, 18:17

Beitrag von chris21 » 24.06.2005, 16:09

Ich würde ja am liebsten alles von hurricane aussperren:

hier ist die ip-Liste:

Hurricane Electric HURRICANE-DC0013-2 (NET-216-218-130-136-1) 216.218.130.136 - 216.218.130.143
Hurricane Electric HURRICANE-1 (NET-216-218-128-0-1) 216.218.128.0 - 216.218.255.255
Hurricane Electric HURRICANE-2 (NET-64-71-128-0-1) 64.71.128.0 - 64.71.191.255
Hurricane Electric HURRICANE-4 (NET-65-19-128-0-1) 65.19.128.0 - 65.19.191.255
Hurricane Electric HURRICANE-3 (NET-66-220-0-0-1) 66.220.0.0 - 66.220.31.255
Hurricane Electric HURRICANE-5 (NET-209-51-160-0-1) 209.51.160.0 - 209.51.191.255
Hurricane Electric HURRICANE-6 (NET-216-66-0-0-1) 216.66.0.0 - 216.66.95.255
Hurricane Electric HURRICANE-4 (NET-64-62-128-0-1) 64.62.128.0 - 64.62.255.255
Hurricane Electric HURRICANE-7 (NET-66-160-128-0-1) 66.160.128.0 - 66.160.207.255
Hurricane Electric HURRICANE-DC0012-2769 (NET-216-218-130-128-1) 216.218.130.128 - 216.218.130.135
Hurricane Electric HURRICANE-DC0012-151 (NET-64-71-191-56-1) 64.71.191.56 - 64.71.191.63
Hurricane Electric HURRICANE-DC0012-262 (NET-66-220-4-240-1) 66.220.4.240 - 66.220.4.255
Hurricane Electric HURRICANE-DC0043-131 (NET-216-218-229-80-1) 216.218.229.80 - 216.218.229.95
Hurricane Electric HURRICANE-DC0043-151 (NET-216-218-158-16-1) 216.218.158.16 - 216.218.158.31

Nur, wie mache ich das jetzt am besten?

@Robo, wie muss man genau diese "/18" u.ä. bestimmen? Bin da noch ein Neuling drin.

robo
PostRank 8
PostRank 8
Beiträge: 837
Registriert: 23.12.2003, 19:41
Wohnort: Schwangau

Beitrag von robo » 26.06.2005, 15:58

chris21 hat geschrieben:@Robo, wie muss man genau diese "/18" u.ä. bestimmen? Bin da noch ein Neuling drin.
Du schreibst dir die Netzmaske in binärer Form auf und zählst von links die 1-Bits.

Oder du schreibst die erste und die letzte Adresse des Adressbereichs in binärer Form auf und zählst von links die Bits, die bei der ersten und letzten Adresse gleich sind.

cu, Robo :)

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

cjgoofz
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 11.07.2005, 10:45

Beitrag von cjgoofz » 11.07.2005, 10:54

OmniExplorer ist kein BOT

Es ist ein Programm, das sich Menschen installieren können, um eine gesamte Webseite lokal abzuspeichern.

Es ist also ziemlich unsinnig da die IP`s zu speren, da man da nach und nach alle potenziellen User ausperrt. Außerdem bekommt er ja beim nächste einloggen eine neue IP, und ihr müsst neu sperren. Ein klassischen Katz und Maus Spiel.

Außerdem kann man beim Programm auch Verzeichnisse auslassen oder ab eine bestimmten Ebene scannen. Dann nützt die Bot Falle nichts.

Hab leider auch Probleme mit dem Teil. Biete über 6000 Wallpaper zum Download an, und jeden Monat kommt jemand und läd die alle runter. Andere Vertreter dieser Programmgattung hab ich auch in meinen logs.

Freeboarder
PostRank 2
PostRank 2
Beiträge: 48
Registriert: 08.04.2005, 10:21
Wohnort: Schweiz

Beitrag von Freeboarder » 18.07.2005, 13:17

Aktuell ist folgende Rule einzubauen um zu sperren!

Code: Alles auswählen

RewriteCond %{HTTP_USER_AGENT} OmniExplorer            [NC,OR]
RewriteCond %{REMOTE_ADDR} 65.19.150.(19[3-9]|25[0-4]|2[0-4][0-9])    [OR]
Omni-Explorer.
Omni-Explorer is a stealth-mode venture-backed startup based in Silicon Valley. Stay tuned to this site; we plan on launching shortly.

The Omni-Crawler
If you have found this page because of the Omni-crawler, please bear with us. We hope to be able to point many more users to the valuable content on your site shortly.

If you are finding our crawler overly burdensome on your site or prefer not to be included, you can exclude our crawler. Simply insert the following into your robots.txt file (if you don't know what one is, see the Robotstxt.org site).

The Omni-Explorer agent is: OmniExplorer_Bot/1.09. To prevent it from crawling your site, please put the following in your robots.txt file:


User-Agent: OmniExplorer_Bot
Disallow: /
We will also obey the delay directive (in seconds) for how long to wait between page views on your site:
Crawl-delay: 2

Some have written in to inquire if other crawlers they see are also ours; our IP address range is 65.19.150.193 - 65.19.150.254.

We know some of you got hit by an earlier version of our crawler that was particularly...well, hungry. For that, we sincerely apologize.

Please feel free to send us feedback. If you feel that the crawlers are not matching the behavior stated on this page, please include the HTTP log file lines and your robots.txt file (or site) so we can verify the issue. Thank you.

Page last modified 7/2/05
MfG

FB

:lol:

mindoro
PostRank 1
PostRank 1
Beiträge: 10
Registriert: 17.05.2006, 16:57

Beitrag von mindoro » 17.05.2006, 17:02

Servus,

da ich erst seit kurzem ein Countersystem nutze welches auch Bots erkennt wundere ich mich doch so manches mal was da vorbei kommt.

Unter anderem kommt jener Omni Explorer reichlich oft auf allen meinen Seiten vorbei. Und wenn man dann liest welch informationen hier zusammen getragen wurden macht man sich doch ein wenig Gedanken.
Aktuell ist folgende Rule einzubauen um zu sperren!

Code:
RewriteCond %{HTTP_USER_AGENT} OmniExplorer [NC,OR]
RewriteCond %{REMOTE_ADDR} 65.19.150.(19[3-9]|25[0-4]|2[0-4][0-9]) [OR]


Zitat:

Omni-Explorer.
Omni-Explorer is a stealth-mode venture-backed startup based in Silicon Valley. Stay tuned to this site; we plan on launching shortly.

The Omni-Crawler
If you have found this page because of the Omni-crawler, please bear with us. We hope to be able to point many more users to the valuable content on your site shortly.

If you are finding our crawler overly burdensome on your site or prefer not to be included, you can exclude our crawler. Simply insert the following into your robots.txt file (if you don't know what one is, see the Robotstxt.org site).

The Omni-Explorer agent is: OmniExplorer_Bot/1.09. To prevent it from crawling your site, please put the following in your robots.txt file:


User-Agent: OmniExplorer_Bot
Disallow: /
We will also obey the delay directive (in seconds) for how long to wait between page views on your site:
Crawl-delay: 2

Some have written in to inquire if other crawlers they see are also ours; our IP address range is 65.19.150.193 - 65.19.150.254.

We know some of you got hit by an earlier version of our crawler that was particularly...well, hungry. For that, we sincerely apologize.

Please feel free to send us feedback. If you feel that the crawlers are not matching the behavior stated on this page, please include the HTTP log file lines and your robots.txt file (or site) so we can verify the issue. Thank you.

Page last modified 7/2/05



MfG

FB
Leider konnte ich nun in diesem posting nicht erkennen ob es DIE Lösung ist das ich einfach die robots.txt mit den entsprechenden Daten füttere, da man auch schrieb das 'böse' Bots die eh ignorieren.

Wäre daher sehr freundlich wenn man diesbezüglich eine Schlussantwort geben könnte.

MfG
Mindoro

Antworten