Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Blocken von Suma-Spidern mittels PHP

Ajax, Hijax, Microformats, RDF, Markup, HTML, PHP, CSS, MySQL, htaccess, robots.txt, CGI, Java, Javascript usw.
Neues Thema Antworten
Themenmixer
PostRank 2
PostRank 2
Beiträge: 55
Registriert: 25.04.2005, 13:14
Wohnort: FN am Bodensee

Beitrag von Themenmixer » 25.04.2005, 13:36

Hallo und einen taufrischen guten Tag vom Bodensee!

Ich habe ein kleines Script gebastelt, welches meine externen Links verwaltet. Die Links werden über ein PHP-Script aus einer MySQL-DB herausgesucht und auf die jeweilige HTML-Seite gepackt.
Dabei wird ein Link generiert, welcher wiederum ein Script enthält, das einen Parameter empfängt und damit das eigentliche Linkziel aus der MySQL-DB ermittelt. Dann wird das Ziel mittels header() geladen.

Soweit so gut. Nette Nebenwirkung: ich bekomme auskünfte wann, wie oft auf Links geklickt wird. Ein kleiner Tracker also.

Jetzt möchte ich aber sagen wir mal nur die echten Besucher zählen und SuMas, Harvester und anderes Gedöns herausfiltern. Diese können zwar die Links "ausführen", sollen jedoch keine Erhöhung des Klickcounters bewirken.
Dazu benötige ich wohl ne DB (oder File) mit den User-Agents der verschiedenen Spider/Robots ... sowie ein PHP-Script für die abfrage.
Gibts sowas schon?
Wenn ja wo?

Vielen Dank schonmal für die hilfreichen Tipps

Merci und Ciao
Jörg - der Themenmixer
Themenmix.de - Die vielfältigen Seiten im Netz
Lebkuchen-Rezepte - Leckeres zur Weihnachtsbäckerei
Der Stundenzeiger - Designeruhren und Uhrentrends!

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

sean
PostRank 10
PostRank 10
Beiträge: 3396
Registriert: 05.01.2004, 20:26
Wohnort: Leipzig/Karlsruhe

Beitrag von sean » 25.04.2005, 15:19

hier z.B. : https://iplists.com/

Gruß

sean

mcchaos
PostRank 9
PostRank 9
Beiträge: 1414
Registriert: 27.07.2004, 19:18

Beitrag von mcchaos » 26.04.2005, 09:36

awstats.org enthält eine Liste (fast?) aller Spider-User-Agents, danach kann man auch checken. Ist zwar in perl, aber man kann die Liste übernehmen.

*added* Die Datei ist awstats/wwwroot/cgi-bin/lib/robots.pm

Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.


bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 26.04.2005, 09:40

Bei mehreren Tausend bekannte Suma-User-agents wird diese Prüfung nicht ohne Auswirkungen auf die Performance bleiben. Zudem ist zu berücksichtigen, daß meist als IE getarnten unerwünschte Bots nicht erfaßt werden; hier wäre zusätzlich noch eine Prüfung der IP notwendig. Man sollte sich daher auf wenige, oft vorkommende beschränken und den Rest einfach dadurch abfragen, ob "spider", "bot" (ohne Unterscheidung von Groß- und Kleinschreibung) enthalten ist oder der User-agent mit Kleinbuchstaben anfängt, um einen halbwegs vernünftigen Kompromiß zwischen Geschwindigkeit und Präzision zu erlangen. Es vergeht kein Tag, an dem ich in meinen Logs nicht einen neuen Spider finde. :-?

gruß
jan

Themenmixer
PostRank 2
PostRank 2
Beiträge: 55
Registriert: 25.04.2005, 13:14
Wohnort: FN am Bodensee

Beitrag von Themenmixer » 26.04.2005, 09:52

@bull

Genauso dachte ich mir das auch. Eine genaue Prüfung wäre sicherlich die Methode "mit Kanonen auf Spatzen schießen".

Vielen Dank für die Anregung.

Ciao
Jörg
Themenmix.de - Die vielfältigen Seiten im Netz
Lebkuchen-Rezepte - Leckeres zur Weihnachtsbäckerei
Der Stundenzeiger - Designeruhren und Uhrentrends!

bull
PostRank 9
PostRank 9
Beiträge: 2166
Registriert: 20.09.2003, 20:57
Wohnort: Vèneto

Beitrag von bull » 26.04.2005, 09:58


Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag