Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

Besucher von xxx.inktomisearch.com

Alles zum Thema: Robots, Spider, Logfile-Auswertung und Reports
Neues Thema Antworten

 loggen von "Absprüngen" inkl. Adresse?

Was ist rocoto003

 
guppy
PostRank 9
PostRank 9
Beiträge: 2820
Registriert: 08.12.2003, 15:57
Wohnort: schwedt

Beitrag von guppy » 27.04.2005, 09:19

MichiDEL hat geschrieben: vielleicht kannst Du mir mal erklären, was an unnützen Traffic und Anfragen so toll sein soll? Traffic ist ja gut und schön, aber von einem Robot.. nein Danke!!! Da kommt eh nix tolles bei raus.

Naja, aber wenn das Deine Vorstellung vom Internet ist... dann beschäftige dich lieber mit Videotext ;-)
na dann sperr ihn doch aus - anleitung im videotext :wink:
Nach oben
Anzeige von ABAKUS

von Anzeige von ABAKUS »

SEO Consulting bei ABAKUS Internet Marketing
Erfahrung seit 2002
  • persönliche Betreuung
  • individuelle Beratung
  • kompetente Umsetzung

Jetzt anfragen: 0511 / 300325-0.

Nach oben
MichiDEL
PostRank 1
PostRank 1
Beiträge: 7
Registriert: 15.04.2005, 16:24
Wohnort: Delmenhorst

Beitrag von MichiDEL » 27.04.2005, 09:28

guppy hat geschrieben: na dann sperr ihn doch aus - anleitung im videotext :wink:

...doch schon längst passiert ;-)
Nach oben
fotzi
PostRank 2
PostRank 2
Beiträge: 63
Registriert: 08.12.2004, 02:30

Beitrag von fotzi » 27.04.2005, 09:29

redbull_kevin hat geschrieben:hallo zusammen...

also ich verstehe euch nicht. ihr habt eine HomePage und wollt keinen Traffic auf der Seite??? ich habe auch besuch von intkomi und ich finde es klasse wenn ich in sovielen suchmaschinen wie möglich eigetragen werde. :lol:

na ja.. so hat jeder seine vorstellungen was internet sein soll :wink:

Du machst dich strafbar, denn du verbreitest urheberrechtlich geschütztes Material. Stichword Intro -> Nu Pagadi... ;)
Nach oben
meramdo
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 10.02.2006, 08:52

Beitrag von meramdo » 10.02.2006, 09:05

Hallo,

also ich habe seit gut einem halben Jahr täglich Besuch von Inktomi,
er verursacht bei mir sicher auch Traffic, allerdings nicht in solchen Dimensionen wie bei euch.
Egal zu welcher Tageszeit ich mich im Forum einlogge, es sind immer mindestens 10-20 Robots von Inktomi online.
Im Gegensatz zu Google, da ist immer nur einer online.
Das der Robot für verschiedene Suchmaschinen arbeit ist klar, wenn ich allerdings den Agenten laufen lasse, kommt bei mir immer Yahoo zum Vorschein.
Im Moment sind gerade 21x Inktomie und 1x Google online.

Der Agent sagt:
lj2565.inktomisearch.com
Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)
Was den Sinn der Robots angeht, ich freue mich wenn ich Besuch bekomme, das steigert die Sucherfolge in den Suchmaschinen.
Was für eine Forum nur von Vorteil sein kann.

Gruß meramdo
Nach oben
1aSport
PostRank 1
PostRank 1
Beiträge: 27
Registriert: 12.06.2006, 10:17
Wohnort: Köln

Beitrag von 1aSport » 12.06.2006, 10:22

In 7 Tagen 27 GB Traffic? Und Du regst Dich auf? Die produziert inktomi bei uns (1aSport.de) locker an einem Tag...
Soll man versuchen das zu unterbinden? Dann wird man nicht gespidert.. läst man es zu, verbraucht der Spider unmängen an Ressourcen..

Ja ja.. ein Teufelskreis... :evil:
Nach oben
Wuddy007
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 12.10.2006, 17:09

Beitrag von Wuddy007 » 12.10.2006, 17:12

Hallo,
wollte fragen ob mir jemand erklären kann wie ich die blokieren kann
xxxxx.inktomisearch.com ???

in der robots.txt?

danke für eine antwort :)
Nach oben
fehlermann
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 25.10.2006, 22:19

Beitrag von fehlermann » 25.10.2006, 22:36

hallo,

ich bin bei der recherche nach 'slurp' auf diesen thread gestossen - vielleicht kann mir hier jemand etwas weiter helfen:

ich baue gerade an einer web-applikation für ein produkt unserer firma, und sass entsprechend auch heute abend am rechner und hab rumgewerkelt.
bei der gelegenheit hat mir inktomi/yahoo slurp gerade einen ordentlichen schrecken eingejagt:

kurz nachdem ich eine seite in der neuen version hochgeladen hatte und im eigenen browser geöffnet hatte, werfe ich einen blick in die access.log des apachen und sehe dort genau 10 sekunden nach meinem zugriff zwei slurp-einträge: einmal die robots.txt und einmal *genau die seite*, die ich gerade geladen habe!

der letzte eintrag von iktomi im log war ca. 22h vorher, seitdem nur genau die beiden hits und ein weiterer (5 min später) auf eine von dieser seite aus erreichbare seite.

besteht die möglichkeit, dass iktomi irgendwie vom browser auf dem client unterstützt wird, wenn z.b. die yahoo-toolbar installiert ist?
also die surf-aktivitäten lokal überwacht und bei "interessanten" funden, nach hause telefoniert und dann von dort aus den crawler anstößt?
das würde vielleicht den hohen verursachten traffic erklären, wenn viele slurp-"infizierte" clients auf einer seite surfen.


auf der domain ist derzeit noch sehr wenig aktivität (sonst wäre mir das vermutlich auch gar nicht aufgefallen) - von daher halte ich es für sehr unwahrscheinlich, dass es sich hier um einen zufall handelt.


ein kurzer auszug aus dem log-file:

mein request (den domainnamen im referrer habe ich 'zensiert':
> 82.135.88.27 - - [25/Oct/2006:22:33:52 +0200] "GET /fmp/tpayPrepare.jsp?lang=de&paymentType=cc_anon HTTP/1.1" 200 10544 "https://******/de/buy.html" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.7.12) Gecko/20050915 Fir
efox/1.0.7" "-"

die beiden iktomi-requests:
> 74.6.75.39 - - [25/Oct/2006:22:34:01 +0200] "GET /robots.txt HTTP/1.0" 404 280 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)" "-"
> 74.6.70.57 - - [25/Oct/2006:22:34:02 +0200] "GET /fmp/tpayPrepare.jsp?lang=en&paymentType=cc_anon HTTP/1.0" 200 10398 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)" "-"


ich bin dankbar für jegliche hinweise :)
Nach oben
Corinna
PostRank 1
PostRank 1
Beiträge: 1
Registriert: 29.01.2007, 15:13

Beitrag von Corinna » 29.01.2007, 15:21

Kann mir jemand sagen, wieso die Inktomi-Bots sogar etwas den Warenkorb legen? Ist aktuell tatsächlich bei einem der Fall!
Ist doch ein merkwürdiges Verhalten für einen Spider, oder?

Außerdem würde ich gerne wissen, wie ich die Bots davon abhalten kann, Session-IDs zu erzeugen. Bei unserem osCommerce Shop kann man bekannte Spider eigentlich daran hindern, aber bei Inktomi scheint das nicht zu funktionieren...

Grüße von Corinna
Nach oben
Rene78
PostRank 2
PostRank 2
Beiträge: 36
Registriert: 30.05.2006, 00:51
Wohnort: Schwerin

Beitrag von Rene78 » 29.01.2007, 19:44

Also bei XTc gehts, dort kann er nix in den Warenkorb legen

Nagut einziger Nachteil.. im Dezember kamen mal eben 42GB durch den Roboot zustande...
Grüße Rene



Suche Langfristige Linkpartner für Wellness Shop :)
PR3 Webkatalog
Nach oben
maddin
PostRank 4
PostRank 4
Beiträge: 139
Registriert: 26.07.2005, 13:05

Beitrag von maddin » 30.01.2007, 11:43

@Corinna
Funktioniert beim Inktomi mit der spider.txt nicht richtig. Kannste aber mit ein wenig php Sachverstand hart in der application_top.php eintragen dann sollte es gehen.

Etwa so:
if (preg_match('/haltemichannixbot/', $user_agent)) {
$spider_flag = true;
}
Nach oben
Breda
PostRank 1
PostRank 1
Beiträge: 2
Registriert: 30.01.2007, 11:53

Beitrag von Breda » 30.01.2007, 11:55

Hallo, ich bin neu hier und durch meine Suche in google auf euch gestossen. Ich habe genau dasselbe Problem und einen Riesentraffic (ich kann es beim uploadBalken meiner Fritzbox sehen)
Habe folgendes Protokoll:
lj602229.inktomisearch.com - - [30/Jan/2007:11:26:22 +0100] "GET /robots.txt HTTP/1.0" 404 204 "-" "Mozilla/5.0 (compatible; Yahoo! Slurp; https://help.yahoo.com/help/us/ysearch/slurp)"

Leider bin ich nicht so bewandert, was html-.Sachen anbelangt. Ich habe gelesen, dass man das ganze blocken kann, kann mir jemand sagen, wie und welches Script ich genau einfügen muss? Wäre sehr dankbar für Antworten, dankesehr.
Nach oben
maddin
PostRank 4
PostRank 4
Beiträge: 139
Registriert: 26.07.2005, 13:05

Beitrag von maddin » 30.01.2007, 12:08

Dann sperr den Slurp doch per robots.txt aus wenn Du ihn nicht haben willst.

https://help.yahoo.com/help/us/ysearch/ ... rp-02.html
Nach oben
Breda
PostRank 1
PostRank 1
Beiträge: 2
Registriert: 30.01.2007, 11:53

Beitrag von Breda » 30.01.2007, 12:20

Ich bin wirklich Neuling auf dem Gebiet und steige da leider nicht durch, sonst hätte ich nicht gefragt.
Leider weiss ich nicht, was ein robot.txt ist und wie ich das nun ändern kann. Kann mir niemand eine kurze verständliche Anleitung geben und wo ich das reinsetzen muss? Sorry, wenn ich so doof frage, aber ich weiß mir wirklich leider keinen Rat.
Nach oben
maddin
PostRank 4
PostRank 4
Beiträge: 139
Registriert: 26.07.2005, 13:05

Beitrag von maddin » 30.01.2007, 12:25

Extra für Dich rausgesucht und ganz verständlich.
https://de.wikipedia.org/wiki/Robots.txt
Nach oben
Antworten

Zurück zu „Spiders / Robots Themen“

  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag