google lädt dateien runter

[baynado]

Also ich kann den Firefox Browser so einstellen, das er sich als Google Bot ausgibt.

[sesom]

Hmmm.... ich denke nicht, das dort direkt ein Browser mit Mensch dahintersteckt. Den warum sollte er über mehrere Tage hindurch dieselbe Datei saugen (außer um uns zu quälen ).
Scheine ihn aber jetzt in den Griff bekommen zu haben (so hoff ich zumindest). Hab beim Joomla das Anti Leech aktiviert und auf die download URL, in die er sich so verliebt hatte, wieder die Lizenzbestätigung (ist creative commons das File) gelegt.

[linux]

@shapeshifter

klar ist das gut ist ja auch noch kein problem, bloß google hat sicher mehr bandbreite als meine server. ich will ja daß die user alle andbreite bekommen

@baynado

die ip ist die von google und warum sollte jemand anfangen die ip zu spoofen das wäre doch viel zuviel aufwand um die datewi zu laden


gruß

linux

[haller]

was wäre denn die beste lösung, ein automatisches herunterladen von zip - dateien durch bots zu verhindern?


meine zip dateien befinden sich alle in einem ordner? der ist ca. 40 gb groß und da wäre es schon dumm, wenn da ein bot kommt, der alles auf ein mal herunterlädt und dann am besten am drauffolgenden tag nochmal usw.

[Panic]

Naja, der Googlebot sorgt im moment auch bei mir für Überlastung.... Hat schon 900 GB an Traffic verursacht auf allen Servern.....

Das ist schon eine Menge... gut, daß ich unmetered habe

[Lima]

Ich habe gerade festgestellt das Yahoo .rar und .zip Files von mir im Index hat. Ist das normal oder ist das neu?

[Chris2005]

Die Bandbreite um 300 MB EXE bzw. WMV Dateien runterzuladen koennen die besser nutzen um die Domains wieder in den Index zu bringen, die BD auf Null gesetzt hat...

[sean]

Einige Web Logs berichteten in den letzten Tagen über eine interessante Entdeckung: Sucht man bei Google nach beispielsweise der Zeichenfolge "Signature: 00004550", so findet man etwa 200.000 Ergebnisse und vor allem findet man massenhaft ausführbare Dateien unter diesen Ergebnissen. Der Schluss liegt nahe, dass Google also auch "Executables" indexiert. Das Sicherheitsunternehmen Websense bestätigt diese Ergebnisse und geht davon aus, dass Google das PE Format der Dateien mit einem Parser analysiert und dabei auf die NT-Signatur 4550 gestoßen ist, die in gültigen Win32 Programmen enthalten ist. Um diese Vermutung zu testen, suchten die Websense-Techniker nun bei Google auch nach anderen bekannten Merkmalen in der PE Struktur. Dabei konzentrierten sie sich vor allem auf solche "Identifier", die auf potential bösartige Software hinweisen könnten. Und diese Suche verlief erfolgreich, wie im Blog des Unternehmens berichtet wird. Websense fand "tausende" von ausführbaren Dateien, die überwiegend im Usenet unter falschen oder irreführenden Bezeichnungen gepostet worden waren, und hinter denen sich verschiedene Erscheinungsformen von bösartigem Code ("malicious Code") versteckten. Wozu allerdings Google ausführbare überhaupt erst in seinen Index aufnimmt, kann auch Websense nicht erklären.

Quelle: https://www.intern.de/neue_meldungen/co ... e_174.html

Gruß

sean

[linux]

jupp aber was will google noch alles wissen die source codes? oder wie.

die server von uns halten den download immer noch gut aus also lasse ich das drinnen ich frage mich nur wenn mal google so nen virus ausführt oder ein sql virus drinne ist.



gruß

linux

[ArturO]

Php Dateien können jpeg Header senden und somit (theoretisch) in der Bildersuche auftauchen.
Ebenso kann man in der httpconf einstellen, dass andere endungen durch php geparsed werden. So kann man seine eigenen endungen erstellen ( man beachte die möglichkeit Keywörter als Dateiendungen zu benutzen ).
Mit Mod Rewrite kann man htmlfiles als Verzeichnis (halbtarnen) domain.de/pseudoverzeichnis -> ohne abschließenden Slash!!!

Was nun, wenn Google untersuchen will ob es sich bei der .zip file um ein webdokument handelt?
Oder hört der Bot auf den rest des Dokumentes runterzuladen, wenn er einen bestimmten header erhalten hat?