Liest der Bot die gesamte 404 Seite oder haut er sofort ab,

Beitrag von **Beloe007** » 19.02.2013, 11:37

webbastler hat geschrieben:Ich habe 2 Hauptseiten mit mehr als 800.000 monatlichen Anfragen, beide hatten in Vergangenheit bis zu ca. 15% an 404 Meldungen.

Seit der Umstellung nur noch ca. 2 monatlich.

Tja und was bringt dir das unterm Strich? 404 abzuschalten kostet keine zwei Minuten. Das was du damit verhinderst ist die Chance zu tracken ob du bei nicht existenten Seiten gute Alternativen angeboten hast.

von **Anzeige von ABAKUS** »

Beitrag von **MonikaTS** » 19.02.2013, 11:41

im Zuge dieses Threads auf G+
https://plus.google.com/u/0/11257980395 ... Uue1K7tXY4
muss man jedoch auch berücksichtigen, dass es sehr sehr "böse" bots gibt, die man nicht auf die Sekunde immer ausschließen kann,
daher kann es sehr wohl sein, dass so ein böser die Seite massiv beeinträchtigt, wenn er tausende von fehlerhaften Anfragen verursacht.

Ich selbst gehe davon aus, dass dies nicht alltäglich ist und gestalte meine 404 so wie ich mag. den Status Code 404 tät ich jedoch niemals generell woanders hin umleiten, weil das massive Verschlechterungen bei GOogle bringt.

Fehlerseiten leite ich jedoch sehr wohl um, außer ich mag sie "weghaben", aber dann entscheid ich mich für einen 410 Gone forever und nichts 404 einfach nicht da

Beitrag von **Melegrian** » 19.02.2013, 11:44

webbastler hat geschrieben:Ich bin wahrscheinlich doppelt so alt wie Monika, und bitte um Aufklärung.

Vielleicht solltest Du dann doch erst einmal lesen, was Monika zum Thema 404 schreibt. Habe es aber auch erst heute gelesen. Demnach gab es im letzten Jahr eine Veränderung. Mit dem doppelt so alt würde ich mir auch noch einmal überlegen oder erst einmal nach einem Profil bei Xing suchen.

https://www.webdesign-in.de/mts/falsche ... 4-schadet/

webbastler hat geschrieben:Da dafür nicht die Webseite, sondern wahrscheinlich nur der Server als schuldig anzusehen ist, halte ich es für unwahrscheinlich, daß Google den falschen abstraft.

Der Server wird jede vorhandene Seite versuchen ausliefern und nicht mit 404 antworten. Doch wenn bei einem Shop, wie Beloe007 bereits schrieb, für nicht mehr vorrätige Produktseiten keine Alternativen geschaffen werden, sieht die Angelegenheit anders aus. Dann liegt es sehr wohl an der Seite und nicht am Server.

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **vidi** » 19.02.2013, 11:45

Diese bösen Bots brauchen keine große 404 um die Seite in die Knie zu zwingen. DDoS Attacken kann man an dieser Stelle keine Rücksicht nehmen.
Man kann nur versuchen bösen Bots generell eine Falle zu stellen.

Beitrag von **rg1** » 19.02.2013, 12:07

webbastler hat geschrieben:Die Nachricht der 404 erhalten doch überwiegend nur die andern, also nahezu ausschließlich Kunden die zu den für den Server offensichtlich unpässlichen Zeiten nicht bedient werden können.

Das hat doch mit Google nichts zu tun, auch bei yahoo, bing und den anderen erscheinen diese 404-Nachrichten.

Bei der Untersuchung des Googlecrawlers wird das Erscheinungsbild natürlich genau so viel oder möglicherweise auch nie auftauchen.

Da dafür nicht die Webseite, sondern wahrscheinlich nur der Server als schuldig anzusehen ist, halte ich es für unwahrscheinlich, daß Google den falschen abstraft.

Ich fürchte, ihr redet aneinander vorbei. Bitte hier noch einmal nachlesen, was ein HTTP-Statuscode 404 ist.

Beitrag von **IT-Knecht** » 19.02.2013, 12:44

webbastler hat geschrieben:Die Nachricht der 404 erhalten doch überwiegend nur die andern, also nahezu ausschließlich Kunden die zu den für den Server offensichtlich unpässlichen Zeiten nicht bedient werden können.

Oh je, HTML hast Du nach eigenem Bekunden verstanden.
Aber wenn Du Langeweile hast, könntest Du beim HTTP noch aufholen.
Die beiden Statuscodes, die Du durcheinander würfelst, sind:

404
Not Found Die angeforderte Ressource wurde nicht gefunden. Dieser Statuscode kann ebenfalls verwendet werden, um eine Anfrage ohne näheren Grund abzuweisen. Links, welche auf solche Fehlerseiten verweisen, werden auch als Tote Links bezeichnet.

503
Service Unavailable Der Server steht temporär nicht zur Verfügung, zum Beispiel wegen Überlastung oder Wartungsarbeiten. Ein „Retry-After“-Header-Feld in der Antwort kann den Client auf einen Zeitpunkt hinweisen, zu dem die Anfrage eventuell bearbeitet werden könnte.

https://de.wikipedia.org/wiki/HTTP-Statuscode

Martin

Beitrag von **vidi** » 19.02.2013, 12:48

Zurück zum Thema. Wenn ich per php den Referrer abfrage und ganz unten im sequentiellen Code eine Write Funktion unterbringe und der Bot nach dem Lesen des Headers sofort abhaut. Wird dann die Funktion noch ausgeführt oder nicht?

Beitrag von **Melegrian** » 19.02.2013, 13:52

Jetzt stellst Du aber dolle Fragen, die ich Dir nicht richtig beantworten kann. Wenn Du den Statuscode auch per PHP-Header ausgeben willst, so muss ja die Seite zuerst geparst werden. Geparst wird wohl dann die ganze Seite, falls kein Exit passend zum Header und Statuscode für einen Abbruch sorgt.

Also der Crawler sendet eine Anfrage (Request) und der Server antwortet (Response), wozu er für die richtige Antwort erst die Seite parsen muss. Ob der Server beim Parsen abbricht, weil der Crawler auf einen Besuch verzichtet, ich denke das hängt mit davon ab, ob der Austausch synchron oder asynchron erfolgt, doch so sehr stecke ich in der Materie auch nicht drinne, um da eine richtige Antwort geben zu können.

Edit: Mit synchron und asynchron hat es auch nichts zu tun, war glaube ein falscher Gedankenweg. Erfolgt denn der Versand von Response Header und Response Body gleichzeitig? Denke schon und so müsste ja ohnehin erst das ganze Dokument geparst werden.

Beitrag von **webbastler** » 19.02.2013, 14:17

Liebe 404 Fans,

offensichtlich reden wir um den Brei herum, bei großen Seiten wird es immer einige falsch gesetzte oder vergessene Links geben.

Aber egal und warum auch immer der Crawler über einen Leerlauf oder Fehllauf stolpert.

Ein falsch gesetzter, also ein =-Nuller behindert keine Millisekunde, denn der ist nicht da und kann wegen fehlendem Vorhandensein nicht weiter behindern.

Und die anderen 404 Fehler werden doch nicht durch eine 301 Umleitung, sondern durch einfache Weiterleitung behoben.

Auf Deutsch bedeutet das, das man die eigne 404 mit einer dünnen Kopie der eigenen Startseite besetzt, dann merkt nämlich kein verirrter Kunde den Irrtum und alles läuft wie gewollt in die richtige Richtung.

Meine mit Zahlen genannte Hauptseite verfügt mit Supdomains über ca. 1.500 Unterseiten, besteht schon seit August 2001, und befindet sich noch immer auf der 1. Seite bei Google, Yahoo, inzwischen auch bei Bing und einigen anderen Suchmaschinen.

Da ich erst seit ca. einem Jahr die Umleitung mit .htaccess und 404 kenne, haben 11 Jahre mit ca. 15% Fehlermeldungen meinem Ranking nicht geschadet.

Die Anklickzahlen schwanken in den vergangenen 12 Jahren monatlich zwischen 600.000 und 1,6 Mio.

Im Januar hatte diese Seite 983.480 Anfragen, von 1321 bis ca. 6208 pro Stunde, und nur 2 Stück 404 Meldungen.

Als wirklich alter Hase, ist es schwer mit sogenannten Experten umzugehen,
aber bitte laut meiner Zahlen ist das alles Mumpitz.

Beitrag von **vidi** » 19.02.2013, 14:30

keine Ahnung und davon viel!

Kann es sein, dass Du hier versuchst Deinen PostRank aufzublähen?

Auf Deutsch bedeutet das, das man die eigne 404 mit einer dünnen Kopie der eigenen Startseite besetzt, dann merkt nämlich kein verirrter Kunde den Irrtum und alles läuft wie gewollt in die richtige Richtung.

Bist Du verrückt? Dann hast Du
1. Duplicate Content und
2. den Startseitentext auf einer Seite mit 404 Header!

haben 11 Jahre mit ca. 15% Fehlermeldungen meinem Ranking nicht geschadet.

Zeiten Ändern sich nun Mal

Im Januar hatte diese Seite 983.480 Anfragen, von 1321 bis ca. 6208 pro Stunde, und nur 2 Stück 404 Meldungen.

Schön für Dich. Es gibt aber halt Portale, da laufen täglich neue 404 auf, da die Leut da draußen nicht korrekt verlinken und in die Links Fehler einbauen.

Beitrag von **rg1** » 19.02.2013, 14:33

webbastler hat geschrieben:Liebe 404 Fans,

...

keine Ahnung und davon viel!

*plonk*

Beitrag von **webbastler** » 19.02.2013, 14:50

Tja liebe 404 Fans,
es ist so wie es "RG 1" schon ausdrückt.

Es muss wohl am letzten Grippevirus liegen, konstruktives Denken scheint immer mehr zu schwinden.

Das "wie", ist Euch wohl wichtiger als der Erfolg, meine weitere Rente ist demnach offensichtlich wirklich gefährdet.

Danke Greenhorns die Teilnahme mit Euch war lustig, amüsant, aber leider auch erschreckend!

Beitrag von **vidi** » 19.02.2013, 14:53

Das "wie", ist Euch wohl wichtiger als der Erfolg

Ohne des Verständnisses für das "wie" kein stabiler Erfolg. Versteh mich nicht falsch, aber Dein Erfolg basiert anscheinend auf reinem Glück! Du scheinst selber gar nicht zu wissen warum Deine Seite erfolgreich ist. Du beobachtest nur, dass sie es ist.

Denn ohne zu wissen "wie" kannst Du nicht "was" verändern um den Erfolg zu garantieren, wenn sich im System etwas ändert.

Beitrag von **webbastler** » 19.02.2013, 15:09

Liebe vidi,
konstruktives denken ist die Grundlage des Erfolges, der meine war nicht zufällig, sondern basierte eben auf dieser Grundlage.
Man muss wichtiges von Unwesentlichem trennen können.

Ich diente mich vor Jahren bis zum Vertriebsleiter und Hauptabteilungsleiter eines Privatunternehmen mit ca. 1.000 Mitarbeitern hoch, und bin seit dem relativ erfolgreich selbständig tätig.
Schreibe den kompletten Quelltext bei 2 meiner Hauptseiten noch selber.

Sie können mir glauben, ich bin immer noch aktuell im Markt,
und bei Mitbewerbern wie der Mehrzahl in den Foren, wäre ich konkurrenzlos.

Beitrag von **Melegrian** » 19.02.2013, 15:18

vidi hat geschrieben:Wenn ich per php den Referrer abfrage ...

Noch einmal zu Deiner PHP Frage. Eigentlich wird es doch so sein und bei den Verbindungen mit cURL handhabe ich das zumindest so, dass eine Verbindung hergestellt wird, der Server antwortet, ruft dazu die PHP-Datei auf und parst die, sendet den Header mit Statuscode und den Body.

Und der Crawler oder ein anderes Script liest zuerst den Header und entscheidet sich an Hand des Statuscodes, ob er den Body auch noch liest. Geparst und übermittelt sollte somit (nach meinen Gegenwärtigen Vorstellungen) erst einmal beides werden (es sei denn, einer weiß es besser), nur der Bot entscheidet darüber, ob er nur den Header liest oder die ganze Antwort.