Bei der HTML Ausgabe meiner Webseite (regi-shoes.com) kompremiere ich teile der Ausgabe (entferne alle Zeilenumbrüche und Leerzeichen) und ersetze in den Links '&' durch '&' um für meine Dokumenttyp einigermassen valides und kompaktes HTML zu erzeugen.
Nun habe ich 2 Fragen:
1. Gibt es Crawler die Probleme mit "überlangen" Zeilen haben?
2. Es kommen immer wieder User aber auch Suchmaschinen (Bisher Teoma, Inktomi und Yahoo/Slurp) mit kaputten URLs auf die Seite, welche '&' als Bestandteil der URL Anfragen enthalten. Da diese Links ja irgendwo publiziert oder indiziert wurden, sollte man für diese Anfragen eine Sonderbehandlung, z.B. permanenter Redirect auf die korrigierte URL einrichten? Oder einfach die 404 Seite lassen, damit diese Seiten aus dem Index verschwinden?