Googlebot spidert/indiziert invalide URLs (siehe Index)?

Die Gretchenfrage:
Wieso spidert der Googlebot ganz offensichtlich invalide URLs bzw. nimmt sie in den Index auf?

Im Index findet man u.a. URLs in der Form wie:
https://www.domain__auto/
https://domain.c/
...

Wuerde man den ganzen offensichtlich invaliden Muell vornherein entfernen, haette man zudem einen schlankeren Index.. gaebe maybe sogar einen kleinen Performance-Schub beim Suchen.

Schlampen hier die Googlebot Entwickler? Schlafen die vielleicht oder wird der seit 199x nicht weiterentwickelt?

Nach aussen hin verkauft sich das jedenfalls nicht gut!
Mein Respekt vor Google ist dadurch jedenfalls gesunken

Google muellt sich ja so selber den Index zu...?

was muss man denn eingeben damit man diese urls in den serps sieht?

Moyn Namensvetter

Die Ergebnisse hab ich gestern gefunden, hab sie aber leider nicht gespeichert.

Es scheint geradezu so, als wuerde nicht mal ein "light" Syntax Check auf die URLs gemacht bevor sie in den Index kommen, oder aber er ist "zu light".

Fuer den Google Suma Index sind folgende Domains "valid":
https://firma/ (keine TLD)
https://firma.x/ (TLD mit 1 Buchstabe!)
https://firma__auto/ (keine TLD)
https://www.firma/ (keine TLD)

Sorry, aber wenn das ein Benutzer der SUMA sieht:
- der technisches Verstaendnis hat: => Kopfschuetteln
- der kein technisches Verstaendnis hat: => klickt drauf, ERROR