Facebook will User für Google sperren bzw. freigeben! Wie?

[24cx]

Also ich seh da ehrlich gesagt mit htaccess vom System her eigentlich kein Problem..Problem ist eher, dass dann bei jedem mal deren Datenbank belastet werden würde - also denke ich, dass die die Seiten einfach cachen werden (so wie intern wahrscheinlich auch)... Also riesige Ordner mit /mitglieder/a-c/ etc..

[dawid]

Normalerweise könnte man ja sowas i der htaccess oder robot.txt machen aber bei der Masse könnten die das ja anders lösen oder amchen es auch bestimmt denn sonst ist es ja unmöglich.

Ich dachte irgendwie im source code vielleicht, wenn ja wie?

[bara.munchies]

vielleicht "noindex" per datenbankabfrage?

wird denn unterschieden ob nur für suchmaschinen nicht sichtbar oder generell nicht öffentlich?

[wingthom]

1. Schritt (Normalzustand):
keine Indizierung der Profile aufgrund der Robots.txt

User-agent: *
Disallow: /profile.php
Disallow: /album.php
Disallow: /photo.php
Disallow: /p.php
Disallow: /feeds/

2. Schritt (Normalzustand)
keine Indizierung, da ein Login notwendig ist

3. Schritt (schrittweise Einführung)
Spezielle Version der Nutzerprofile wird - falls Einverständnis der Nutzer vorliegt - veröffentlicht, man muss also nicht mehr eingelogged sein, um sie sehen zu können. U.a. können dann Crawler darauf zugreifen.

https://www.google.de/search?source=ig& ... p%2F&meta=

Z. Bsp. https://www.facebook.com/p/Sean_McGaughey/789440229

Fazit: "/p/" ist durch Robots.txt nicht gesperrt, damit können alle Kurzprofile, die dort veröffentlicht werden auch eingesehen + indexiert werden.

Mitteilung geschieht wahrscheinlich über Sitemap-Protokoll. Google schluckt pro Domain ca. 25 Millionen URLs in 500 Sitemaps - das sollte für eine Weile reichen.