Wie finde ich die Robot name aus?

[Dustie]

Hallo,

Ich bin neu in diese Forum. Habe Euch gefunden da ich informationen über Robot.txt gesucht habe.

Ich habe auf meine frage hier gesucht, aber leider das Antwort nicht gefunden, und so frage ich einfach, und entschuldige mich wenn das schon mehr mals geantwortet geworden ist.

Ich besitzte eine Website und habe gemerkt in die letzte 2 Wochen das bei Google search in viele *Ranking sites* aufgelistet bin. Zum teil haben sogar meine private angaben wie volle name, tel. email address etc drin

Wie ich gelesen habe, kann ich die Robots von diese Sites in eine robots.txt auflisten mit eine verbot. Das ist mir alles klar......

Aber....... wie finde ich die richtige *name* von dem Robot aus?

Bin English sprachig, bitte entschuldigen sie meine German fehler

[heino]

Two possibilities:
Use

Code: Alles auswählen

<meta name="robots" content="noindex" />

in the head-area of the specific page.

Or write

Code: Alles auswählen

User-agent: *
Disallow: /path/site.xyz

in the robots.txt-file
see https://www.robotstxt.org/

[Lord Pixel]

Wenn dein voller Name, Adresse und Telefonnummer angegeben sind, tippe ich einmal darauf, dass es die Daten aus der Domain-Whois-Datenbank sind. Da hilft ein entsprecher Eintrag in den robots.txt leider gar nichts. So etwas kann man praktisch nur verhindern, indem man diese Daten im Whois verschleiert (Stichwort Whois Protection, bieten einige wenige Hoster als Service an). Falls diese Lösung dir nicht gefällt, gäbe es noch die: für die Telefonnummer kannst du dir auch einfach eine Wertkartennummer anschaffen, und eine andere E-Mail-Adresse sollte ebenso kein Problem darstellen ...

[Mork vom Ork]

Wie ich gelesen habe, kann ich die Robots von diese Sites in eine robots.txt auflisten mit eine verbot. Das ist mir alles klar......

Aber....... wie finde ich die richtige *name* von dem Robot aus?

Search those sites for details about their robot or ask by mail. If they have one and respect the robots.txt, they will describe how to block their robot, too. On the other hand, if they don't care, your robots.txt will be useless anyway.

Nevertheless, the easiest way to block any robots.txt-respecting bot is to use the User-agent: * line, as heino described.

[Dustie]

Hallo

Danke für alle Eure antworten.

@ heino Blockiert aber diese * nicht alle robots, da ich nicht von Google search verschwinden soll, aber wenn eine google search 2 seiten *ranking sites* anzeigt ist das für meine Geschäft auch nicht gut

@ Lord Pixel Die Whoisdaten bank ist auch dabei, nur diese habe meine private details nicht drin, nur die Domain name. ES handelt sich wirklick nur um Ranking sites.

@ Mork von Ork That is my problem. I don't know where to find the information. I thought there was an easier way. Some of these Ranking sites have no contact email address, and so it's not possible to email them directly. Some I have contacted and they have informed me of which User-Agent to use on the Robots.txt file. Again, I am worried about using the * as I understand it will then block all the Bots, including large search engines like Google, yahoo etc. Or am I missing something?

Ich werde die links anschauen dir ihr hier geschrieben haben.

Danke für Eure Antworten.

[heino]

@ heino Blockiert aber diese * nicht alle robots, da ich nicht von Google search verschwinden soll, aber wenn eine google search 2 seiten *ranking sites* anzeigt ist das für meine Geschäft auch nicht gut

Therefore you limit this blocking to the specific page of your site, which should not be indexed / shown in the SERPs:

Code: Alles auswählen

User-agent: *
Disallow: /path/page.xyz

[Dustie]

oh I understand now Thank you