robot file generator

Beitrag von **thomas grabo** » 17.10.2003, 16:20

zuerst einmal zu der webseite von abakus
hier gibt es viel zu lernen und das wichtigste, es ist auch für Laien wie mich verständlich.
nun zu meinem problem:
ich habe die von mir erstellte webseite www.naturkosmetikstudio-grabo.de
mit Robots.txt file generator getestet und bekam eine mir unverstänliche antwort:Robots.txt file generator Here is what your robots.txt file should look like: # Robots.txt file created by https://www.stickysauce.com # For domain: https://www.naturkosmetikstudio-grabo.de # All robots will spider the domain User-agent: * Disallow: Almost done Now you just copy the text above, create a new .txt file called robots.txt, paste the above text in it and upload it to your server ! That's all there is, be careful with editing, because a mistake can ban your site to the search engines for a long time. Last but not least, we are never responsible for the results of our tool, we do our best to make quality tools, but after all it's up to you to use our generated robots.txt file. Please click here to return to the main page

ich denke ich habe einen schwerwiegenden fehler auf der indexseite
kann mir da jemand mit einer Lösung weiterhelfen

schon mal vielen dank

von **Anzeige von ABAKUS** »

Beitrag von **bugscout** » 17.10.2003, 16:40

moin moin,

da steht, das man eine robots.txt datei machen soll
mit folgenden inhalt

User-agent: *
Disallow:

bedeutet, dass alle suchmaschinen alles spidern.

weiterhin steht da noch, dass man keinen fehler machen soll,
sonst kann es sein, das es nicht klappt.

also beide zeilen in notepad in eine leere datei und als robots.txt abspeichern und ins verzeichnis wo auch die index-datei liegt.

<edit>
https://www.naturkosmetikstudio-grabo.d ... ngen_2.htm

hat im titel neue seite 2 das bringt nichts
</edit>

grüsse

Beitrag von **thomas grabo** » 17.10.2003, 19:06

ich komme da nicht so richtig mit

auf meiner indexseite ist schon folgende anweisung enthalten:

<meta name="Robots" content="index, follow">

hat das was miteinander zutun??????

von **Anzeige von ABAKUS** »

Beitrag von **viggen** » 17.10.2003, 19:17

du hast keine robots.txt datei
sollte hier sein https://www.naturkosmetikstudio-grabo.de/robots.txt

z.B
https://www.abakus-internet-marketing.de/robots.txt

diese textdatei einfach in root hochladen und dann klappts auch.

mfg
viggen

Beitrag von **LEKIES design** » 17.10.2003, 19:43

Hi,
In eurer robots.txt sind ja reichlich bots drin, die ihr nicht erlaubt. Ist es sinnvoll, die auszuschließen? Warum? Ihr macht das ja nicht ohne Grund...
Gruß Steffen

Beitrag von **thomas grabo** » 17.10.2003, 20:17

und was hat diese datei für einen sinn???

Beitrag von **viggen** » 17.10.2003, 20:27

thomas grabo hat geschrieben:und was hat diese datei für einen sinn???

Eklärung Robots.txt

mfg
viggen

Beitrag von **thomas grabo** » 18.10.2003, 18:27

vielen Dank für die Tip´s

Beitrag von **Herbert** » 18.10.2003, 22:30

Bevor hier die Spezies wieder abtauchen *g* :

Wie sollte die Datei HOSTS im win-verzeichnis eigentlich genau aussehen, hier aber nur IN BEZUG auf die genaue Pagerank-Ermittlung (IP google usw.)?

Beitrag von **Southmedia** » 18.10.2003, 22:54

Leer, einfach gar nichts drin. Dann bleibt nämlich alles so wie es von den Nameserver vorgesehen ist.

Beitrag von **Halli** » 19.10.2003, 09:27

Jan, das ist nicht ganz richtig. Zumindest, wenn Du selbst auf Deinem Rechner zum Testen einen Server installierst, sollte der Eintrag für 'localhost' drin sein. Meine HOSTS sieht so aus:

Code: Alles auswählen

# Copyright &#40;c&#41; 1998 Microsoft Corp.
#
# This is a sample HOSTS file used by Microsoft TCP/IP stack for Windows98
#
# This file contains the mappings of IP addresses to host names. Each
# entry should be kept on an individual line. The IP address should
# be placed in the first column followed by the corresponding host name.
# The IP address and the host name should be separated by at least one
# space.
#
# Additionally, comments &#40;such as these&#41; may be inserted on individual
# lines or following the machine name denoted by a '#' symbol.
#
# For example&#58;
#
#      102.54.94.97     rhino.acme.com          # source server
#       38.25.63.10     x.acme.com              # x client host

127.0.0.1       localhost

Beitrag von **Southmedia** » 19.10.2003, 12:42

Kommt drauf an, ich arbeite zum Beispiel auch bei lokalen Servern nur mit IPs... aber ansonsten kannst du recht haben.

Beitrag von **Herbert** » 01.11.2003, 17:42

Uff!

Leere robots.txt? Und die Unmengen E-Mail-Sammler auf ihren Jagdpfaden??

Beitrag von **Halli** » 01.11.2003, 18:19

Herbert hat geschrieben:Uff! Leere robots.txt? Und die Unmengen E-Mail-Sammler auf ihren Jagdpfaden??

@HerberT:
Vorsicht Verwechselungsgefahr : Die HOSTS liegt auf Deinem (Client-) Rechner zu Hause, die robots.txt auf dem Webserver (bei Deinem Hoster).

Beide Dateien haben völlig verschiedene Aufgaben !

Beitrag von **Southmedia** » 01.11.2003, 18:50

Ja, ich habe hier etwas unbedarft einfach so geantwortet, obwohl die Anfrage absolut am Thema vorbei ging. Sorry.