wenn man eine seite mit robots.txt ausschliesst.

Beitrag von **bugscout** » 24.09.2003, 11:51

moin moin,

hört sich nach irgendwas komischen in rewrite an oder?

sutrakaramellbonbon

wenn es sich nicht aufhängt, ist in 2-3 stunden erledigt und
du bekommst das forum bald wieder.

sonst .......

grüsse

von **Anzeige von ABAKUS** »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:

einzigartige Texte
suchmaschinenoptimierte Inhalte
eine sinnvolle Content-Strategie
Beratung und Umsetzung

Jetzt anfragen: 0511 / 300325-0

Beitrag von **mauri** » 24.09.2003, 11:56

ich hoffe es > ich schwitz gerade so ...

nein ich frag nicht nach dem SONST..... nein ich will nicht wissen was SONST....nein ich will es nicht wissen...
sonst?

Beitrag von **bugscout** » 24.09.2003, 12:03

moin moin,

in deinem fall dürfte es nicht zu schlimm werden,
da du ja nur die htmls gelöscht hast, müsste es nachher trotzdem weitergehen.

ich habe die domain gelöscht.....

und nun ist sie weg.

grüsse

von **Anzeige von ABAKUS** »

Beitrag von **mauri** » 24.09.2003, 12:14

ei ei ei
weg> und kommt nicht mehr wieder?
google sagt ja> wie vorher beschrieben > das er sie wieder aufnimmt > wenn er den meta tag nicht mehr findet.
mh
aber las auch:
If you wish to exclude your entire website or a specific section (directory) of your server from Google's index, you can place a file at the root of your server called robots.txt.

To prevent Google and other search engines from crawling your site, place the following robots.txt file in your server root:

User-agent: *
Disallow: /
This is the standard protocol that most web crawlers observe for excluding a web server or directory from an index. More information on robots.txt is available here: https://www.robotstxt.org/wc/norobots.html.

Note: If you believe your request is urgent and cannot wait until the next time Google crawls your site, use our automatic URL removal system. In order for this automated process to work, your webmaster must first create and place a robots.txt file on the site in question.

Google will continue to exclude your site or directories from successive crawls if the robots.txt file exists in the web server root. If you do not have access to the root level of your server, you may place a robots.txt file at the same level as the files you want to remove. Doing this and submitting via the automatic URL removal system will cause a temporary, 90 day removal of your site from the Google index. (Keeping the robots.txt file at the same level would require you to return to the URL removal system every 90 days to reissue the removal.)

"Doing this and submitting via the automatic URL removal system will cause a temporary, 90 day removal of your site from the Google index."

liegt vielleicht daran!?
gruss
mauri

Beitrag von **swity** » 24.09.2003, 12:43

versuch es mal hier

Beitrag von **bugscout** » 24.09.2003, 19:18

moin moin,

bei mir hat sich das script aufgehängt, der vorgang ist obwohl beendet immer noch in arbeit, deshalb kein neuer index.

mit google mailen ist auch nicht so einfach, da einige die mails scheints nicht lesen,

ich: habe meine seite mit robots.txt gelöscht

google: ihre seite ist nicht im index

ich: genau das ist das problem

google: haben das von hand gelöscht

warten ......

ich: hat nicht geklappt

google: ihre seite ist gar nicht im index

ich: ich habe 3 probleme - seite nicht im index, mein english, bei google werden meine mails nicht gelesen.

warten.......

versuch es mal hier

aber ganz vorsichtig

grüsse

Beitrag von **Southmedia** » 24.09.2003, 19:30

Also bei mir stand auch laaange drin dass noch bearbeitet wird. Vor 2 Tagen kam dann aber eine Email dass es bearbeitet wurde mit den ganzen URLs gelistet und NOINDEX dahinter so wies in der robot.txt drin steht. Und seither ist auch im System als abgearbeitet markiert.

Beitrag von **bugscout** » 24.09.2003, 19:52

moin Southmedia,

jetzt ist es gelöscht,

(vorsicht, google liest hier mit

)

grüsse

Beitrag von **bull** » 24.09.2003, 20:33

wie wärs mit

RewriteCond %{HTTP_USER_AGENT} ^Googlebot [OR]
RewriteRule ^ausdemindexzuentfernen.html$ - [R=410,L]

is nicht getestet sollte aber rein empirisch gehen.

Beitrag von **mauri** » 25.09.2003, 05:52

ratz fatz > alle raus, zwar ohne mail bestaetigung aber dafuer in 18 stunden.
so, nun schaun das die txt file, auch richtig arbeitet.
wird alles wieder gut

gruesse
mauri

Beitrag von **mauri** » 14.10.2003, 13:04

KRISE.
Google hat sie alle wieder drin > trotz dieser robots.txt file:

User-agent: *
Disallow: /forum/admin/
Disallow: /forum/cache/
Disallow: /forum/docs
Disallow: /forum/lang_german
Disallow: /forum/db/
Disallow: /forum/files/
Disallow: /forum/images/
Disallow: /forum/includes/
Disallow: /forum/language/
Disallow: /forum/templates/
Disallow: /forum/common.php
Disallow: /forum/config.php
Disallow: /forum/groupcp.php
Disallow: /forum/memberlist/
Disallow: /forum/memberlist.php
Disallow: /forum/mini_cal.php
Disallow: /forum/modcp/
Disallow: /forum/posting/
Disallow: /forum/posting/mode-reply/
Disallow: /forum/posting/mode-quote/
Disallow: /forum/privmsg
Disallow: /forum/profile/
Disallow: /forum/profile.php
Disallow: /forum/ranks.php
Disallow: /forum/search/
Disallow: /forum/search.php
Disallow: /forum/statistics.php
Disallow: /forum/viewonline.php
Disallow: /forum/login
Disallow: /forum/login/
Disallow: /forum/sutra*.html$
Disallow: /forum/ptopic*.html$
Disallow: /forum/ntopic*.html$
Disallow: /forum/ftopic*asc*.html$
Disallow: /forum/viewforum*-0-0.html$
Disallow: /forum/ftopic*-0.html$
Disallow: /forum/profile.php?mode=viewprofile&u=4 - 2
Disallow: /forum/faq
Disallow: /forum/./search.php
Disallow: /forum/privmsg.php
Disallow: /forum/./index.php
Disallow: /forum/./memberlist
Disallow: /forum/list.php/
Disallow: /forum/posting.php/
Disallow: /forum/index.php?mark=forums
Disallow: /forum/posting.php?mode=smilies
Disallow: /forum/profile.php?mode=register
Disallow: /forum/privmsg.php?folder=inbox
Disallow: /forum/viewonline.php
Disallow: /forum/profile
Disallow: /forum/sutra
Disallow: /forum/ptopic
Disallow: /forum/ntopic
Disallow: /forum/posting.php
Disallow: /forum/faq.php
Disallow: /forum/privmsg
Disallow: /test
Disallow: /forum/posting
Disallow: /forum/ftopic60-0-asc-10.html
Disallow: /forum/search
Disallow: /cgi-bin/
Disallow: /forum/watched_topics.php
Disallow: /index.php?mark=forums
Disallow: /forum/posting.php?mode
Disallow: /forum/cache/

wie diese /forum/posting.php?mode=quote&p=476
oder
/forum/ptopic132.html
oder
/forum/ntopic132.html
oder die bekannte sutra
/forum/sutra480.html

himmel was kann ich tun?

Beitrag von **viggen** » 14.10.2003, 13:08

Schicke doch mal eine mail an googlebot@google.com (muss in englisch sein, schätze deutsch wird nicht so geläufig sein in mountain view) und erkläre dein Problem.

mfg
viggen

Beitrag von **mauri** » 14.10.2003, 13:35

yep danke > mail ist raus > mal sehen ob sich wirklich einer drum kuemmert.
regards
mauri

Beitrag von **mauri** » 15.10.2003, 06:31

letzter stand :

Thank you for your note. You should be able to fix this problem by
creating a temporary robots.txt file. Please create a robots.txt file with
that states only:

User-Agent: Googlebot
Disallow: /forum/

and let us know when the file has been changed on the live version of your
site. We should then be able to submit the pages for quicker removal. We
would suggest leaving the temporary robots.txt file on your site for two
weeks to make sure that our robots have time to note the change, and then
you should be able to switch back to your original robots.txt file.

Please let us know if you have any further questions, or if you have
changed your robots.txt file.

Regards,
The Google Team

Beitrag von **viggen** » 15.10.2003, 15:45

Freut mich das die email adresse scheinbar die richtige Wahl war.

Halt uns auf dem laufenden!

mfg
viggen