ABAKUS

Hi!

Heute Nacht wurde die Seite https://www.evjh.de indiziert. Leider wurden bis jetzt erst nur die Links die direkt von der Homepage ausgegangen sind indiziert.

Über https://www.evjh.de/index.php?nav=sitemap kommt man eigentlich auf alle Seiten des Angebots. Gibt es noch einen Fehler bei mir, oder kommt google vielleicht später nocheinmal vorbei?

mfg,
Steven Maaß

Für eine deepcrawl brachst du eine reines html oder dynamische php 'spider feeder' wie ich für diese forum gemacht habe...
https://www.abakus-internet-marketing.de/foren/list.php

Die ist von meine homepage verlinkt (gif) und dient als spider food liefer.
Du hast eine problem mit diese phpopentracker. In deine stelle wird ich von die vernichten und etwa wie extreme tracking (https://www.extreme-dm.com/tracking/) oder irgendwelche andere tracking script benutzen. Session ids heissen zu oft keine deep crawl, die sollten unbedingt vermeidet werden, oder mindestens keine session id für gäste liefern.

In deine stelle wird ich entweder komplett von phpopentracker verzichten oder reines html seite als site map erstellen. https://www.evjh.de/index.php?nav=sitemap ist eine dynamisch url und roboten werden nicht von diese url tief crawlen. Also weg mit den session ids oder eine reine html site map per hand erstellen die auf deine wichtige seite verlinken.

Hmmm.

Zum Spider Feeder: Wird ein Link von einer Grafik anders bewertet als ein normaler Text Link?

Zu den SIDs = Die Session ID wird nicht mehr bei Google verwendet, ich verwende hierfür den von Google mitgelieferten User-Agent Header zur Identifizierung.

"Googlebot/2.1 (+https://www.googlebot.com/bot.html"

Hmm. Würde eine URL wie .../sitemap.php ein anderes Ergebniss haben?

Sprich, weil ich die GET Parameter verwende denkt Google das ganze wäre doch
dynamisch?

Steven

@bumbambum


google verwendet nicht bei allen bots diesen agent!

Zum Spider Feeder: Wird ein Link von einer Grafik anders bewertet als ein normaler Text Link?

Nein, ich mache das weil die Forum sitemap für mensch ist nicht interessiert und ist nur um Googlebot zu hilfen bei crawlen. Deshalb ist es eine kleine Grafik link von mewine Homepage und kein andere Grund. Falls es eine richtige Sitemap war, wurde ich das als Textlink habe (und das hab ich auch auf meine Homepage.)

Wie Chrise sagt, ist User Agent detection nicht unbedingt das beste methode. IP detection UND http user agent detection ist aber ziemlich sicher. Ausserdem nicht vergessern es gibt auch andere wichtige Spider wie FAST, Scooter und Slurp. Die sollten auf keine fall session ids bekommen (ist sogar wichtige als Google).

Würde eine URL wie .../sitemap.php ein anderes Ergebniss haben?

Ja, weil es eine flache url ist. Besser ist eigentlich .../sitemap.html. Google wird von flache urls tiefer Crawlen (bei flach mein ich hier ohne '?' oder '&'. Ausserdem wie Tief Google Crawlt hängt auch von die PageRank die Seite. Also du hast

Also in deine stelle wird ich komplett auf session ids verzichten. Es gibt viele andere tracker die keine session ids brauchen. Dein navigation von was ich sehe ist auch suchmaschine unfreundlich. Die sind DHTML javascript navigation oder? Falls die alles javascript sind, dann empfehle ich auch reine text links in eine Footer (also gerade gesehen das hast du schon. Sei sicher das alle links auf eine Sitemap zu finden sind). Du hast jetzt PR 4, mit PR 5+ wird Google tiefer Crawlen sowieso.
IMO hast du versucht zu technisch zu sein mit was eigentlich eine normale ressource seite ist. Du brauchst keine dhtml und session ids imo.
KISS. Keep It Simple Stupid, ist auch eine Rezept gefunden zu werden.

hey,

das mit den anderen Statistikprogrammen schaue ich mir nocheinmal näher an, bis jetzt wäre für mich der Workaround mit folgenden User_Agents in Ordnung:

"Googlebot/2.1 (+https://www.googlebot.com/bot.html)":
"Mozilla/3.0 (compatible; Indy Library)":
"TECOMAC-Crawler/0.4":
"https://www.almaden.ibm.com/cs/crawler [wf223]":
"InternetSeer.com":
"Mozilla/5.0 (Slurp/si; slurp@inktomi.com; https://www.inktomi.com/slurp.html)":
"Mozilla/4.0 (compatible; grub-client-1.0.7; Crawl your own stuff with https://grub.org)":
"Mozilla/4.0 compatible ZyBorg/1.0 (wn.zyborg@looksmart.net; https://www.WISEnutbot.com)":
"FAST-WebCrawler/3.6 (atw-crawler at fast dot no; https://fast.no/support/crawler.asp)":
"Mozilla/4.0 (compatible; MSIE 5.0; Windows NT; Girafabot; girafabot at girafa dot com; https://www.girafa.com)":

--> hab erstmal eine sitemap.php angelegt. Die wird immer dynamisch erzeugt. Die Seite basiert auf einem CMS.

wie bekommt man eine PR5+ Seite? Wie stellt man den PR Wert fest?

BTW: Die SIDs sind nur zur Spielerei mit der Statistik - da der Provider nur die index.php protokolliert und nicht die ? URLs.... Vielleicht nehme ich Sie noch raus.

see yaa,
Steven

@chrise

> google verwendet nicht bei allen bots diesen agent!

Welche gibt es noch?

Steven

@bumbambum

da gibt es viele...und das kann sich auch in 2 sekunden ändern.....

hier eine kleine auswahl:


Mozilla/4.51 [en] (X11; I; Linux 2.2.5-15 i686)
Mozilla/4.75 [en] (X11; U; Linux 2.2.14-5.0 i686)
Googlebot/1.0 (googlebot(at)googlebot.com)
UP.Browser/3.1.04-MO01 UP.Link/4.2.1.2 (Google WAP Proxy/1.0)
Googlebot/2.1 (https://googlebot.com/bot.html)
Googlebot/2.1 (https://www.googlebot.com/bot.html)
Googlebot-Image/1.0 (https://www.googlebot.com/bot.html)
UP.Browser/6.1.0.1.140 (Google CHTML Proxy/1.0)

Manchmal Steven wird Google eine komplett andere user agent nutzen um cloaking seiten zu entdecken. Wann es wirklich nicht nötig zu cloaken ist solltest du es wirklich nicht riskieren, sogar wann es um SIDs geht. Also mit den statistiken sache... weg damit

PR Wert festzustellen ist durch die Google Toolbar https://toolbar.google.com.

Wie mann hohes PR erreicht ist mit gute Content die Webmaster freiwillig auf deine Seite linken wurde, mit eine DMOZ und Yahoo! eintrag. Ausserdem in deine fall, wird ich recherchieren andere Evangelische Jugendgruppen Webseiten und einfach eine email schicken mit den wunsch auf eine linktausch.

Deine Sitemap ist jetzt tausend SuMa freundlicher geworden sehe ich gerade
Wegen meine peinlicher schriftliches deutsch am besten rufst du mich an Steven falls du weiter fragen hattest.

@chrise

thx!

stimmt - sollte man ab und zu monitoren...

BTW: Sind das nicht normale Browser?

Mozilla/4.51 [en] (X11; I; Linux 2.2.5-15 i686)
Mozilla/4.75 [en] (X11; U; Linux 2.2.14-5.0 i686)

@bumbambum

ja.....im sinne von normal? was ist normal?

es ist nicht immer das drin was draufsteht