da Webmaster Tools leider nicht anzeigt welche Seiten genau noch nicht indexiert sind suche ich nach einem welches dies übernimmt. Kennt ihr eins?
Die 20 Seiten varianten helfen mir hierbei nicht.
ich habe mal vor ewigen zeiten so etwas programmiert (lernt mal das programmieren ... hach!), vielleicht finde ich die tage zeit und sichte die quellcodes - was muss denn euer (traum)spielzeug denn neben den ueblichen features wie indexcheck u. sitemapcrawler beinhalten?
Also ich hätte gerne einen 1-Button-Everything-Optimizer! Geht das?? Ja?? Wie das dauert 2 Jahre und soll 200.000 Kosten! Ne dann will ich das doch nicht. Programming in a nutshell!
Für mich müsste es folgendes Unterstützen:
ssl support
normal .xml
gezipte xmls (xml.gz)
verlinkte sitemaps in sitemaps (z.B. https://mineyourmind.de/forum/sitemap/sitemap.xml.gz)
exportieren der nicht indexierten und indexierten seiten als csv oder txt
Und dann halt der Index Check. Wenn du genug Zeit und lust hast wäre ein Support für Bing, Yahoo, duckduckgo.... noch super.
Vielleicht auch Proxy Unterstützung, kA wieviele Abfragen google zulässt.
Wobei, wäre dies mit Scrapebox möglich ?
Zuletzt geändert von Slind am 30.08.2013, 14:42, insgesamt 1-mal geändert.
ich hab grad nen bissl mit Scrapebox rum probiert. Es gibt zwar einen Sitemap grabber aber dieser kommt leider nicht mit https und auch nicht mit .xml.gz klar.
Den Index kann man ja überprüfen, man bräuchte also eigentlich nur ein Tool welches die ganzen urls aus den sitemaps zieht.
edit: vergesst diesen post, scrapebox steigt bei https komplett aus.
sorry dass ich dein post erst jetzt sehe. wenn du mir ein paar beispielsitemaps zur verfuegung stellst, kann ich gern schauen, ob MEIN sitemapscraper-algo deine daten zieht.
einen standalone-scraper habe ich nicht, ich scrape die sitemaps nur bei einer anderen applikation. kannst du programmieren?
super, an sich würde es schon reichen wenn er sie in eine txt schön untereinander gelistet exportieren könnte, so dass sie scrapebox gut fressen kann. Wäre das möglich? Hat dein algo Probleme wenn die XML Datei entpackt 80 MB hat ?
mh. das ist richtig. ich brauchte diese variante in meinen anwendungsfaellen nur noch nie. vielleicht kuemmere ich mich zeitnah um dieses problem. wieviele ebenen verschachtelst du bei deinen sitemaps?