rankchecker bauen

[Anonymous]

hi,

ich würde mich gerne gezielt mit einer sprache beschäftigen, mit der ich einen google-rankchecker bauen kann, der auf einem webserver läuft. ich weiss nicht warum, aber in programmierchats wird der weg PHP, mysql oftmals wegen php verpöhnt.

rudimentäre programmierkenntnisse sind vorhanden. was haltet ihr von adobe-air-geschichten?

danke vorab!

[SISTRIX]

Wie soll AIR konkret auf dem Webserver laufen?

[Anonymous]

also ich kenne mich nicht wirklich gut aus. aber ich habe das so verstanden, dass ich eine webapplikation über adobe air auch in form eines desktop-clients darstellen kann:
https://www.video-flash.de/index/air-ht ... -anzeigen/

es kann aber gut sein, dass ich mich irre. insofern frage ich nochmal in die runde: welche technologie fändet ihr erstrebenswert für eine tiefergehende beschäftigung um einen ranktracker zu realisieren?

[t-rex]

Hi,

Also PHP einfach von vorne herein ohne handfeste Argumentation zu verpöhnen kommt doch eigentlich nur im Kindergarten oder bei unwissenden Nachplappereren vor.

Und wenn schon solche Erhebungen wichtig sind, dann braucht man ne ganze Menge mehr an Informationen, um eine Entscheidung in die richtige Richtung zu treffen.

Eine ganz wichtige Komponente hast Du ja Gott sei Dank schon genannt "rudimentäre programmierkenntnisse".

Leider hast du nicht erwähnt, ob Du einen Service aufbauen möchtest, oder ob Du das zum Privatvergnügen basteln möchtest. Der gewichtige Unterschied für die Erhebungen wäre, dass bei einem Dienst dann auch mit um einiges mehr an Daten - insbesondere bei Abfragen - zu rechnen ist. Aber auch hier ist eher die Frage, wie lange macht das Dein Gegenüber - in dem Fall wohl Google - als die Frage nach dem allerbesten Werkzeug.

In beiden Fällen, kann man mit PHP einen recht zuverlässigen und flexiblen Bot bauen - auch als Konsolenanwendung. Und die Nachteile, die PHP in den hier erforderlichen Aufgaben hat, kann man sicherlich vernachlässigen, wenn man im Gegenzug sich eine andere Programmiersprache aneignen müsste.

Für das Frontend, das vorwiegend die Daten aufbereiten muss ist meines Erachtens sowieso nichts besser als PHP und MySQL auf einem Apache. Als Privatvergnügen sowieso. Und als Dienst, wirst du ebenfalls nicht mit solch einem Aufkommen rechnen müssen, dass es rechtfertigt etwas anderes zu lernen.

Wenn du natürlich schon in Perl, Ruby oder Phyton fit bist und das eine oder andere mit diesen Sprachen umsetzen kannst, ja dann nimm halt das.

Zu Adobe Air!? Ja das ist halt eine Form, mit der Du das auf Deinem Rechner darstellen lassen möchtest. Für die Darstellung der Daten brauchst Du dann halt keinen Browser und im Grossen und ganzen werden nur Daten übermittelt. Das ganze ist dann aber halt was, was man extra erlernen muss - besonders der Umgang mit dem Development Kit. Aber beim abgrasen der Rankinganfragen wird Dir das nicht helfen.

Sonnige Grüsse
HaPe

[t-rex]

Nochmal Hi,

Da wurde ja schon was geschrieben

also ich kenne mich nicht wirklich gut aus.

Das hättest du ja auch gleich sagen können Geh doch mal auf die Pirsch und schau Dir einige der (fast)-fertigen Script an, die es so im Netz gibt. Mindestens 3 findest Du hier im Forum. Dann kannst Du ja schauen ob du mit dem wie diese Skripte entwickelt sind klar kommst.

aber ich habe das so verstanden, dass ich eine webapplikation über adobe air auch in form eines desktop-clients darstellen kann:

Die Darstellung der Daten ist das allerkleinste Problem.

- Zuerst muss Dein System wissen, wo, wie und welche Daten es herbekommt bekommen soll.
- Dann müssen die Daten normalisiert und gespeichert werden.
- Und vor der Darstellung kommt noch die Filterung und Aufbereitung.
- Und erst dann kommst Du in das Vergnügen den Output zu designen.
- Achja, und evtl. möchtest Du - vorausgesetzt es soll ein Dienst werden - noch Exportformate wie CSV, JSON, XML oder ähnliches anbieten. (Wobei mir gerade einfällt. das ist ja die Voraussetzung, um die Daten in Air anzuzeigen. Egal ich lass es trotzdem stehen )

Sonnige Grüsse
HaPe

[Lord Lommel]

Ich habe schon solche Tools programmiert. Als Anfänger solltest du erstmal mit was kleinerem anfangen. Google ist da nicht so einfach auszutricksen. Die blocken solche Tools relativ schnell. Wenn du es trotzdem willst, dann gebe ich dir ein paar Tipps. Als erstes brauchst du vernünftigen Webspace. Die meisten Webprovider erlauben den Zugriff via Skript auf andere Seiten nicht, von Socketprogrammierung ganz zu schweigen. Die, die es tun bieten so langsamen Webspce, daß er auch nicht zu gebrauchen ist. Also brauchst du einen Root-Server, wo du das PHP selber konfigurieren kannst. Um dann keinen Groll gegen diesen Server von Seiten Googles zu initiieren, solltest du dir anschauen, die anonyme Proxies arbeiten und dir entsprechende Proxy-Listen suchen. Wenn das alles da ist, hast du die Vorraussetzungen. Dann brauchst du dich nur noch in Sockets, das HTTP-Protokoll und reguläre Ausdrücke einarbeiten und du kannst loslegen.

[Nullpointer]

php iss nicht? obwohl dafür schon scripte verfügbar im netz gibt?
wenn du es solide und anspruchsvoll machen willst, code in Erlang. wird sicher super schnell parallel arbeiten und du lernst ne menge mehr, als mit php.

hier im forum werden wir dich dann aber ne weile nicht mehr sehen

[Anonymous]

Als erstes brauchst du vernünftigen Webspace. Die meisten Webprovider erlauben den Zugriff via Skript auf andere Seiten nicht, von Socketprogrammierung ganz zu schweigen. Die, die es tun bieten so langsamen Webspce, daß er auch nicht zu gebrauchen ist. Also brauchst du einen Root-Server, wo du das PHP selber konfigurieren kannst. Um dann keinen Groll gegen diesen Server von Seiten Googles zu initiieren, solltest du dir anschauen, die anonyme Proxies arbeiten und dir entsprechende Proxy-Listen suchen. Wenn das alles da ist, hast du die Vorraussetzungen. Dann brauchst du dich nur noch in Sockets, das HTTP-Protokoll und reguläre Ausdrücke einarbeiten und du kannst loslegen.

warum werden tools wie die von sistrix eigentlich nicht geblockt?

[Nullpointer]

werden wohl nicht über eine ip alle anfragen direkt an google senden.

[t-rex]

warum werden tools wie die von sistrix eigentlich nicht geblockt?

Wahrscheinlich weil sie ihre hausaufgaben gemacht haben

[Lord Lommel]

Genau. Man muß gut aufpassen und ständig auf der Hut sein. Wenn ich meins fertig habe (es hängt derzeit am SQL-Parser meines selbstgebastelten Datenbank-Systems), könnt ihr ja mal betatesten. ^^

[Moritz2007]

Zumal nach welchen Kriterien soll dein rankingchecker funktionieren? Es gibt doch schon soviele davon. Wen es etwas ist, was gute Werte bietet kann das was werden.

Viel Glück

[wehwehweh]

da hab ich eine frage dazu: was ist eigentlich mit den ergebnissen von aol?
die sind ja fast ident.
das einzige was mir aufgefallen ist, dass news-ergebnisse und solche sachen herausgefiltert werden. und es ganz selten zu verschiebungen kommt, habe jetzt aber nur ein paar keywörter durchprobiert.
ist das jetzt nur ein anderes dc oder mischen die die ergebnisse selber nocheinmal durch?

[Lord Lommel]

Gute Frage. Das läuft doch über die API und die hat früher immer mal andere Daten ausgegeben wie die normale G-Suche wegen anderem Datencenter und so. Das müßte man wissen und dann noch hoffen daß die das mit den 403er und so sein lassen. ^^ Da könnte man es billig so machen, daß man AOL ausliest. Interessant wäre dann nur noch die Frage, ob und wie man zwischen den G-Datencentern umschalten kann. Schließlich hat man ja nicht nur deutsche Seiten.

[wehwehweh]

aol hat doch auch viele verschiedene länderseiten. die müssten mit den entsprechenden google seiten eigentlich ident sein...
und dass das über api läuft kann ich mir nicht vorstellen (ein eigener api für aol vielleicht).
die google apis waren ja immer für sowas zu vergessen, der jetzige ajax search api ist überhaupt nicht zu gebrauchen.
google sollte ein eigenes dc für sowas eröffnen...