Du befindest Dich im Archiv vom ABAKUS Online Marketing Forum. Hier kannst Du Dich für das Forum mit den aktuellen Beiträgen registrieren.

AOL Proudly Releases Massive Amounts of Private Data

Suchmaschinenmarketing bzw. Suchmaschinenoptimierung Infos und News
tobsn
PostRank 7
PostRank 7
Beiträge: 495
Registriert: 26.10.2005, 02:10

Beitrag von tobsn » 07.08.2006, 08:21

hab direkt nen passenden parser zusammengefrickelt....

https://nopaste.biz/?7283

wer um die 5 gb frei hat -> viel spaß.

--
nachtrag:
weils einige nicht kapieren...
https://www.gregsadetsky.com/aol-data/
500k User Session Collection
----------------------------------------------
This collection is distributed for NON-COMMERCIAL RESEARCH USE ONLY.
Any application of this collection for commercial purposes is STRICTLY PROHIBITED.

Brief description:

This collection consists of ~20M web queries collected from ~650k users over three months.
The data is sorted by anonymous user ID and sequentially arranged.

The goal of this collection is to provide real query log data that is based on real users. It could be used for personalization, query reformulation or other types of search research.

The data set includes {AnonID, Query, QueryTime, ItemRank, ClickURL}.
AnonID - an anonymous user ID number.
Query - the query issued by the user, case shifted with
most punctuation removed.
QueryTime - the time at which the query was submitted for search.
ItemRank - if the user clicked on a search result, the rank of the
item on which they clicked is listed.
ClickURL - if the user clicked on a search result, the domain portion of
the URL in the clicked result is listed.

Each line in the data represents one of two types of events:
1. A query that was NOT followed by the user clicking on a result item.
2. A click through on an item in the result list returned from a query.
In the first case (query only) there is data in only the first three columns/fields -- namely AnonID, Query, and QueryTime (see above).
In the second case (click through), there is data in all five columns. For click through events, the query that preceded the click through is included. Note that if a user clicked on more than one result in the list returned from a single query, there will be TWO lines in the data to represent the two events. Also note that if the user requested the next "page" or results for some query, this appears as a subsequent identical query with a later time stamp.

CAVEAT EMPTOR -- SEXUALLY EXPLICIT DATA! Please be aware that these queries are not filtered to remove any content. Pornography is prevalent on the Web and unfiltered search engine logs contain queries by users who are looking for pornographic material. There are queries in this collection that use SEXUALLY EXPLICIT LANGUAGE. This collection of data is intended for use by mature adults who are not easily offended by the use of pornographic search terms. If you are offended by sexually explicit language you should not read through this data. Also be aware that in some states it may be illegal to expose a minor to this data. Please understand that the data represents REAL WORLD USERS, un-edited and randomly sampled, and that AOL is not the author of this data.

Basic Collection Statistics
Dates:
01 March, 2006 - 31 May, 2006

Normalized queries:
36,389,567 lines of data
21,011,340 instances of new queries (w/ or w/o click-through)
7,887,022 requests for "next page" of results
19,442,629 user click-through events
16,946,938 queries w/o user click-through
10,154,742 unique (normalized) queries
657,426 unique user ID's


Please reference the following publication when using this collection:

G. Pass, A. Chowdhury, C. Torgeson, "A Picture of Search" The First
International Conference on Scalable Information Systems, Hong Kong, June,
2006.

Copyright (2006) AOL
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT! :D
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician

Anzeige von ABAKUS

von Anzeige von ABAKUS »


Hochwertiger Linkaufbau bei ABAKUS:
  • Google-konformer Linkaufbau
  • nachhaltiges Ranking
  • Linkbuilding Angebote zu fairen Preisen
  • internationale Backlinks
Wir bieten Beratung und Umsetzung.
Jetzt anfragen: 0511 / 300325-0

uwew
PostRank 5
PostRank 5
Beiträge: 297
Registriert: 01.08.2005, 10:29
Wohnort: 36124 Eichenzell

Beitrag von uwew » 07.08.2006, 11:22

Hi Tobsn,
Respekt. Habe die Meldung gerade erst auf heise.de gelesen.
Dort suchen noch alle nach dem Download Link :-).

Und, schon neue Erkentnisse aus den Daten gewonnen?
Tschuess
Uwe
Mein neuer Artikel : Von 0 auf 1000 Besucher pro Blogpost in einem neuen Blog.

Forenmensch
PostRank 7
PostRank 7
Beiträge: 583
Registriert: 09.02.2005, 23:47

Beitrag von Forenmensch » 07.08.2006, 13:25

Sollten lieber die deutschen anfragen veröffentlichen...

Naja eine Sauerei gegenüber den Kunden, ist es aber trotzdem!

Anzeige von ABAKUS

von Anzeige von ABAKUS »

Content Erstellung von ABAKUS Internet Marketing
Ihre Vorteile:
  • einzigartige Texte
  • suchmaschinenoptimierte Inhalte
  • eine sinnvolle Content-Strategie
  • Beratung und Umsetzung
Jetzt anfragen: 0511 / 300325-0

everflux
PostRank 8
PostRank 8
Beiträge: 939
Registriert: 01.05.2006, 17:15

Beitrag von everflux » 07.08.2006, 13:49

Also ich find das ne saucoole Sache - halt "blöde" daß niemand gefragt wurde.
Aber vielleicht rüttelt das den einen oder anderen mal wach, was man alles an Daten herausgibt. Und bei gurgel hätte ich da eher Bedenken als den AOLlern.

tobsn
PostRank 7
PostRank 7
Beiträge: 495
Registriert: 26.10.2005, 02:10

Beitrag von tobsn » 07.08.2006, 18:00

deswegen bekommt wohl heise.de die news immer von mir ;)
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT! :D
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician

Fluidum
PostRank 5
PostRank 5
Beiträge: 258
Registriert: 18.12.2005, 18:09

Beitrag von Fluidum » 07.08.2006, 18:16

Good work Tobsn,

Werde Morgen mal die Datenbank füttern... Mal schauen was dabei rauskommt!

tobsn
PostRank 7
PostRank 7
Beiträge: 495
Registriert: 26.10.2005, 02:10

Beitrag von tobsn » 07.08.2006, 18:21

denkt dran: das queryTime feld wird als timestamp in mysql gespeichert. daher habt ihr die möglichkeit auch direkt per query zeitbezogene anfragen zu starten... ;)
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT! :D
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician

polo
PostRank 2
PostRank 2
Beiträge: 42
Registriert: 29.05.2004, 16:31
Wohnort: Bremen

Beitrag von polo » 15.08.2006, 20:07

Moin,

ich hab das per "LOAD DATA LOCAL INFILE" gemacht, geht prima. Mit einem Fulltext Index auf das Query Feld und man kann da relativ schnelle Abfrage auf Keywords und Phrasen machen. Details hab ich in mein Blog gestellt: https://tuxoo.blogspot.com

Nun die Frage: Was macht man mit dem kram nu ? Ich suche damit Keywordphrasen, aber was kann man damit noch sinnvolles machen ?

Grüße

Marco

tobsn
PostRank 7
PostRank 7
Beiträge: 495
Registriert: 26.10.2005, 02:10

Beitrag von tobsn » 16.08.2006, 04:39

https://czern.homeip.net/aolsearch/

was man damit macht? naja als ami kannste damit tolle spam seiten baun, würd ich mal sagen...

fürn deutschen is das eher uninteressant. sogar die amis sagen uninteressant. aber es is lustig weil die user ids ja echt menschen sind und was die gesucht haben is teilweise echt übel... hehe.

schau dir zum beispiel mal nummer 317966 an ;)
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT! :D
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician

Nullpointer
PostRank 10
PostRank 10
Beiträge: 4790
Registriert: 22.04.2005, 19:14
Wohnort: West Berlin

Beitrag von Nullpointer » 16.08.2006, 08:01

okay, hab mal den link von tobsn verfolgt und porn eingegeben.
336865 scheint ja massive probleme zu haben und gehört weggesperrt.
dagegen sind die schwiegermutterprobleme von 317966 ja nix.

wirklich interessant wird es aber, persönliche querries zu finden, über die man rückschlüsse auf die reale person ziehen kann.

dandy11
PostRank 6
PostRank 6
Beiträge: 360
Registriert: 22.07.2006, 06:59

Beitrag von dandy11 » 16.08.2006, 08:40

Ich weiß gar nicht, was die ganze Aufregung der Datenschützer überall soll. Google hat die Herausgabe solcher Daten an die US-Regierung verweigert. AOL hat zufälligerweise gerade diese Daten veröffentlicht und ist nun "sehr verärgert". Die Regierung freut's und in den BH-Foren springt man im Dreieck vor Vergnügen. Wer schon America im Firmennamen trägt, der muss sich auch ab und an etwas patriotisch geben, oder?

Und wer jetzt ein paar [IRONIE]-Tags hat, der darf sie setzen, wo er mag...

polo
PostRank 2
PostRank 2
Beiträge: 42
Registriert: 29.05.2004, 16:31
Wohnort: Bremen

Beitrag von polo » 16.08.2006, 10:19

Zu bemerken ist, dass die Leutz die auf den Sexseiten rumsurfen eine tierische Gedult haben. 336865 guckt sich auch gerne mal Suchergebnisse 200+ an.

Aber von diesen Einzelbetrachtungen und der Spionage einzelner Personen mal abgesehen. Wäre es evtl. möglich aufgrund der Daten Ähnlichkeiten zu finden, wie man das auch bei Warenkörben macht. Zum Beispiel: Jemand, der nach Windeln sucht, sucht auch gerne Bier ? Dann könnte es ja durchaus sinnvoll sein meine Bierwerbung auf eine Pampers-Seite zu packen. Dafür müsste man eigentlich nur alle unique Querys pro User in einen Topf werfen und dann irgendwie schauen wo da Ähnlichkeiten sein. Wenn ich damals besser aufgepasst hätte würde ich vielleicht noch wissen wie das ging...

Was auch noch interressant wäre, wäre eine Gruppenbildungen nach Suchgewohnheiten. Einige Suchen viel, einige weniger oft und wie verhält sich das bezogen auf die angeklickten Seiten, vielsucher = nur top3 Klicker ?

Da gibts doch bestimmt irgendwann demnächst ein paar Auswertungen zu....

dandy11
PostRank 6
PostRank 6
Beiträge: 360
Registriert: 22.07.2006, 06:59

Beitrag von dandy11 » 16.08.2006, 10:31

polo hat geschrieben: Da gibts doch bestimmt irgendwann demnächst ein paar Auswertungen zu....
Klar! Ich wette, das FBI sitzt schon dran. Und ein paar Werbestrategen sicherlich auch.

In ein paar Wochen gibt's dann Werbung wie:

"Mit jeder Kiste Krombacher erhalten Sie ein Großpack Pampers"

Und Günther Jauch und Rudi Völler sitzen dann in Wi... ach nein, das möchte ich mir lieber nicht vorstellen.

polo
PostRank 2
PostRank 2
Beiträge: 42
Registriert: 29.05.2004, 16:31
Wohnort: Bremen

Beitrag von polo » 16.08.2006, 10:39

"Mit jeder Kiste Krombacher erhalten Sie ein Großpack Pampers"
Lach' nicht. Es gibt da ein berühmtes Beispiel aus der Warenkorbauswertung bei Scannerkassen im Supermarkt, die zeigt, dass Samstags die junge Familie zum Einkaufen fährt, und da Windeln und Bier einkauft. Das hat dazu geführt, dass es Bier-Sonderplatzierungen in Nähe der Windelregale gibt. Beim nächsten Einkauf mal drauf achten.

Alternativ zu den Jungs in Windeln, könnte man den Babys auch 'ne neue Flasche verpassen. Sie sind dann auch viel ruhiger....

tobsn
PostRank 7
PostRank 7
Beiträge: 495
Registriert: 26.10.2005, 02:10

Beitrag von tobsn » 16.08.2006, 17:16

also um nochmal kurz was dazu zu sagen...

wer mal richtig ablachen will über diese daten:
https://aohellsearches.ytmnd.com/

...und viel wichtiger, google hat das wohl mitbekommen und haut mal wieder richtig auf den putz:
https://googleresearch.blogspot.com/200 ... o-you.html


für alle die dem link nicht folgen wollen:
That's why we decided to share this enormous dataset with everyone. We processed 1,011,582,453,213 words of running text and are publishing the counts for all 1,146,580,664 five-word sequences that appear at least 40 times. There are 13,653,070 unique words, after discarding words that appear less than 200 times.
also google gibt 6 dvd's raus mit nich nur grad mal eben 2gig daten sondern ich schätz mal 6 mal 4 gb... == 1,011 BILLIONEN suchanfragen...



soviel dazu.
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT! :D
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician

Antworten
  • Vergleichbare Themen
    Antworten
    Zugriffe
    Letzter Beitrag