| Autor |
Nachricht |
tobsn
PostRank 7
Anmeldungsdatum: 26.10.2005
Beiträge: 495
|
 Verfasst am: 07.08.2006, 09:21 Titel: AOL Proudly Releases Massive Amounts of Private Data |
  |
|
hab direkt nen passenden parser zusammengefrickelt....
http://nopaste.biz/?7283
wer um die 5 gb frei hat -> viel spaß.
--
nachtrag:
weils einige nicht kapieren...
http://www.gregsadetsky.com/aol-data/
| Zitat: |
500k User Session Collection
----------------------------------------------
This collection is distributed for NON-COMMERCIAL RESEARCH USE ONLY.
Any application of this collection for commercial purposes is STRICTLY PROHIBITED.
Brief description:
This collection consists of ~20M web queries collected from ~650k users over three months.
The data is sorted by anonymous user ID and sequentially arranged.
The goal of this collection is to provide real query log data that is based on real users. It could be used for personalization, query reformulation or other types of search research.
The data set includes {AnonID, Query, QueryTime, ItemRank, ClickURL}.
AnonID - an anonymous user ID number.
Query - the query issued by the user, case shifted with
most punctuation removed.
QueryTime - the time at which the query was submitted for search.
ItemRank - if the user clicked on a search result, the rank of the
item on which they clicked is listed.
ClickURL - if the user clicked on a search result, the domain portion of
the URL in the clicked result is listed.
Each line in the data represents one of two types of events:
1. A query that was NOT followed by the user clicking on a result item.
2. A click through on an item in the result list returned from a query.
In the first case (query only) there is data in only the first three columns/fields -- namely AnonID, Query, and QueryTime (see above).
In the second case (click through), there is data in all five columns. For click through events, the query that preceded the click through is included. Note that if a user clicked on more than one result in the list returned from a single query, there will be TWO lines in the data to represent the two events. Also note that if the user requested the next "page" or results for some query, this appears as a subsequent identical query with a later time stamp.
CAVEAT EMPTOR -- SEXUALLY EXPLICIT DATA! Please be aware that these queries are not filtered to remove any content. Pornography is prevalent on the Web and unfiltered search engine logs contain queries by users who are looking for pornographic material. There are queries in this collection that use SEXUALLY EXPLICIT LANGUAGE. This collection of data is intended for use by mature adults who are not easily offended by the use of pornographic search terms. If you are offended by sexually explicit language you should not read through this data. Also be aware that in some states it may be illegal to expose a minor to this data. Please understand that the data represents REAL WORLD USERS, un-edited and randomly sampled, and that AOL is not the author of this data.
Basic Collection Statistics
Dates:
01 March, 2006 - 31 May, 2006
Normalized queries:
36,389,567 lines of data
21,011,340 instances of new queries (w/ or w/o click-through)
7,887,022 requests for "next page" of results
19,442,629 user click-through events
16,946,938 queries w/o user click-through
10,154,742 unique (normalized) queries
657,426 unique user ID's
Please reference the following publication when using this collection:
G. Pass, A. Chowdhury, C. Torgeson, "A Picture of Search" The First
International Conference on Scalable Information Systems, Hong Kong, June,
2006.
Copyright (2006) AOL |
_________________
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT! 
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician |
|
| Nach oben |
|
 |
uwew
PostRank 5
Anmeldungsdatum: 01.08.2005
Beiträge: 284
Wohnort: 36124 Eichenzell
|
| Verfasst am: 07.08.2006, 12:22 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
Hi Tobsn,
Respekt. Habe die Meldung gerade erst auf heise.de gelesen.
Dort suchen noch alle nach dem Download Link  .
Und, schon neue Erkentnisse aus den Daten gewonnen?
Tschuess
Uwe
_________________
Morgen bei Null im Web anfangen. Eine 100% sichere Methode zum sauberen Linkaufbau. |
|
| Nach oben |
|
|
Forenmensch
PostRank 7
Anmeldungsdatum: 10.02.2005
Beiträge: 583
|
| Verfasst am: 07.08.2006, 14:25 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
Sollten lieber die deutschen anfragen veröffentlichen...
Naja eine Sauerei gegenüber den Kunden, ist es aber trotzdem! |
|
| Nach oben |
|
|
everflux
Moderator
Anmeldungsdatum: 01.05.2006
Beiträge: 873
|
| Verfasst am: 07.08.2006, 14:49 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
Also ich find das ne saucoole Sache - halt "blöde" daß niemand gefragt wurde.
Aber vielleicht rüttelt das den einen oder anderen mal wach, was man alles an Daten herausgibt. Und bei gurgel hätte ich da eher Bedenken als den AOLlern. |
|
| Nach oben |
|
|
tobsn
PostRank 7
Anmeldungsdatum: 26.10.2005
Beiträge: 495
|
| Verfasst am: 07.08.2006, 19:00 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
deswegen bekommt wohl heise.de die news immer von mir 
_________________
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT!
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician |
|
| Nach oben |
|
|
Fluidum
PostRank 5
Anmeldungsdatum: 18.12.2005
Beiträge: 257
|
| Verfasst am: 07.08.2006, 19:16 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
Good work Tobsn,
Werde Morgen mal die Datenbank füttern... Mal schauen was dabei rauskommt! |
|
| Nach oben |
|
|
tobsn
PostRank 7
Anmeldungsdatum: 26.10.2005
Beiträge: 495
|
| Verfasst am: 07.08.2006, 19:21 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
denkt dran: das queryTime feld wird als timestamp in mysql gespeichert. daher habt ihr die möglichkeit auch direkt per query zeitbezogene anfragen zu starten...
_________________
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT!
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician |
|
| Nach oben |
|
|
polo
PostRank 2
Anmeldungsdatum: 29.05.2004
Beiträge: 42
Wohnort: Bremen
|
| Verfasst am: 15.08.2006, 21:07 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
Moin,
ich hab das per "LOAD DATA LOCAL INFILE" gemacht, geht prima. Mit einem Fulltext Index auf das Query Feld und man kann da relativ schnelle Abfrage auf Keywords und Phrasen machen. Details hab ich in mein Blog gestellt: http://tuxoo.blogspot.com
Nun die Frage: Was macht man mit dem kram nu ? Ich suche damit Keywordphrasen, aber was kann man damit noch sinnvolles machen ?
Grüße
Marco
_________________
Suche Linkpartner aus dem Bereich Kontaktlinsen, Tintenpatronen, Toner oder Parfüm! |
|
| Nach oben |
|
|
tobsn
PostRank 7
Anmeldungsdatum: 26.10.2005
Beiträge: 495
|
| Verfasst am: 16.08.2006, 05:39 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
http://czern.homeip.net/aolsearch/
was man damit macht? naja als ami kannste damit tolle spam seiten baun, würd ich mal sagen...
fürn deutschen is das eher uninteressant. sogar die amis sagen uninteressant. aber es is lustig weil die user ids ja echt menschen sind und was die gesucht haben is teilweise echt übel... hehe.
schau dir zum beispiel mal nummer 317966 an
_________________
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT!
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician |
|
| Nach oben |
|
|
Nullpointer
PostRank 10
Anmeldungsdatum: 22.04.2005
Beiträge: 4589
Wohnort: West Berlin
|
| Verfasst am: 16.08.2006, 09:01 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
okay, hab mal den link von tobsn verfolgt und porn eingegeben.
336865 scheint ja massive probleme zu haben und gehört weggesperrt.
dagegen sind die schwiegermutterprobleme von 317966 ja nix.
wirklich interessant wird es aber, persönliche querries zu finden, über die man rückschlüsse auf die reale person ziehen kann.
_________________
Ich kann gar nicht so viel kotzen, wie ich fressen möchte. |
|
| Nach oben |
|
|
dandy11
PostRank 6
Anmeldungsdatum: 22.07.2006
Beiträge: 363
|
| Verfasst am: 16.08.2006, 09:40 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
Ich weiß gar nicht, was die ganze Aufregung der Datenschützer überall soll. Google hat die Herausgabe solcher Daten an die US-Regierung verweigert. AOL hat zufälligerweise gerade diese Daten veröffentlicht und ist nun "sehr verärgert". Die Regierung freut's und in den BH-Foren springt man im Dreieck vor Vergnügen. Wer schon America im Firmennamen trägt, der muss sich auch ab und an etwas patriotisch geben, oder?
Und wer jetzt ein paar [IRONIE]-Tags hat, der darf sie setzen, wo er mag... |
|
| Nach oben |
|
|
polo
PostRank 2
Anmeldungsdatum: 29.05.2004
Beiträge: 42
Wohnort: Bremen
|
| Verfasst am: 16.08.2006, 11:19 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
Zu bemerken ist, dass die Leutz die auf den Sexseiten rumsurfen eine tierische Gedult haben. 336865 guckt sich auch gerne mal Suchergebnisse 200+ an.
Aber von diesen Einzelbetrachtungen und der Spionage einzelner Personen mal abgesehen. Wäre es evtl. möglich aufgrund der Daten Ähnlichkeiten zu finden, wie man das auch bei Warenkörben macht. Zum Beispiel: Jemand, der nach Windeln sucht, sucht auch gerne Bier ? Dann könnte es ja durchaus sinnvoll sein meine Bierwerbung auf eine Pampers-Seite zu packen. Dafür müsste man eigentlich nur alle unique Querys pro User in einen Topf werfen und dann irgendwie schauen wo da Ähnlichkeiten sein. Wenn ich damals besser aufgepasst hätte würde ich vielleicht noch wissen wie das ging...
Was auch noch interressant wäre, wäre eine Gruppenbildungen nach Suchgewohnheiten. Einige Suchen viel, einige weniger oft und wie verhält sich das bezogen auf die angeklickten Seiten, vielsucher = nur top3 Klicker ?
Da gibts doch bestimmt irgendwann demnächst ein paar Auswertungen zu....
_________________
Suche Linkpartner aus dem Bereich Kontaktlinsen, Tintenpatronen, Toner oder Parfüm! |
|
| Nach oben |
|
|
dandy11
PostRank 6
Anmeldungsdatum: 22.07.2006
Beiträge: 363
|
| Verfasst am: 16.08.2006, 11:31 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
| polo hat Folgendes geschrieben: |
Da gibts doch bestimmt irgendwann demnächst ein paar Auswertungen zu.... |
Klar! Ich wette, das FBI sitzt schon dran. Und ein paar Werbestrategen sicherlich auch.
In ein paar Wochen gibt's dann Werbung wie:
"Mit jeder Kiste Krombacher erhalten Sie ein Großpack Pampers"
Und Günther Jauch und Rudi Völler sitzen dann in Wi... ach nein, das möchte ich mir lieber nicht vorstellen. |
|
| Nach oben |
|
|
polo
PostRank 2
Anmeldungsdatum: 29.05.2004
Beiträge: 42
Wohnort: Bremen
|
| Verfasst am: 16.08.2006, 11:39 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
| Zitat: |
"Mit jeder Kiste Krombacher erhalten Sie ein Großpack Pampers"
|
Lach' nicht. Es gibt da ein berühmtes Beispiel aus der Warenkorbauswertung bei Scannerkassen im Supermarkt, die zeigt, dass Samstags die junge Familie zum Einkaufen fährt, und da Windeln und Bier einkauft. Das hat dazu geführt, dass es Bier-Sonderplatzierungen in Nähe der Windelregale gibt. Beim nächsten Einkauf mal drauf achten.
Alternativ zu den Jungs in Windeln, könnte man den Babys auch 'ne neue Flasche verpassen. Sie sind dann auch viel ruhiger....
_________________
Suche Linkpartner aus dem Bereich Kontaktlinsen, Tintenpatronen, Toner oder Parfüm! |
|
| Nach oben |
|
|
tobsn
PostRank 7
Anmeldungsdatum: 26.10.2005
Beiträge: 495
|
| Verfasst am: 16.08.2006, 18:16 Titel: AOL Proudly Releases Massive Amounts of Private Data |
|
|
also um nochmal kurz was dazu zu sagen...
wer mal richtig ablachen will über diese daten:
http://aohellsearches.ytmnd.com/
...und viel wichtiger, google hat das wohl mitbekommen und haut mal wieder richtig auf den putz:
http://googleresearch.blogspot.com/2006/08/all-our-n-gram-are-belong-to-you.html
für alle die dem link nicht folgen wollen:
| Zitat: |
| That's why we decided to share this enormous dataset with everyone. We processed 1,011,582,453,213 words of running text and are publishing the counts for all 1,146,580,664 five-word sequences that appear at least 40 times. There are 13,653,070 unique words, after discarding words that appear less than 200 times. |
also google gibt 6 dvd's raus mit nich nur grad mal eben 2gig daten sondern ich schätz mal 6 mal 4 gb... == 1,011 BILLIONEN suchanfragen...
soviel dazu.
_________________
Unterhalte Dich mit anderen im SEO & ADSENSE IRC CHAT!
/server irc.german-elite.net -j #SEO
_________________
theonlybushilike.com!
_________________
"There are three kinds of lies: lies, damned lies, and statistics."
— Benjamin Disraeli (1804-1881), British politician |
|
| Nach oben |
|
|
|
