ラベル data の投稿を表示しています。 すべての投稿を表示
ラベル data の投稿を表示しています。 すべての投稿を表示

2012年1月6日金曜日

Data Set To be Potentially Purchased

MySpace User Activity Stream: User count by lat/long
http://www.infochimps.com/datasets/myspace-user-activity-stream-user-count-by-latlong
The data is derived from the MySpace real-time stream API. It contains all of the users in the dataset, around 11 million, with well-formed latitude and longitude.


ClueWeb 2009
http://lemurproject.org/clueweb09.php/

2011年10月21日金曜日

Open Street Map (OSM)

世界の道路ネットワークデータ Open Street Map
http://www.openstreetmap.org/

データの形式は OSM (XML) か、以下の PBF 形式で提供
http://wiki.openstreetmap.org/wiki/PBF_Format

研究室には、/nfs/data0/roadnetwork/ にダウンロードしています。PBF フォーマットで 9GB ぐらいあります。

2010年12月14日火曜日

[StreamGraph] Graph 500 Update

Graph500 のリファレンスコードのバージョン 1.2 が http://www.graph500.org/Reference.html に公開されている。実装は、sequential, MPI, OpenMP版(あと Cray XMT 用のコードもある)である。

入力データは、generator があり、クロネッカーグラフ (Jure の Kronecker Graph Tutorial, '08) を生成.処理はBFS( 幅優先探索)を実行。
BFS の実装自体はカスタマイズ可能。

2010年12月10日金曜日

[StreamGraph] Enron の E-mail データ

http://www.cs.cmu.edu/~enron/

[StreamGraph] スタンフォード大の公開データ

http://snap.stanford.edu/data/

公開しているデータは以下の通り。

  • Social networks: online social networks, edges represent interactions between people
  • Communication networks: email communication networks with edges representing communication
  • Citation networks: nodes represent papers, edges represent citations
  • Collaboration networks: nodes represent scientists, edges represent collaborations (co-authoring a paper)
  • Web graphs: nodes represent webpages and edges are hyperlinks
  • Amazon networks : nodes represent products and edges link commonly co-purchased products
  • Internet networks : nodes represent computers and edges communication
  • Road networks : nodes represent intersections and edges roads connecting the intersections
  • Autonomous systems : graphs of the internet
  • Signed networks : networks with positive and negative edges (friend/foe, trust/distrust)
  • Wikipedia networks and metadata : Talk, editing and voting data from Wikipedia
  • Twitter and Memetracker : Memetracker phrases, links and 467 million Tweets
  • [StreamGraph] Facebook Data

    カリフォルニア大学の研究グループがクロールした Facebook のデータを公開
    http://odysseas.calit2.uci.edu/wiki/doku.php?id=public:online_social_networks#datasets1

    ニューヨーク MTA

    http://mta.info/developers/

    [StreamGraph] Public Data Sets

    http://datamob.org/datasets

    [StreamGraph] Livedoor Data

    トップページがいかがわしいが、Livedoor が研究用途にデータを提供しているようだ。
    http://labs.edge.jp/datasets/

    [StreamGraph] データストリームに対する相関ルールを用いたコミュニティの時系列解析

    データストリームに対する相関ルールを用いたコミュニティの時系列解析

    実験では、Livedoor が提供するソーシャルブックマークのデータを用いている
    http://wiki.livedoor.jp/staff_clip/d/FrontPage

    2010年12月8日水曜日

    [StreamGraph] 食べログ

    食べログ(http://u.tabelog.com/)には、1日に200回までという制限がありますが、API があるようです。チェックしてみてください。2部グラフだと、グルメレビュアーとレストランとなるでしょう。グルメレビュアーは20万人弱、レストランは61万店舗となります。

    [StreamGraph] Mixi Graph API

    Mixi Graph API について Mixi に問い合わせたところ、直接お電話を頂いた。Graph API はパートナーとなる企業のみが使用できるのだが、どうも、それさえも、やはり、すべてのデータをクロールできるわけではないらしい。また、取得したデータは24時間以内には削除しなければならないのだそうだ。

    今後、共同研究のような形で一緒にできるかどうかを話し合う機会がありそうだが、昨今の事情を考えると、日本のネット系の企業はあまり積極的ではない。WWWなどのウェブ系では著名な学会では、Facebook , Google, Flicker, Amazon などの実データを使った研究がたくさん出ているが、日本はとにかくそのあたり、消極的だ。米国を中心に、この手のネット企業が学会でプレゼンスを出すことにより、より Visibility を上げ、更には優秀な技術者が入ってくれるという良い循環となっている。

    日本でも、そのように産学一体となって、この周辺の研究を加速化させ、Win-Win の関係を構築することが大変重要だと思うのだが。。。

    [StreamGraph] Facebook Graph API

    Facebook Graph API を用いれば実データは取れるそうだ。

    ------

    The announcement was glossed over during Facebook’s many launches at f8 yesterday, but the company has introduced ways for developers to conduct a variety of searches for content in its Graph API. This could benefit any number of search companies and other developers who are looking for lots of public data to aggregate and organize.

    The Open Graph allows applications, Pages, web sites and other software services to add Facebook features, like the “Like” button, to their own sites. Taking actions on other sites results in those actions being shared with your friends on Facebook, and may allow friends on those sites to see what you’re doing, too.

    Many users have their privacy settings configured to allow status updates, likes and other activity to be public. Its terminology for this data is “public objects.” The generic search format is: https://graph.facebook.com/search?q=QUERY&type=OBJECT_TYPE.

    Here are the specific types of searches that can be done:

    News feeds of individuals can be searched, too, but you’ll need authorization. Here’s an example:

    News Feed: https://graph.facebook.com/me/home?q=facebook

    This search is restricted to public data about users and their immediate friends (not, say, their friends of friends), in keeping with Facebook’s existing data-sharing policies.

    2010年12月3日金曜日

    [StreamGraph] Mixi Graph API

    Mixi Graph API に関しては、パートナー契約が必要だそうで、登記簿などの提出が必要だそうです。なので、Mixi に大学などの研究組織に関しては、より手続きの簡素化ができるかどうか問い合わせをしておきました。

    インターネットコンテンツの扱いに関して

    著作権法改正案が国会提出、「ダウンロード違法化」など盛り込む
    http://internet.watch.impress.co.jp/cda/news/2009/03/11/22747.html

    文部科学省 著作権法の一部を改正する法律案
    http://www.mext.go.jp/b_menu/houan/an/171/1251917.htm

    文化庁のオフィシャルページ
    http://www.bunka.go.jp/chosakuken/21_houkaisei.html

    [StreamGraph] Netflix Challenge

    ビデオレンタル会社 Netflix が依然実施した コンテスト (Netflix Prize: リコメンデーションの精度を10%以上向上させたら賞金) により、この分野における研究は大きく前進した。 当然、NetFlix は次のコンテストを企画していたそうだったが、個人を一意に特定できないことを証明することは難しく、プライバシーの問題でキャンセルしたそうだ。

    2010年12月2日木曜日

    [StreamGraph] Graph 500

    http://www.graph500.org/ のサイトが更新され、ランキングが出ています。