アプリケーション屋の要件

アプリ屋の requirement および実際に使っている手法等を知るため、情報交換の場をセットしていきましょう。
候補としては、まず上がるのが、東大松尾先生、東大鹿島先生、東工大杉山先生、IBM TRLのデータマイニング屋でお客様案件を担当している研究者など。

MovieLens

土屋さんの指導教官：横浜国立大学の長尾先生
http://www.nlab.sogo1.ynu.ac.jp/ynu/members/nagao.html
ネット企業との共同研究

MovieLens (映画に対する Rating) というデータセットを使って協調フィルタリング＋ベイジアンネットを使って解析
http://www.grouplens.org/node/73

Google Map 上のリアルタイム交通状況可視化

Android 携帯でユーザーが現在位置情報の機能を有効しているのみ Google のサーバーに送信。位置データと速度から交通状況を把握
http://googlejapan.blogspot.com/2011/12/google_09.html

NVIDIA ブースでの SC11 でのトーク

http://www.nvidia.com/object/sc11.html

Flume + Cassandra

http://www.slideshare.net/geminimobile/flume-cassandra-real-time-log-processing

グラフマイニング

http://www.db.soc.i.kyoto-u.ac.jp/index.php/ja/component/content/article/104

GraphStream: A Dynamic Graph Library

http://graphstream-project.org/

静的・動的グラフの可視化ライブラリ. Version 1.1. YouTube のビデオあり
http://graphstream-project.org/doc/Gallery/

2011/08/22 Lab Meeting Agenda

明日の研究室ミーティングの Agenda
- Crest プロジェクトに関して(30分ほど）
- 物品購入など
- 個別の研究進捗(4年生は院試報告と今後の方向性)
- 全体ミーティング、個別ミーティングの日程
- 各自の後期授業日程 (10月以降)
- ソフトウェア科学会チュートリアル(沖縄)・チューター決め
- IT 管理者,引継ぎに向けて
- 工大祭コンテンツ決め：ポスター作り、デモ内容、昨年のフィードバック
- SuperComputing 2011
- New member に関して (10月から、来年4月から)
- その他

MOA Project

MOA: Massive Online Analysis
http://moa.cs.waikato.ac.nz/

Stream Mining のツールキット
http://cdnetworks-kr-1.dl.sourceforge.net/project/moa-datastream/documentation/StreamMining.pdf

"The Data Deluge"

http://www.economist.com/node/15579717

2011年上半期まとめ

最近の新たな論文としては以下の通り。

Yahoo S4 vs. System S: Miyuru & Takeno
Graph500 on TSUBAME: Suzumura & Ueno

もうすぐ7月になり、授業関係で忙しくしていた人も研究に没頭しましょう。上野君は、「クロネッカーグラフのスケールフリー性を利用した頂点配置による性能最適化」を。雁瀬君は インクリメンタル最短路問題を Incremental GIM-V 処理系（西井君開発）上に実装し、評価。
4年生の渡部君は Graph500 の日本語まとめを6月下旬まで。7月から4年生は院試勉強へ。勉強に集中してください。

M2は中間発表が 8/1 なので、それまでに結果を出しましょう。国際学会の論文もそろそろ出さねば。

The Economist の記事

経済誌に珍しく並列プログラミングに関する記事が掲載.
http://www.economist.com/node/18750706

Top500 の変遷の視覚化

http://www.top500minder.net/

雑感

研究者は、どんなに日々の雑用や他の仕事で手一杯だろうが、研究成果を継続的に出していくことが重要。”Credibility” というのがどんなに研究者だけなく、社会で生きていく上で重要なことをわかって欲しい。Credibility を着実に得ていくのはそれなりに年月が必要だが、逆に失うのも早い。

演習課題 - Elastic StreamScale

石井、鈴村の「Elastic Stream Computing with Clouds」のアイデアを StreamScale 上でシームレスに実装し、性能評価を行う。

竹野君 ToDo
(1) 石井君の work 理解 --> "SACSIS 2011 論文とスライド読み”, 実験の再現
(2) Yahoo S4 理解（コードと論文）
(3) StreamScale のコード理解 (5/11 18:00 - )
(4) StreamScale の再設計と実装 (竹野、上野、鈴村で議論)
(5) 上記 Elastic Stream Computing のアイデアを StreamScale 上に実装

以上です

新メンバー演習課題 (2)- Yahoo S4 で 高速CDR 処理を実装

[演習課題]
- オープンソースの処理系 Yahoo S4 上で VWAP 及び CDR 処理を実装する。
- Yahoo S4 に関するシステム概要についてまとめる
- System S との性能比較、定性的なプログラミングモデル比較を行う。

[Yahoo S4 に関するサイト、論文]
サイト：http://s4.io/からコードをダウンロード。インストールしダウンロード。
論文：http://labs.yahoo.com/files/KDCloud%202010%20S4.pdf
必要に応じて Zookeeper や Spring フレームワークの文献を参照すること

[System S の VWAP 処理、CDR処理のコード]
- スケーラブルな VWAP アプリは松浦君に聞く (松浦君がインターンで最適化したコード)
- CDR 処理アプリ（簡易版）は Miyuru 君に渡したので聞く

[発表スライドにまとめる内容]
- Yahoo S4 に関する詳細な解説 (ソフトウェアのアーキテクチャ、プログラミングモデル、実行方法）
- Yahoo S4 と System S の比較（アーキテクチャ、プログラミングモデルなど）
- CDR と VWAP の定量的な性能比較 - スケーラビリティ、ボトルネック解析

[Info] Watson

今週土曜日4月16日の0時（金曜深夜）より、NHK教育TV「サイエンスZERO」が2回にわたりWatsonを特集するようです。　http://www.nhk.or.jp/zero/schedule/index.html

Smarter Planet Case Study

あまり研究とは関係ないが、事例

http://www-06.ibm.com/innovation/jp/smarterplanet/casestudy.shtml

評価の重要さ

　論文としての完成度を高めるには、徹底的に、提案する手法を定量的かつ定性的に評価する必要があります。良い研究であっても、その辺の Evidence がないと論文としては難しく、逆に、国際学会のいろいろな論文を見ると、提案する手法の新規性や進歩性が低くても、その辺の徹底的な分析があることによって、採択されている論文もあることに気づくでしょう。実装に比べると、評価は地道な作業ですが、そこが論文としては非常に重要であることを覚えておいてほしいと思います。

[StreamGraph] Mixi Graph API

Mixi Graph API について Mixi に問い合わせたところ、直接お電話を頂いた。Graph API はパートナーとなる企業のみが使用できるのだが、どうも、それさえも、やはり、すべてのデータをクロールできるわけではないらしい。また、取得したデータは24時間以内には削除しなければならないのだそうだ。

今後、共同研究のような形で一緒にできるかどうかを話し合う機会がありそうだが、昨今の事情を考えると、日本のネット系の企業はあまり積極的ではない。WWWなどのウェブ系では著名な学会では、Facebook , Google, Flicker, Amazon などの実データを使った研究がたくさん出ているが、日本はとにかくそのあたり、消極的だ。米国を中心に、この手のネット企業が学会でプレゼンスを出すことにより、より Visibility を上げ、更には優秀な技術者が入ってくれるという良い循環となっている。

日本でも、そのように産学一体となって、この周辺の研究を加速化させ、Win-Win の関係を構築することが大変重要だと思うのだが。。。