有害 Tweet リアルタイム監視

データストリーム処理が応用できる例

http://japan.internet.com/busnews/20100831/5.html

"利用者のツイートが掲載される企業のキャンペーンページなどに無関係な宣伝や公序良俗に反するツイートが投稿された際は、リアルタイムでブロックしたり、メールでアラート"
"オプションで、ハッシュタグや一般キーワードの監視、商品購入を薦めるフレーズなどの自動ピックアップ機能"

SPECWeb2005 を用いた リアルタイム Web アクセスモニタリングの性能評価

　先日の大学院講義「大規模知識資源処理」の演習発表の中で、ミンハイさん（計算工学専攻・村田研究室４年生）が Web サーバーのアクセスログから、アクセスしてきたユーザーのクライアントの IP アドレスを取得し、そこから位置情報（緯度、経度）に変換し、Google Map に表示するアプリケーションを構築し、発表してくれました。

IP アドレスのリアルタイム検知はボットネット対策やマーケティングに応用できる可能性を秘めていますが、研究としての味づけをよりつけるには、このアプリケーションの性能評価をより徹底的に行う必要があります。

　Web 周辺のベンチマークは決まっていて、SPEC という標準化団体で策定している SPECWeb2005 (http://www.spec.org/web2005/) というものがあります。このベンチマークには、世の中の代表的な Web サイトのトラフィックや計算量を網羅的に示すために、Banking(SSL つきのオンラインバンキング）、E-Commerce（ショッピングサイト）, Support (ドライバーなどのダウンロード）の3つのシナリオから構成されています。

　SPECWeb2005 が吐き出すスコアは、スループットとレイテンシ（応答時間）がどのくらい満たされているかなどを複合的に考慮しているので、リアルタイムWeb モニタリングを導入することによって、そのスコアに対してどのくらいの影響があるかを考察すれば良いでしょう（もちろん、”ほとんどない”という結論が出るのがベストですが）。

データストリーム処理の標準ベンチマークに向けて

データストリーム処理の標準ベンチマーク策定に向けて、特性項目の洗い出しと、鈴村研究室において知識が蓄積しているアプリケーションに関してその特性項目に対する回答を書き出してみました。

特性項目に関してはもっと増やしていきたいのと、アプリケーションにおいても、音声処理や画像処理などの非構造化データも加えたいと思っています。

セカイカメラと Twitter の連動

http://plusd.itmedia.co.jp/mobile/articles/0910/01/news114.html

コールセンターにおけるリアルタイム検知

良く引き合いに出すコールセンターの例
http://09197218.at.webry.info/200905/article_71.html

ボットネット対策プロジェクト

総務省、経済産業省のボットネット対策プロジェクト
https://www.ccc.go.jp/

Google Trend

現在、もっともホットなキーワードを表示するアプリ、Google Trend.
http://google.co.jp/trends/hottrends?sa=X

インフルエンザの流行を検索キーワードから予測するサービス Google Flu Trend.
http://cotoha.jp/2009/10/google-flu-trend-jp.html

老木が今行っている Twitter を用いた降雨情報をより汎用化し、かつ Twitter だけでなく、様々な情報ソースを利用すれば、Google と同じようなサービスを提供できるはずですね。

最近は何でも Google ですが、我々のような公的機関からも、世界を変えるサービスを提供していきたいですね。

セカイカメラ

- 非常に気になるのは、セカイカメラのサーバーアーキテクチャと仕様。まだユーザー数は少ないだろうが、これが爆発的に流行りだすとそれなりの台数が必要だろう。

- 位置の取得は、屋内では、WiFi からのシグナル強度（3点）から推定しているらしい。

- Open Air API というものが11月に公開されるらしい。ストリームとの組み合わせで何か面白いことができそうかもしれない

Twitter

後期の大規模知識特論の演習課題を考えています。何か学生が楽しんで取り組める課題がありそうでしたら、教えてください。

- Twitter の "public timeline" を用いて、リアルタイムにキーワードランキングを表示する (例： Google Trends)
- Twitter の "public timeline" を用いて、人間グラフをリアルタイムに表示する
- このエントリにも書いたが、ボストン市街のセンサーデータを用いて街の状況 (CO2 濃度、騒音など）をリアルタイム表示する

セカイカメラ

注目を浴びているセカイカメラ
http://support.sekaicamera.com/

ハーバード大の CitySense プロジェクト

ハーバード大学の Matt Welsh が率いる CitySense プロジェクト (http://www.citysense.net/)

町中にセンサーをばら撒き、温度、風速、CO2 濃度など町の様々なデータを取得し、環境汚染などに役立てる。センサーデータとしては以下の情報が取れるらしく、ここから　RDB に格納されたデータも取得できる。現在は、RDB だが、センサーからリアルタイムに取れるようになれば、System S の良いアプリケーションとしても良いだろう。

過去のデータを利用して、リアルタイムに町の状況をトラッキングする GUI のデモを作るのも面白いのでは.

• Air Pressure
• Air Temperature
• Relative Humidity
• Wind Direction
• Wind Speed (avg., min., & max.)
• Rain Amount
• Rain Duration
• Rain Intensity
• CO2 Density (parts-per-million)
• Sound Level (decibels)

コールセンターにおけるストリーム処理

　世の中には、様々な業界のコールセンターがある。生命保険、自動車保険、証券会社、航空会社、メーカーの修理受付窓口など。コールセンターは、企業と顧客とを結ぶインタフェースでもあり、Customer Satisfaction を向上させる重要な役割を持つ。あまりにも対応が悪いコールセンターだと、その企業の信用度も落ちる。

しかし、昨今は、アメリカのコールセンターは、コスト削減のために、インドのコールセンターを使っていたりする。アウトソーシング化だ。アメリカに滞在していたときに、United Airlines のコールセンターにかけたのに、明らかにかかったのは、インド人なまりの英語。IP 電話で音質もあまり良くなく、あれは、明らかにインドにかかっていたのであろう。

そのような中、次世代のコールセンターではオペレータの品質を保ち、Customer Satisfaction を向上させるために、以下のようなことをリアルタイムで検知する実証実験をしたいらしい。

- オペレータが言うべきことをちゃんと言っているか？
- お客さんがどのような状態か？怒っているか？Neutral か？
- お客様からどのような苦情を受けているか？それが Critical か？

入力データは、音声データか、または、音声解析技術によって落としたテキストデータかもしれない。いずれにしても、膨大な数のデータが流れてきて、かつ、それらをリアルタイムにオペレータに伝えなくてはならない。

これはまさにストリームコンピューティングの一つの適用分野だ。

皆さんも、世の中を見て、どのような分野にストリームコンピューティングを適用できるかを考えてみてください。