gnuplotでeps
12 年前
2011年11月30日水曜日
2011年11月28日月曜日
2011年11月19日土曜日
[Graph500] Graph500 on Amazon EC2
Graph500 on Amazon EC2 に関して
- Amazon EC2 のクラスタインスタンスの仕様
Amazon EC2 supports Cluster instance"
Xeon X5570 (2.95GHz), 23 GB of RAM, 1690 GB of local
storage, and 10 Gbps network, all for $1.60 per hour recently GPU (Tesla Fermi) is available
(2010年後半の仕様なので変化があるはず）
- 研究内容
- 仮想化環境において Graph500 を実行し、bare metal の環境との性能特性を行う
- ベンチマークを完遂させることを目的としない。BFS を何回か、validation は実行しない。
- Scale は 1ノードにつき Scale 26でいけるので、TSUBAME で取った性能プロファイルと比較できる
- マイクロベンチマークを実行し、ネットワークトポロジー予測を行う（関連研究があるはずなので調査）
- CPU 課金が１時間単位なのでノード数を少なくできるか？
- 予測トポロジーに応じて、MPI のランク最適配置を計算し、性能を向上させる
- 128ノードを用いて12時間走らせて約20万円
- 上記研究内容をもとに、Amazon が Graph500 にサブミッションするかどうかは別の話し
- Target Conference: IEEE Cloud 2012 締め切りは 2012年1月後半
[参考文献]
http://www.stratosphere.eu/files/TopologyInferenceEnd2End_11.pdf
http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=5948654
http://dl.acm.org/citation.cfm?id=1833691
The impact of virtualization on network performance of amazon EC2 data center, InfoCOM 2010
Cloud computing services allow users to lease computing resources from large scale data centers operated by service providers. Using cloud services, users can deploy a wide variety of applications dynamically and on-demand. Most cloud service providers use machine virtualization to provide flexible and costeffective resource sharing. However, few studies have investigated the impact of machine virtualization in the cloud on networking performance.
In this paper, we present a measurement study to characterize the impact of virtualization on the networking performance of the Amazon Elastic Cloud Computing (EC2) data center. We measure the processor sharing, packet delay, TCP/UDP throughput and packet loss among Amazon EC2 virtual machines. Our results show that even though the data center network is lightly utilized, virtualization can still cause significant throughput instability and abnormal delay variations. We discuss the implications of our findings on several classes of applications.
- Amazon EC2 のクラスタインスタンスの仕様
Amazon EC2 supports Cluster instance"
Xeon X5570 (2.95GHz), 23 GB of RAM, 1690 GB of local
storage, and 10 Gbps network, all for $1.60 per hour recently GPU (Tesla Fermi) is available
(2010年後半の仕様なので変化があるはず）
- 研究内容
- 仮想化環境において Graph500 を実行し、bare metal の環境との性能特性を行う
- ベンチマークを完遂させることを目的としない。BFS を何回か、validation は実行しない。
- Scale は 1ノードにつき Scale 26でいけるので、TSUBAME で取った性能プロファイルと比較できる
- マイクロベンチマークを実行し、ネットワークトポロジー予測を行う（関連研究があるはずなので調査）
- CPU 課金が１時間単位なのでノード数を少なくできるか？
- 予測トポロジーに応じて、MPI のランク最適配置を計算し、性能を向上させる
- 128ノードを用いて12時間走らせて約20万円
- 上記研究内容をもとに、Amazon が Graph500 にサブミッションするかどうかは別の話し
- Target Conference: IEEE Cloud 2012 締め切りは 2012年1月後半
[参考文献]
http://www.stratosphere.eu/files/TopologyInferenceEnd2End_11.pdf
http://ieeexplore.ieee.org/xpl/freeabs_all.jsp?arnumber=5948654
http://dl.acm.org/citation.cfm?id=1833691
The impact of virtualization on network performance of amazon EC2 data center, InfoCOM 2010
Cloud computing services allow users to lease computing resources from large scale data centers operated by service providers. Using cloud services, users can deploy a wide variety of applications dynamically and on-demand. Most cloud service providers use machine virtualization to provide flexible and costeffective resource sharing. However, few studies have investigated the impact of machine virtualization in the cloud on networking performance.
In this paper, we present a measurement study to characterize the impact of virtualization on the networking performance of the Amazon Elastic Cloud Computing (EC2) data center. We measure the processor sharing, packet delay, TCP/UDP throughput and packet loss among Amazon EC2 virtual machines. Our results show that even though the data center network is lightly utilized, virtualization can still cause significant throughput instability and abnormal delay variations. We discuss the implications of our findings on several classes of applications.
Meeting w/ Andy Yoo (LLNL)
Here are the minutes of the meeting we had with Andy,
-------------------------------------
There is no MatLab code or MPI code. Miyuru need to create an MPI implementation of the graph generator.
The reason why current methods (e.g. RMAT) not good is there is a low level of clustering coefficient. We need a generator that creates data set with very high clustering coefficient of data points.
The proposed method starts with Quasi Cliques. There are non-zero elements in the Matrix.
Miyuru should read the look for Chung-Lu model. There is a paper published around 2001-2002.
The basic idea is given a degree distribution the implementation should extract the model out of it.
So the main activities are,
- Create a MatLab model of the generator
- Port MatLab code to MPI
- Do experiments of the graph generator with Tsubame
-------------------------------------
There is no MatLab code or MPI code. Miyuru need to create an MPI implementation of the graph generator.
The reason why current methods (e.g. RMAT) not good is there is a low level of clustering coefficient. We need a generator that creates data set with very high clustering coefficient of data points.
The proposed method starts with Quasi Cliques. There are non-zero elements in the Matrix.
Miyuru should read the look for Chung-Lu model. There is a paper published around 2001-2002.
The basic idea is given a degree distribution the implementation should extract the model out of it.
So the main activities are,
- Create a MatLab model of the generator
- Port MatLab code to MPI
- Do experiments of the graph generator with Tsubame
[Graph500] 住元さんとの議事録
SC2011 にて住元さんとミーティング。以下、上野君が取ってくれた議事録
通信性能は、１本あたり4.7GB/5GB。１ノード全部で14.7GB。
ジョブごとにセグメントを分けている
6次元なのでホップ数はx,y,zにそれぞれ+2したもの
K用のプロファイリングツールがある
６次元での位置や故障ノードのなどの情報はユーザに見せていない
３次元では遠いノードでも、６次元なのでショートカットが存在する
３次元で遠いノードほど、ショートカットがある
実行中にノードが故障したら割り当て範囲内で再配置して実行
キャッシュセグメント？（明示的にキャッシュを制御する？）
プログラムからはローカルディスクしか見えない
ローカルディスクは32ノードに対して１RAIDシステム
15000回転のHDD 16台のRAID 4+1
接続はFiberChannel
メモリのデータをすべてダンプするだけの容量くらいはもちろんある
キャッシュインジェクションにより低レイテンシ（Infinibandにはない）
RDMAなので、最終的にはメモリに書き込まれる
普通はDMAでメモリに書き込まれたらキャッシュはフラッシュされる
キャッシュラインに全部書き込めばメモリから読み込まれることはない
通信モジュールは入出力合わせて100GB/s
富士通のユーザフォーラム SSけん HPC forum おいなが
通信性能は、１本あたり4.7GB/5GB。１ノード全部で14.7GB。
ジョブごとにセグメントを分けている
6次元なのでホップ数はx,y,zにそれぞれ+2したもの
K用のプロファイリングツールがある
６次元での位置や故障ノードのなどの情報はユーザに見せていない
３次元では遠いノードでも、６次元なのでショートカットが存在する
３次元で遠いノードほど、ショートカットがある
実行中にノードが故障したら割り当て範囲内で再配置して実行
キャッシュセグメント？（明示的にキャッシュを制御する？）
プログラムからはローカルディスクしか見えない
ローカルディスクは32ノードに対して１RAIDシステム
15000回転のHDD 16台のRAID 4+1
接続はFiberChannel
メモリのデータをすべてダンプするだけの容量くらいはもちろんある
キャッシュインジェクションにより低レイテンシ（Infinibandにはない）
RDMAなので、最終的にはメモリに書き込まれる
普通はDMAでメモリに書き込まれたらキャッシュはフラッシュされる
キャッシュラインに全部書き込めばメモリから読み込まれることはない
通信モジュールは入出力合わせて100GB/s
富士通のユーザフォーラム SSけん HPC forum おいなが
2011年11月15日火曜日
2011年11月8日火曜日
Rodinia: A Benchmark Suite for Heterogeneous Computing
http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.147.8883
This paper presents and characterizes Rodinia, a benchmark suite for heterogeneous computing. To help architects study emerging platforms such as GPUs (Graphics Processing Units), Rodinia includes applications and kernels which target multi-core CPU and GPU platforms. The choice of applications is inspired by Berkeley’s dwarf taxonomy. Our characterization shows that the Rodinia benchmarks cover a wide range of parallel communication patterns, synchronization techniques and power consumption, and has led to some important architectural insight, such as the growing importance of memory-bandwidth limitations and the consequent importance of data layout. I.
This paper presents and characterizes Rodinia, a benchmark suite for heterogeneous computing. To help architects study emerging platforms such as GPUs (Graphics Processing Units), Rodinia includes applications and kernels which target multi-core CPU and GPU platforms. The choice of applications is inspired by Berkeley’s dwarf taxonomy. Our characterization shows that the Rodinia benchmarks cover a wide range of parallel communication patterns, synchronization techniques and power consumption, and has led to some important architectural insight, such as the growing importance of memory-bandwidth limitations and the consequent importance of data layout. I.
登録:
投稿 (Atom)
