ソフトウェアの世界では、類似の機能を実現するソフトウェア同士の比較のために、標準のベンチマークというものが存在する。SPEC や TPC などがある。
DSMS では、まだその歴史が浅いため、このエントリに書いたような非常に Domain Specific なベンチマークしか存在しない。我々がベンチマークを作ったとしたら、それはそれで、非常に大きな Contribution にもなるし、論文の refer 率が非常に上がるはずである。
gnuplotでeps
12 年前
ベンチマークの必要性は切に感じます。
返信削除バイオインフォマティクスでは結果の信頼性の基準がないために、研究の信頼性までもが未だ確立されていないという状況を知ったのも一因です。
SSDの寿命も評価基準が存在しないため、同メーカの製品同士ですら明確な比較を行えず、ユーザもメーカも嬉しくない状態です。
個人的なイメージでは、評価基準が登場する前の状態は、まだまだ黎明期でやりたいことをやれるし逆にそれが全て無意味になってしまう可能性もある状態なんだと思います。
ちょっと即物的ですが、そこそこ有用な評価基準を作れれば最も簡単に教科書に名前を残せると思うのもベンチマークをやってみたいと思う理由の一つです。