SEOの経過待ちついでにブログも放置してしまっていました＾＾；
少し前に『日立、東大と開発中の「超高速データベースエンジン」を製品化』と言う記事が出ていました。
データベースに興味のある方は読まれたかと思います。
日経新聞
データベースに関しては仕事で少し使用していることもあり、元々興味もあったのですが、超巨大なデータは扱うことも少ないため、それほど気に留めて居ませんでした。（ちなみに、仕事では200G程度のデータ量）
それが最近SEOを学習し始めてGoogleのBigTableの処理などを思うと少し気なり始めました。
今回の「超高速データベースエンジン」は記事を読んで頂ければ概要が判ると思いますが、超高速データベースエンジンは「非順序型実行原理」に基づいてデータ処理することで、従来型データベースエンジンに比べて、大幅な検索性能向上が図れるという代物で、RDBMSが開発された当初のコンピュータと現在のコンピュータのスペックの違いに着目して再最適化を図った設計になっています。
現在は100倍程度の高速化が実現できているそうですが、最終目標は2013年度中に、従来型データベースエンジンに比べ800倍程度のデータ検索性能を達成することだそうです。
今回の仕組みは、実行論理が許す限り大量の入出力を発行することで、ディスクより高速化の進んでいるプロセッサ資源の活用と、膨大な数のディスクドライブの並列アクセスによって、効果的な性能バランスの実現を狙うものです。やはり肝はデイスクIOの待ち時間を減らすことです。
ただ、デイスクIOの待ち時間を減らすと言っても、問合せの数が膨大なためIOの数も膨大になり、その膨大なIOを支えるためにOSやハードウェアを含めたシステムの設計、構築が必要となり簡単に導入できる訳では無さそうですが、面白い製品だと思います。
簡単には手に入らないものですが、このような高速な検索ができるようになると、いろいろな分野で詳細な比較、詳細な追跡、解析が今までより容易に進めることができるようになるため、今までと異なった次元で判断が可能になると考えています。
機械が状況を出力するデータ量は人間が発信するデータ量の何倍になりますが、現在は解析ができないことからそれなりに絞り込んだ量で分析・解析を行なっています。将来はフルデータで解析が行えるため、実用度の高いデータが取れそうです。