DX時代の実験データのデータベース化。
ファイルサーバとは何が違うのか?
製品開発や基礎研究における実験、検証データは、製品や研究の実体を表すものであり、宝の山ともいわれています。
今回は、実験データのデータベース化をするさいに重要な、データベースとファイルベースの違いについて説明します
実験データのファイルベースとデータベースとは?
まず、分かりやすい例として、右図のデータを計測器ではかり、”計測データ.dat”というファイルで出力したとします。
実験データのファイルベースとは、”計測データ.dat”ファイルとして、サーバに保存することであり、パソコンでファイルを保存する時とほぼ同じです。
一方、実験データのデータベースとは、”計測データ.dat”ファイルの中身、つまり、この例では、物理量、単位、データの各値をデータベースに直接保存することです。
時間 |
温度 |
秒 |
℃ |
1 |
20 |
2 |
21 |
3 |
22 |
ファイルベースのメリット、デメリット
メリット
・導入が簡単
・データを蓄積しやすい
デメリット
・コンピュータによるデータ活用が難しい
・ファイルを開くためのソフトウェアが必要
・データの構造が不揃いであり前処理に多大な労力が必要
ファイルベースの仕組みは、windowsパソコンなど、日常的につかわれているものとほぼ同じであり、導入がかんたんです。ファイルをすぐに貯めていくことが出来ます。ファイルベースの主目的が、データの”蓄積”である場合は、良いと思います。
しかし、データ活用視点で考えると、多くのデメリットがあります。計測器は、メーカーや種類によって様々なファイル形式でデータを出力します。
そのファイルを開くためには、専用のソフトウェアが必要なことがほとんどです。ファイルベースで実験データを共有する場合、共有先のパソコンでソフトがはいっていないから開けない、活用できないという事態が発生してしまいます。
これを、解決するためにCSVなどのオープンなファイル形式で保存することが考えられます。そうすることで、ファイルは開けるようになりますが、次は、データの非構造(ふぞろい)による問題に直面します。
CSVファイルをプログラムで読みこむ場合、物理量、計測値、単位など、何のデータがどこに書かれているかを、プログラムで指定する必要があります。CSVに構造、つまり、書き方のルールがなければ、ファイルごとに読み方を作成しなければならず、多大な手間が発生します。
つまり、ファイルベースの主目的がデータ活用である場合、この仕組みでは多くのデメリットがあります。
データベースのメリット、デメリット
メリット
・データを活用しやすい
・データを読むためにさまざまなソフトウェアをインストールしなくて良い
・データ活用時の前処理にかかる負荷が少ない
デメリット
・導入に時間がかかる
・ファイルベースに比べデータの蓄積に手間がかかる
データベースでは、ファイルベースと逆の特徴があります。
データをパソコンで読み込むためには、pythonなどのプログラムがインストールされていればよく、ファイルベースであったような、多数のソフトウェアが必要になることはありません。
また、データが構造化されて、ファイルを介さずにサーバに格納されているので、プログラムによりスムーズにデータを読むことが出来ます。ファイルベースのように、ファイルごとに読み方を作成する必要がありません。
一方、デメリットですが、データベースの構築は個別プロジェクトになりやすく、導入に時間がかかる事があげられます。
また、ファイルベースに比べると、データを蓄積する時に手間がかかることが多いです。ファイルベースでは、ドラッグ&ドロップのような簡単な操作でデータを蓄積できましたが、データベースで手軽にデータを蓄積するためには、工夫が必要です。
このように、データベースは、活用に強みをもつため、デジタルトランスフォーメーション(DX)の必要性が高い現代に適した仕組みといえます。
当社製品、実験データベースBRIX LITEについて
当社製品BRIX LITEでは、データベースのメリットを最大化し、デメリットを補う様々な工夫を施しています。
一例として、下記の特徴があります。
・導入に必要な時間を短縮するために製品化されている
・データを蓄積しやすいよう、ドラッグアンドドロップや、コピー&ペースト機能をもつ
・REST APIにより簡単にデータ共有が可能
・計測データの構造としてグローバル標準であるASAM ODSを採用
ご興味がありましたら、お気軽にお問い合わせください。