bunnerdata

DX時代の実験データのデータベース化。

ファイルサーバとは何が違うのか?

製品開発や基礎研究における実験、検証データは、製品や研究の実体を表すものであり、宝の山ともいわれています。

今回は、実験データのデータベース化をするさいに重要な、データベースとファイルベースの違いについて説明します

実験データのファイルベースとデータベースとは?

まず、分かりやすい例として、右図のデータを計測器ではかり、”計測データ.dat”というファイルで出力したとします。

実験データのファイルベースとは、”計測データ.dat”ファイルとして、サーバに保存することであり、パソコンでファイルを保存する時とほぼ同じです。

一方、実験データのデータベースとは、”計測データ.dat”ファイルの中身、つまり、この例では、物理量、単位、データの各値をデータベースに直接保存することです。

時間

温度

1

20

2

21

3

22

ファイルベースのメリット、デメリット

メリット
・導入が簡単
・データを蓄積しやすい

デメリット
・コンピュータによるデータ活用が難しい
・ファイルを開くためのソフトウェアが必要
・データの構造が不揃いであり前処理に多大な労力が必要

ファイルベースの仕組みは、windowsパソコンなど、日常的につかわれているものとほぼ同じであり、導入がかんたんです。ファイルをすぐに貯めていくことが出来ます。ファイルベースの主目的が、ファイルの蓄積である場合は、良いと思います。

しかし、データ活用視点で考えると、多くのデメリットがあります。計測器は、メーカーや種類によって様々なファイル形式でデータを出力します。

そのファイルを開くためには、専用のソフトウェアが必要なことがほとんどです。ファイルベースで実験データを共有する場合、共有先のパソコンでソフトがはいっていないから開けない、活用できないという事態が発生してしまいます。

これを、解決するためにCSVなどのオープンなファイル形式で保存することが考えられます。そうすることで、ファイルは開けるようになりますが、次は、データの非構造(ふぞろい)による問題に直面します。

CSVファイルをプログラムで読みこむ場合、物理量、計測値、単位など、何のデータがどこに書かれているかを、プログラムで指定する必要があります。CSVに構造、つまり、書き方のルールがなければ、ファイルごとに読み方を作成しなければならず、多大な手間が発生します。

つまり、ファイルベースの主目的がデータ活用である場合、この仕組みでは多くのデメリットがあります。

データベースのメリット、デメリット

メリット
・データを活用しやすい
・データを読むためにさまざまなソフトウェアをインストールしなくて良い
・データ活用時の前処理にかかる負荷が少ない

デメリット
・導入に時間がかかる
・ファイルベースに比べデータの蓄積に手間がかかる

データベースでは、ファイルベースと逆の特徴があります。

まずは、メリットの説明です。

データをパソコンで読み込むためには、pythonなどのプログラムがインストールされていればよく、ファイルベースであったような、多数のソフトウェアが必要になることはありません。

また、データが構造化されて、ファイルを介さずにサーバに格納されているので、プログラムによりスムーズにデータを読むことが出来ます。ファイルベースのように、ファイルごとに読み方を作成する必要がありません。

特に、機械学習など、様々なデータを集めてモデルをトレーニングしたい場合に向いています。

一方、デメリットですが、データベースの構築は個別プロジェクトになりやすく、導入に時間がかかる事があげられます。

また、ファイルベースに比べると、データを蓄積する時に手間がかかることが多いです。ファイルベースでは、ドラッグ&ドロップのような簡単な操作でデータを蓄積できましたが、データベースで手軽にデータを蓄積するためには、工夫が必要です。

このように、データベースは、活用に強みをもつため、デジタルトランスフォーメーション(DX)の必要性が高い現代に適した仕組みといえます。

当社製品、実験データベースBRIX LITEについて

当社製品BRIX LITEでは、データベースのメリットを最大化し、デメリットを補う様々な工夫を施しています。

一例として、下記の特徴があります。

・導入に必要な時間を短縮するために製品化されている

・データを蓄積しやすいよう、ドラッグアンドドロップや、コピー&ペースト機能をもつ

・REST APIにより簡単にデータ共有が可能

・計測データの構造としてグローバル標準であるASAM ODSを採用

ご興味がありましたら、お気軽にお問い合わせください。

ASAM ODSとは

ASAM-ODSは、欧州の自動車関連製品開発における自動化システム、及び計測システムの標準化団体である、ASAM(Association for Standardization of Automation and Measuring Systems)により作成された、計測データに関する標準です。

昨今の、ものづくりの開発環境では、デジタルデータが非常に重要であり、異なる世代のデータベースシステムでデータを保存する事や、様々なベンダーのシステムがつながる必要性が急速に高まっています。

ASAM ODSは、システムのアーキテクチャに依存しない方法で、データを格納するための標準仕様を定義しています。これは、異なるデータソース間でデータを交換する際、将来にわたり利用者の大きなメリットとなります。

詳しくは、こちらのページ(ASAM ODS概要)を参照ください。

https://www.iasys.jp/odsoverview/

Your Name (required)

Your Email id (required)

Your organization (required)

Phone No (Please mention country code also)

Comment

Your Name (required)

Your Email id (required)

Your organization (required)

Phone No (Please mention country code also)

Comment