Data Management

Blend, cleanse and prepare data for analytics, reporting or data modernization efforts

Artificial Intelligence | Data Management
Alyssa Farrell 0
When business continuity matters more than platform politics

Technology modernization is disruptive even under ideal circumstances. But what happens when the business itself is already undergoing massive change?   Recently, I spoke with a SAS account team that supported a global organization through a significant corporate transition. The company was separating from its parent organization and needed to establish

Analytics | Data Management | Internet of Things
0
同じデータ、同じ定義の次に来る問題 :「誰が」統一データソースをつくるのか

連載の全体像と記事一覧:生産ラインの現場から、データと判断のあり方を考える 前回の記事では、GT-Rの開発者が「同じ条件・同じ指標で測ること」を譲らなかった話から、データ分析には同じデータ、同じ指標定義が欠かせないという結論に至りました。では、それを製造業の現場で実現するにはどうすればよいのでしょうか。今回は、そのために必要なデータの置き場と層構造、そして意外と見落とされがちな「誰がつくるのか」を取り上げます。 製造業でよく起きる「同じ用語、違う数字」 たとえば「設備稼働率」です。 生産部門は、計画稼働時間に対する実稼働時間で見ている 保全部門は、故障停止だけを引いて計算している 経営層向けの月次資料では、段取り替えや待機時間の扱いが資料ごと・部門ごとに異なる 誰も間違っていません。ただ、定義が揃っていないだけです。この状態では、OEE(設備総合効率)を改善しようとしても、予知保全モデルをつくろうとしても、議論が「その数字は何を指しているのか」から始まってしまいます。これを解消する土台が、統一されたデータソースです。 データの層構造を整理する 近年、製造業では、構造化データに加えて、IoTや機械から生成されるセンサーデータ、テキストなど、多種多様なデータが生まれています。これらを一元的に管理・活用できる新しい技術と概念が、データレイクハウスとメダリオンアーキテクチャです(出典1・2)。 データレイクハウス:従来のデータウェアハウスとデータレイクそれぞれの制限を克服し、両者の長所を併せ持つデータアーキテクチャです。低コストなストレージ上のデータに対して、ACIDトランザクション(データの整合性を保つ仕組み)やガバナンス、高速なクエリ性能を実現する統合データプラットフォームです。 メダリオンアーキテクチャ:データレイクハウスに蓄積されるデータを、品質や加工度合いに応じて段階的に整理・洗練させていくマルチレイヤーのパイプライン構造です。 このメダリオンアーキテクチャは、次の3層で整理されます。 ブロンズからシルバー、ゴールドへと進むほど、「生データ」から「使えるデータ」へ磨かれていきます。 この3層は、従来のデータ基盤の用語では、おおむね、 データレイク → ブロンズ層 データウェアハウス → シルバー層 データマート → ゴールド層 に対応します。厳密には一対一で対応するわけではありませんが、本記事では説明のしやすさのためのイメージとして捉えていただき、以降はブロンズ層・シルバー層・ゴールド層の呼び方で話を進めます。 いちばん難しいのは、実はシルバー層 3層のうち、技術的に最も手間がかかりそうに見えるのはデータ量の多いブロンズ層ですが、実際に難しいのはシルバー層です。理由は2つあります。 1.やりたい分析を意識して設計する必要がある シルバー層は「きれいに整える」だけでは終わりません。OEEを出したいのか、故障予兆を見たいのか、不良の要因を追いたいのかによって、必要な粒度(秒単位か、ロット単位か)や、どのデータを紐づけるかが変わります。分析目的を知らないまま整えると、「整ってはいるが使えないデータ」ができあがります。 2.現場の専門知識が不可欠 この停止コードは「故障」なのか「段取り替え」なのか 設備の時刻と、MESの時刻がずれているのはなぜか このセンサー値が突然ゼロになるのは、異常か、単なる停止中か ロットIDと設備IDは、どのタイミングで紐づくのか これらはデータを眺めるだけでは分かりません。現場を知る人にしか答えられない問いです。 ITチームだけでは、シルバー層はつくれない データ基盤というとIT部門の仕事と考えがちですが、シルバー層の構築にはIT部門だけでは足りません。 必要なのは次のような多彩なメンバーです。 現場のオペレーター・ライン長:データが実際の動きをどう反映しているかを知っている 生産技術・設備保全:設備の構造や停止の意味、センサーの癖を理解している 品質保証:不良の定義や検査データの意味づけを決められる データサイエンティスト/アナリスト:分析で何が必要かを示せる データエンジニア/IT:その要件を実際に実装し、運用に乗せる 業務オーナー(工場長・部門責任者):部門間で割れた定義に決着をつける 最後の「定義の決着をつける人」が特に重要です。指標定義の統一は技術の問題ではなく、部門間の合意形成の問題だからです。この点は、計画段階で十分に考慮されていないケースが少なくありません。 ヨーロッパの建築資材の製造企業様での事例 SASはヨーロッパの建築資材の製造大手、Wienerberger社にて同様の経験をしています(出典3・4)。生産ラインからのデータ収集を行いブロンズ層を構築するまではITベンダーが実施できましたが、データ分析目的であった「製造品質を維持したまま、消費エネルギーを最小化する」という経営KGIを達成しようとしたところ、必要なデータの選定やクレンジングがうまく行えずデータ分析が実施できないという問題が発生しました。そこで弊社が参画しました。 データ分析の知見が、シルバー層/ゴールド層の設計の手がかりになる ここで、分析の出口から逆算するというアプローチが生きてきます。 SASはアナリティクスのリーディングカンパニーとして50年にわたる経験を有しています。そのため、「このデータ分析を実現するには、どんなデータ項目が、どの粒度・どの関係性で必要か」という、分析が要求するデータ構造についての知見を持っています。例えば、生産設備の状態監視や品質改善といったデータ分析用途ごとに、その構造を整理した専用のデータマートを、ノウハウとして保有しています。これはメダリオンアーキテクチャでいえば、ゴールド層に相当するものです。

Artificial Intelligence | Data Management
Patrick Homer 0
The clinical data foundation wasn’t designed for the AI era

There has been no shortage of discussion about accelerating clinical development. Over the past decade, life sciences organizations have invested heavily in advanced analytics, cloud computing, automation and, more recently, AI. These technologies are changing how clinical teams work, helping them analyze information more quickly, automate processes and make decisions

1 2 3 … 329