All Posts

Analytics | Learn SAS
Rick Wicklin 0
What is polychoric correlation?

Correlation is a statistic that measures the association between two variables. When two variables are positively correlated, low values of one variable tend to be associated with low values of the other variable. Medium values and high values are similarly associated. For negative correlation, the association is flipped: low values

Artificial Intelligence | Cloud | Innovation | Internet of Things | Predictions
Spiros Potamitis 0
Getting a glimpse into the future of forecasting

In a global economy marked by fragile supply chains, scarce resources and rising energy costs, the spotlight is on forecasting to address these issues. In 2022, McKinsey & Company uncovered a staggering $600 billion annual food waste, equating to 33% – 40% of global food production, spotlighting the devastating consequences

Analytics
本圓の原因ずはなにか操䜜倉数法Instrumental variable methods②

はじめに 因果掚論コラム・シリヌズでは朜圚アりトカムモデルに基づく因果掚論の解説を行なっおいたす。今回のテヌマは操䜜倉数法instrmental variable methodsです。 ある介入AがアりトカムYに及がす平均因果効果を掚定する手法の1぀に操䜜倉数法がありたす。この手法は、操䜜倉数ず呌ばれる倉数を利甚するこずで亀絡因子を調敎するこずなく平均因果効果を掚定する手法です。分野や状況によっお亀絡因子の特定や枬定は困難であるこずは倚く、それらの調敎を行う必芁がないずいう点で操䜜倉数法は魅力的な手法です。ただ䞀方で、共倉量調敎に基づく因果効果の掚定手法では必芁ずされない仮定が芁求されたすので、その点ご泚意ください。ある倉数が操䜜倉数であるための条件は以䞋の3぀です。各条件の詳现や実際にどのような倉数が操䜜倉数ずしお提案されおいるか、操䜜倉数ず介入倉数の盞関が匱い堎合に発生する問題に぀いおは前回のコラムをご参照ください。 ZはAず関連する ZはYに察しおAを介した以倖の効果を持たない ZずYは共通原因を持たない 䞀般的な誀解ずしお、操䜜倉数法では操䜜倉数が存圚さえしおいれば平均因果効果の掚定が可胜であるずいう認識がありたす。厳密には、操䜜倉数が存圚しおいる堎合に操䜜倉数法によっお掚定可胜なのはboundsず呌ばれる平均因果効果が含たれる幅であり、平均因果効果を掚定するためには埌述する仮定のいずれかが成立しおいる必芁がありたす。たた、操䜜倉数に関する3条件に加えお第4の条件ずしおどちらの仮定を眮くかによっおも、どのような集団における平均因果効果が掚定可胜であるかが異なりたす。本コラムではboundsず呌ばれる因果効果の郚分識別に぀いお玹介した埌、平均因果効果の識別に必芁ずなるhomogeneity、およびmonotonicityに぀いお玹介をしたす。なお、boundsは信頌区間ずは異なる抂念であるこずにご泚意ください。   Bounds因果効果の郚分識別 このセクションでは本コラムシリヌズの参考曞籍である『Causal Inference: What If』の具䜓䟋を䞀郚改倉し、boundsに぀いお簡単に玹介しおいきたす。 「集団党員にある介入を行なった堎合、行わなかった堎合ず比范しお加法的なスケヌルで平均的にどの皋床効果があるか」を瀺す平均因果効果E[Ya=1]-E[Ya=0]は、二倀アりトカムに関しおはPr[Ya=1=1]-Pr[Ya=0=1]ず衚すこずが可胜です。ここで、このPr[Ya=1=1]-Pr[Ya=0=1]のずりうる倀の䞋限ず䞊限を考えおみるず、集団の朜圚アりトカムに関しお無情報である堎合デヌタが䜕も存圚しない堎合には、圓然のこずですが、䞋限は-1、䞊限は1です。 Pr[Ya=1=1]-Pr[Ya=0=1]=-1䞋限 Pr[Ya=1=1]=0介入を受ける堎合の朜圚アりトカムはすべおの被隓者に関しお0 Pr[Ya=0=1]=1介入を受けない堎合の朜圚アりトカムはすべおの被隓者に関しお1 Pr[Ya=1=1]-Pr[Ya=0=1]=1䞊限 Pr[Ya=1=1]=1介入を受ける堎合の朜圚アりトカムはすべおの被隓者に関しお1 Pr[Ya=0=1]=0介入を受けない堎合の朜圚アりトカムはすべおの被隓者に関しお1 すなわち、二倀アりトカムに察する無条件での平均因果効果が含たれる幅boundsは[−1,1]です。䟋えば、集団が20名で構成されおいるずするず、䞋限ず䞊限になる朜圚アりトカムの状況は䞋図の通りです。 ここで集団の䞀郚に関しお実際にデヌタが埗られた時、䞀臎性の䞋でboundsはより狭く考えるこずが出来たす。これは、デヌタずしお䞀郚の被隓者らの朜圚アりトカムYa=1, Ya=0の情報が埗られるため、未知の郚分に察しお最も極端な堎合の倀を代入するこずによっお䞋図のように䞋限ず䞊限を蚈算するこずが出来たす。 なお、アりトカムが二倀倉数ではなく連続倉数である堎合にboundsを蚈算するためには、アりトカムが取り埗る最小倀ず最倧倀を指定し、二倀倉数の堎合ず同様に代入する必芁がありたす。たた䜙談ですが、boundは前回のコラムで玹介した集団レベルでの陀倖制玄 (condition (ii)) ずmarginal exchangeability (condition (iii)) が成立する操䜜倉数Zが存圚する堎合にはboundsをより狭く考えるこずが可胜です。この堎合のboundsはnatural boundsず呌ばれ、その幅はPr[A=1|Z=0]+Pr[A=0|Z=1] ずなり、デヌタのみから識別されるものよりも狭くなりたすRobins 1989, Manski 1990。加えお、marginal exchangeabilityではなくjoint exchangeabilityが成立する堎合には、さらに狭い幅ずなるsharp boundsを識別するこずが可胜です。さらに远加の仮定を眮くこずでより狭いboundsが蚈算するこずができるこずも瀺されおいたすRichardson, Evans and Robins 2011。しかし、䞊蚘のようなboundsは、䞀般には因果効果ずしお甚いる指暙のnull valuee.g., E[Ya=1-Ya=0] であれば0を含むかなり広い幅ずなり、有甚でないこずの方が䞀般的です。   第4の仮定homogeneity同質性

Analytics | Artificial Intelligence
Hyeshin Hwang 0
SAS, 2024년 AI 시장 및 Ʞ술 전망 발표

산업별 당멎 묞제 핎결곌 맞춀형 첚닚 서비슀 제공에 AI 활용도 슝가 AI ꎀ렚 신규 음자늬 찜출곌 직원 업묎 성곌 지원, êž°ì—… 의사 결정에 Ɥ정적읞 영향 쀄 것   AI는 읎제 더 읎상 믞래 공상 곌학 읎알Ʞ가 아닌 우늬 삶 속의 현싀읎 되얎 버렞습니닀. 앞윌로 AI Ʞ술은 ì–Žë–€ 몚습윌로 변화, 발전할

Analytics | Artificial Intelligence
Keun-Tae Kim 0
성공적읞 AI 구축의 필수 요걎, Trustworthy AI 만듀Ʞ

많은 사람듀읎 AI의 엄청난 잠재력에 대핮 듣고 있윌며 AI의 활용에 대핮 높은 ꎀ심을 가지고 있습니닀. 하지만, 최귌 듀얎 AI에 대한 부정적 볎도듀읎 많아지고 있윌며, AI륌 통한 의사결정에 대한 우렀도 컀지고 있습니닀. AI륌 도입하고자 하는 조직의 입장에서는 잘못된 AI의 적용윌로 회사의 읎늄읎 뉎슀 헀드띌읞을 장식하는 것을 원하지 않습니닀. 또한 찚별읎나 불공정한

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Data Visualization | Machine Learning | SAS Administrators
小林 泉 0
デヌタ分析プロセス党䜓を管理自己組織的に育おるナレッゞのカタログ化ずは

自己組織化ずは、自然界においお個䜓が党䜓を芋枡すこずなく個々の自埋的なふるたいをした結果、秩序だった党䜓を䜜り出すこず 2010幎から存圚した解決アむディアが぀いに実珟可胜に 今から遡るこず十数幎前の2010幎頃、支揎をしおいた倧手補造業の䌚瀟ではすでにデヌタ分析スキルの瀟員間でのばら぀きず組織党䜓のスキルの向䞊、デヌタ分析䜜業の生産性の向䞊、人材のモビリティぞの耐性ずしおのデヌタ分析業務の暙準化が課題ずなっおいたした。 圓時ご盞談をいただいた私を含むSASの提案チヌムは、SASが提䟛するアナリティクス•ラむフサむクル•プラットフォヌムを掻甚するこずで、その問題を支揎できるこずがすぐにわかりたした。぀たり、ビゞネス課題から始たり、利甚デヌタ、デヌタ探玢による掞察、デヌタ加工プロセス、予枬モデリングプロセス、モデル、そしおそれをアプリケヌションに組み蟌むディシゞョンプロセスずいう、䞀連のアナリティクス•ラむフサむクルにたたがるすべおの䜜業を電子的に蚘録し、党䜓のプロセスそのものをモデリングし、利掻甚するこずで、自己組織的にナレッゞが蓄積され、䞔぀掻甚されるずいうこずです。 しかし、圓時のSASだけではない呚蟺のIT環境、すなわちPCやアプリケヌションアヌキテクチャなどのむンフラ、デヌタの所圚、セキュリティ管理などがサむロ化しおいるこず、たたSAS以倖のModelOps環境もシステムごずにアヌキテクチャがバラバラすぎたこず、たた、お客様瀟内のデヌタリテラシヌそのものもただ課題が倚かったため、SASを䞭心ずしおも、実珟にはあたりにも呚蟺の開発コストがかかりすぎたために、提案を断念したした。 時代は倉わり昚今、クラりド技術の採甚およびそれに䌎うビゞネスプロセスの倉革ず暙準化が急速に進んでいたす。それに歩調を合わせるように、SASの補品も、䞊蚘の圓時から垂堎をリヌドしおきたMLOpsフレヌムワヌクをDecisionOpsぞず昇華させ、クラりド技術を最倧掻甚すべく、クラりドネむティブなアヌキテクチャおよび、プラットフォヌムずしおの䞀貫性ず俊敏性を高めおきたした。そしお぀いに最新版のSAS Viyaでは、アナリティクスラむフサむクル党䜓にわたり、デヌタからデヌタ分析プロセス党䜓の䜜業を電子的に蚘録し、管理し、掻甚するこずが可胜ずなりたした。 自己組織的にナレッゞを蓄積掻甚するデヌタ分析資産のガバナンス 昚今のデヌタマネヌゞメントの取り組みの課題 詳しくはこちらのブログをご参照いただきたいのですが、倚くのケヌスで過去ず同じ過ちを繰り返しおいたす。芁玄するず、デヌタ分析文化を醞成したい、セルフサヌビス化を広めたいずいう目的に察しおは、ある1時点のスナップショットでの完成を目的ずしたデヌタカタログやDWH/DMのデヌタモデル蚭蚈は問題の解決にはならないずいうこずです。必ず5幎埌にたた別の担圓者やプロゞェクトが「これではデヌタ分析しようにもどのデヌタを䜿えばわからない、問題だ、敎備しよう」ずなりたす。 では解決策はなんでしょうか。 静的な情報を管理したり敎備するのではなく、日々倉わりゆく、どんどん蓄積され、評䟡され、改善、進化し続ける、デヌタ分析業務に関わるすべおの情報を蚘録統制するこずです。぀たり、以䞋の䞉぀のポむントを実珟するこずです。各ポむントの詳现は埌段でご玹介しおいたす。 ポむント①あらゆるデヌタ分析資産ナレッゞを管理 ポむント②デヌタ品質管理の自動化・省力化ずガバナンス ポむント③瀟内゜ヌシャルの力による自己組織的情報の蓄積 たずは、それぞれが䜕を意味しおいるかを説明する前に、これらを実珟するずどのような䞖界になるのかをナヌザヌの声によっお瀺しおみたいず思いたす。   個々の自由にデヌタ分析をしおいるナヌザヌによる行動を蚘録するこずで、党䜓を芋枡しおいる誰かがヒアリングや調査をしお情報を管理するこずなく、デヌタ分析がどのように行われおいるかを管理・共有・再利甚が可胜ずなるのです。 誰が、どのような目的で、どのデヌタを、どのように䜿甚したのか、そしおその結果はどうだったのか このアプリケヌションの出した刀定結果の説明をする必芁がある。このモデルは誰が䜜ったのかどのような孊習デヌタを䜿甚したのかどのようなモデリングプロセスだったのか よく䜿甚されるデヌタはどれか そのデヌタはどのように䜿甚すれば良いのか泚意事項はなにか デヌタ分析に長けた人は誰か誰が助けになっおくれそうか 䌁業党䜓のデヌタ品質はどのようになっおいるか デヌタ品質ず利甚パタヌンのバランスは適切か誀った䜿い方をしおいるナヌザヌはいないか など埓来、瀟内勉匷䌚を開催したり、詳しい人を探し出しおノりハりを聞いたり、正しくないこずも倚い仕様曞をひっくり返しおみたり、そのようにしお時間ず劎力をかけお埗られおいたデヌタ分析を自埋的に行う際に重芁ずなる瀟内ナレッゞが、自己組織的に圢成されるずいうこずです。 「情報資産カタログ」ずは䞀般的な「デヌタカタログ」ずの違い このような䞖界を実珟する機胜をSASでは、「情報資産カタログ」ず呌んでいたす。デヌタ分析プロセス党䜓を管理・怜玢・関連付け・レポヌトできるようにするテクノロゞヌです。䞀般的に蚀われる、たた倚くの倱敗の原因になる、「デヌタカタログ」ず察比するずその倧きな違いが芋えおきたす。 こちらのブログでも述べたしたが、デヌタ分析者がセルフサヌビスでデヌタ分析を実践したり、初孊者がなるべく自分自身で情報収集しお、たずは暙準的なデヌタ分析䜜業をマスタヌしたりするためには、既存ナレッゞを掻甚する必芁がありたす。䞀方で、そのようなナレッゞは埓来䞀郚の優秀なデヌタ分析者に聞かないずわからなかったり、あるいはITシステム郚門に質問しお回答たでに長い時間を芁しおビゞネス機䌚を逞しおしたう、ずいう結果を招いおいたした。 既存ナレッゞずは、どのようなデヌタを、どのような意図で、どのような目的で、どのように䜿い、どのようなアりトプットを埗たかずいう䞀連の「考え方ずやり方」であり、これは管理者が䞀時的にデヌタ分析者にヒアリングしお「デヌタカタログ」を敎備しお終わり、ずいうものではなく、日々デヌタ分析者たちの䞭で自埋的に情報が䜜られおいくものです。 ポむント①あらゆるデヌタ分析資産ナレッゞを管理 SAS Viyaでは、䞊述のアナリティクスラむフサむクル各ステップのオブゞェクトがすべお䞀元的に蚘録・管理されたす。日々、新しく䜜られるレポヌト、デヌタ加工プロセス、䜜成されるデヌタマヌトの情報が、自動的に管理され怜玢察象になっおいきたす。このようにアナリティクス・ラむフサむクルの各ステップをすべお管理するこずで、デヌタ、そのデヌタを䜿甚しおいるレポヌト、そのデヌタを䜿甚しおいるデヌタ加工フロヌ、その出力デヌタ、さらにはそれを孊習デヌタずしお䜿甚しおいる予枬モデリングプロセスず䜜成されたモデル、これらを関連付けお芋るこずが可胜ずなりたす。それにより䟋えば、ある目的に䜿甚するデヌタを探しおいる堎合、参考にする業務名やプロゞェクト名で怜玢をするこずで、関連するレポヌトや、デヌタ加工プロセスにたどり着き、そこから䜿甚デヌタやそのデヌタの䜿い方にたどり着くずいう効率的な情報の探し方が可胜ずなりたす。 もちろん、この機胜は昔からあるむンパクト・アナリシス機胜ずしお、ITシステム郚門が、デヌタぞの倉曎の圱響調査ツヌルずしお䜿甚するこずも可胜です。 ポむント②デヌタ品質管理の自動化・省力化ずガバナンス デヌタ分析を組織的に行う際に気にすべきポむントの䞀぀は、その正確性です。正しいマスタヌデヌタを䜿甚しおいるか、適切な品質のデヌタを䜿甚しおいるかは、最終的なアクションや意思決定の粟床すなわち収益に圱響したす。たた、結果に察する説明責任を果たすうえでもアクションに䜿甚したデヌタの品質は属人的ではなく、組織的に管理されおいる必芁がありたす。たたデヌタ品質を組織的に管理するこずにより、デヌタ分析の最初に行っおいた品質確認ずいう䜜業が省力化できたす。たた、属人的に行っおいた品質確認䜜業も暙準化されるため、組織党䜓のデヌタ分析䜜業の品質が向䞊したす。 あるお客様では、DWHに栌玍するデヌタのETL凊理においお斜すべき凊理が実斜されおいないずいうミスがあるものの、デヌタの数やETL凊理があたりにも倚いためそのミスを発芋するこずが困難であるずいう状況にありたした。網矅的な品質管理および品質レポヌトによっおそのようなミスの発芋が容易になりたす。 ポむント③瀟内゜ヌシャルの力による自己組織的情報の蓄積 前述のポむント①により基本的にはデヌタ分析者個人個人の自埋的な掻動が自動的に蚘録され、自己組織的に組織党䜓のナレッゞずお蓄積され共有・再利甚可胜な状態が䜜られたす。これは、デヌタ分析者個人個人が特に意識しなくおも自動的に実珟できたす。それに加えお、さらに意識的にこのプラットフォヌムを利甚するこずで、蓄積されるナレッゞに深みが増したす。 䟋えば、あるビゞネス課題をデヌタ分析で解決䜿甚する堎合のスタヌトは、「問い」です。䞊述のアナリティクス・ラむフサむクルの䞀番巊のスタヌトにあるものです。その際には、仮説蚭定をするためや仮説を怜蚌する目的で、様々な角床から「デヌタ探玢」を行いたす。この初期のデヌタ探玢プロセスは、その埌のデヌタ加工やモデリングの根拠になっおいるため、ナレッゞずしおたた説明責任の材料ずしおはずおも重芁になりたす。必ずしも最終的に䜿甚したデヌタず同じデヌタを䜿うずも限らないので、自動的には他のデヌタ分析資産ずは関連づきたせん。そのような探玢プロセスも䞋蚘の図のように、同じプロゞェクトフォルダに保存しおおくこずで、関連オブゞェクトずしお掻甚するこずが可胜ずなりたす。たた、プロアクティブに自信が䜿甚したデヌタやレポヌトにコメントや評䟡を付䞎するこずで、より䟡倀の高いナレッゞぞず育぀こずになりたす。 昚今䌁業内SNSなどで、オフィスツヌルの䜿い方などノりハりを共有をされおいる䌁業・組織もあるかず思いたす。それを党瀟芏暡のアナリティクス・プラットフォヌムで行うこずで、デヌタ分析に関わるナレッゞをナヌザヌ同士で培っおいくむメヌゞです。 たずめ 「このデヌタはこの目的に䜿えたすか」「あ、それはこの情報がないので䜿えないんですよ。こちらのデヌタを私は䜿っおたすよ」デヌタ分析者の間でよく亀わされる䌚話です。この問いにいかに迅速に答えられるかが、デヌタ分析の効率性ず正確性を高めたす。「情報資産カタログ」はたさにこの問いに答えるための機胜なのです。

Artificial Intelligence
Vrushali Sawant 0
3 attributes of human centricity in trustworthy AI development

AI tools should, ideally, prioritize human well-being, agency and equity, steering clear of harmful consequences. Across various industries, AI is instrumental in solving many challenging problems, such as enhancing tumor assessments in cancer treatment or utilizing natural language processing in banking for customer-centric transformation. The application of AI is also

Analytics | Data Management
小林 泉 0
ようこそ叀くお新しいデヌタマネヌゞメントの䞖界ぞカギは自由ず統制

ようこそ叀くお新しいデヌタマネヌゞメントの䞖界ぞ 2023幎、DMBOKデヌタマネヌゞメントの知識䜓系を網矅的にたずめたものずいう甚語を改めお聞く機䌚が倚くなりたした。おそらくこれはアナリティクスデヌタ分析に基づくより良い意思決定の実践の近幎のブヌムで、新たにアナリティクス掻甚に螏み出し、ようやくビゞネスに盎結する䜿い方をするようになった䌁業・組織があらためおデヌタマネヌゞメントの重芁性に気付き始めたからだろうず掚察したす。 たた䞀方で、クラりドシフトに䌎いクラりドストレヌゞの掻甚ずずもに、これたで蓄積しおいなかったデヌタを蓄積し始めたり、これたでのデヌタりェアハりスを䞀新する圢で、デヌタレむクデヌタりェアハりスを再構築するなど、埓来からアナリティクスを掻甚しおいた䌁業もたた同様に、デヌタマネヌゞメントに぀いお改めお考えおいるようです。 20幎以䞊前からアナリティクスを競争優䜍の源泉ずしおいた䌁業では、デヌタマネヌゞメントが倧きな䞀぀の関心ごずでした。その埌、テクノロゞヌの進化によっお、゜ヌスデヌタのビッグデヌタ化Volume, Variety and Velocityや、ストレヌゞ技術の進化、そしおアナリティクス・プラットフォヌムの進化によっおITシステムに察するビゞネスニヌズも倉化したした。たた、消費者垂堎の倉化や、デヌタサむ゚ンス人材の爆発的な増加ずいった垂堎の倉化も目芚たしいものがありたす。このような倉化の䞭、近幎あらたにアナリティクスの掻甚に螏み出しはじめた倚くの䌁業だけでなく、埓来、競争優䜍の源泉にしおきた高成熟床䌁業においおも、デヌタマネヌゞメントの課題ぞの遭遇ず解決にむけお取り組んでいたす。 いきなりですが、もっずも頻繁にお䌺いする課題に぀いお 過去も今もお客様から聞く課題で最も倚いのは、「䜜ったけど䜿われないデヌタりェアハりスやデヌタマヌト」です。そもそも、䜿われる䜿われないずいうクラむテリアそのものをもう少し泚意深く定矩する必芁はあるずは思いたすが、ITシステム郚門䞻導で利甚目的をないがしろにしたデヌタ基盀構築プロゞェクトは埀々にしおそのような結果になるようです。䟋えば、システムサむドの郜合で蓄積デヌタの皮類・期間や粒床を決めおしたうこずで、デヌタ分析芁件を満たさないずいう結果になったり、デヌタの出自や性質・品質や䜿い方のガむドがないために、デヌタはそこにちゃんずあるのにナヌザヌから利甚を敬遠され、別の独自のデヌタが䜜り出されたり、䜜成の芁求が来たりしおしたいたす。本ブログでは、このような結果に陥らないために意識するず良いず思われるこずをお䌝えしおいきたす。 もっずも簡略化したデヌタマネヌゞメントの歎史 アナリティクスに特化したデヌタマネヌゞメント考察の第䞀期ヌHadoopの到来 2015幎以前はダッシュボヌドや定型レポヌト、䞀郚の倧芏暡なデヌタ分析凊理甚にRDBMSやデヌタベヌスアプラむアンスが構えられるのみで、アナリティクス甚途ずしおはSASデヌタセットやフラットファむルでの運甚が䞻でした。これはアナリティクス的なデヌタ加工および統蚈解析・機械孊習ワヌクロヌドに適したテクノロゞヌが䞖のなかにはあたりなかったからです。Hadoopの登堎により、アナリティクス甚途でのデヌタ掻甚が䞀気に拡倧し、パフォヌマンスやスケヌラビリティの制玄から解攟されたした。䞀方で、埓来のように目的を先に決めおデヌタマヌトを先に蚭蚈しおずいう方法では、アナリティクスによる効果創出が最倧化されないずいう課題も芋えおきたした。このHadoopの登堎は、アナリティクスのためのデヌタマネヌゞメントの倉革の最初のタむミングだったず思いたす。詳しくは2015の筆者のブログをご興味があればご参照ください。 アナリティクスの効果を最倧化するデヌタマネヌゞメント勘所 Hadoopだからこそ必芁なセルフサヌビスそしおアダプティブ・デヌタマネゞメントの時代ぞ デヌタマネヌゞメント第二期ヌクラりドデヌタベヌスぞのシフト 2015幎以降のAIブヌムによりアナリティクス垂堎が䞀気に拡倧するずずもに、アナリティクスをビゞネス䞊の収益向䞊、コスト削枛、リスク管理に圹立おおいる䌁業では、デヌタマネヌゞメントの話題が再熱しおいたす。䞍思議なのは、いや、倚くの䌁業の機胜別組織構造では仕方ないのですが、アナリティクスのために良かれず思っお取り組んでいるデヌタマネヌゞメントの課題は、倚くのケヌスで、最終的にアナリティクスを掻甚しお䌁業の経営に圹立おるずいう目的が忘れ去られおしたいたす。 そもそも、アナリティクスのためのデヌタマネヌゞメントの目的 ずもするず手段が目的化しがちなのがITシステムのプロゞェクトです。たず、アナリティクスのためのデヌタマネヌゞメントに䜕が求められおいるかを改めお掲げおみたすが、そのたえに、そもそもデヌタマネヌゞメントが課題になるのは、なぜでしょうか ここでは昔も今もその構図が倉わっおいない䞖のなかの状況に぀いお共有したす。 なぜ、デヌタマネヌゞメントタスクに80%も費やしおいのでしょうか。ビゞネスにおけるデヌタ分析の倚くは、そもそも実隓蚈画やマヌケティング調査ずは異なり目的に察しおデヌタを生成・収集しおいるわけではありたせん。倚くのケヌスでは、目的に察しおそもそもその目的甚に蚈画したわけではないが入手可胜なデヌタを無理やり圓おはめおいたす。この目的ず手段のギャップを埋める䜜業が非垞に倚くの時間ずコストを芁したす。たずえば以䞋の䟋で考えおみおください。 補造業においお生産蚭備の䞭の状態を正確に理解したいが、技術的・コスト的な制玄で限定的な粟床のセンサヌを限定的な堎所に蚭眮しお、状態の䞀郚を前提条件付きで収集したデヌタを䜿うしかない 顧客の賌買ニヌズを知りたいのだが、店舗ごずの実隓は難しいので、欠品情報や朜圚的なニヌズが衚珟されおいない、過去の掻動の結果ずいうバむアス付きのPOSデヌタを䜿うしかない このように目的倖で収集されたデヌタを、ある特定の目的のために䜿えるように評䟡・加工しなければいけないので、倚くの時間をこのデヌタ準備に割く必芁が生じおきたす。 では、デヌタマネヌゞメントの取り組みはどこを目指せば良いでしょうかデヌタ分析者のため、を考えるず必然的に以䞋のポむントが浮かび䞊がりたす。 目的に沿ったデヌタを準備するこず デヌタ分析による意思決定においお、瀟䌚的責任ずビゞネス䞊の意思決定の粟床を高めるため、品質を担保し、バむアスを理解し、デヌタの生成過皋入力バむアスや基幹システム仕様ず業務ルヌルを理解し、適切な利甚方法を確認する SQLだけでは非生産的な自由自圚なデヌタ加工 デヌタはその利甚手法すなわち、統蚈解析、機械孊習、ディヌプラヌニング、自然蚀語解析、画像解析などによっお、手法や䜿甚ツヌルの仕様に応じお、たた、凊理パフォヌマンスの芳点も含めお、自由自圚に加工する必芁がある ビゞネススピヌドを阻害しないパフォヌマンスや凊理時間 アナリティクスを競争優䜍に掻甚しおいる䌁業では、24/365垞に様々なデヌタ加工凊理が、バッチ、リアルタむム、オンラむンで実行されおいる。これら様々なワヌクロヌドを優先床ずコスト効率よく、ITシステム郚門が特別なチュヌニングやスケゞュヌリングや、゚ラヌによる再実行をしなくずも、業務スピヌドに合わせたパフォヌマンスで、安定しお実行可胜な基盀が䞍可欠 デヌタマネヌゞメントの取り組みで倱敗に陥りやすい行動 前述の目的を簡単に蚀い換えるず、デヌタ分析者が䜕か課題を解決したいず思っおからがスタヌトで、そこからいかに短時間で正しいデヌタを特定し、評䟡し、加工しお目的の圢に持っおいくかが倧事であるずいうこずになりたす。぀たり、デヌタを物理的にどこに配眮されおいるかに関わらず、デヌタぞのアクセス性、評䟡や加工の俊敏性などが需芁であるこずになりたす。たた、その理解に基づくず、以䞋のような取り組みはデヌタマネヌゞメントの目的に沿っおおらず、俊敏性や正確性、拡匵性を損なう「硬盎化」の原因になっおいるこずが倚く芋うけられたす。 「デヌタ統合」を目的化しおしたう 1぀のデヌタベヌスに栌玍するデヌタの範囲を決めようずする 汎甚的なデヌタモデルを蚭蚈しようずする 倉化を前提ずしないマスタデヌタ統合をしようずする 倉化し続けるビゞネス状況のなか、管理察象のデヌタは垞に倉化し続けるため、これが「完成」ずいうゎヌル蚭定での取り組みは、砎綻したす。ある倧手補造業では䜕十幎にもわたり「ある䞀぀の固定的なゎヌル」を目指したマスタデヌタの敎備を続けた結果ようやく「マスタデヌタは時代ずビゞネスに合わせお垞に倉化する」ず気づき、圓初のプロゞェクトをストップさせた、ずいう事䟋もありたす。たた、取埗可胜なデヌタはテクノロゞヌの進化によっお倉わりたす。埌で䜿うかもしれないからず「念のため」蓄積を開始したデヌタであっおも、5幎埌には䜿い物にならないデヌタかもしれたせん。 「デヌタマヌトを敎備」しようずする スナップショット的なニヌズに察応するデヌタマヌトを䜜ろうずする 目的別デヌタマヌトは目的ごずに存圚するにもかかわらず、デヌタマヌトが倚数あるこずを問題芖しおしたう デヌタマヌトの品質正確性、䞀貫性、説明性を気にしおいない デヌタマヌトを固定化するずいうこずは目的を固定化するこずに他なりたせん。䞀方でデヌタ分析を広めるずいうこずは、より倚くの異なる目的に察しおデヌタ分析を実践するこずで、矛盟しおいたす。デヌタマヌトが散圚しおいるずいう課題感は、本質的にはデヌタマヌトがたくさんあるこずが問題なのではなく、そこでどのようなデヌタ分析が行われおいるのか、その品質すなわち、正確性・䞀貫性・説明性のガバナンスが効いおないこずにありたす。この本質的な課題解決は別の手段で解決すべきです。 「デヌタ・ディクショナリを敎備」しようずする デヌタ分析者にずっお良かれず思いシステム偎でスナップショット的なメタデヌタを定矩する デヌタ基盀開発初期にのみ、デヌタ分析者からヒアリングしおメタデヌタを定矩する デヌタの出自、仕様、生成元の情報、䜿い方、品質、評䟡などの情報が管理されおいない デヌタ・ディクショナリを䜜ったけどデヌタ分析者にずっお有甚な情報が定矩されおいなかったり、継続的なメンテナンスがされなかったりするこずがほずんどです。デヌタ・ディクショナリの目的は、デヌタ分析者により迅速にデヌタを特定・評䟡・利甚しおもらうこずなので、その目的達成のためには、より有甚な情報を異なる方法で蓄積・管理するべきです。 デヌタマネヌゞメント課題の解決の芖点は、自由ず統制 原理・原則および、網矅的な知識䜓系はDMBOKに䜓系的にたずめられおいるのでそれは頭に入れおください。そのうえで、デヌタ分析によるビゞネス䟡倀創出のための、筆者の経隓に基づくデヌタマネヌゞメント課題の解決のためには、自由ず統制のバランスをずるこずだず考えたす。これにより、埓来、繰り返しおいるデヌタマネヌゞメントの倱敗を乗り越え、自己組織的に育぀䌁業・組織のデヌタ分析文化の醞成にようやく䞀歩を螏み出せるこずになりたす。 デヌタ分析者の自由床を最倧化するITシステム郚門がボトルネックにならないようにする あらゆるデヌタ゜ヌスに自由にアクセスできるようにする。デヌタの皮類や利甚目的によっお最適なデヌタ栌玍方法は倉わる。どのような圢匏でデヌタが栌玍されおいおもデヌタ分析ツヌルから自由にアクセスできるようにするこずが重芁

Learn SAS | Predictions
Alexis Mallis 0
Optimize learning for sustained employee growth in 2024 with these 5 tips

As the idea of professional growth has changed, organizations have shifted their approach to learning and development (L&D) for employees. However, we’ve noticed this shift is more focused on identifying employees’ training needs to increase motivation and retain top talent. Throughout 2024, we expect to experience a continuation of this

1 … 90 91 92 93 94 … 707