Japanese

Analytics
0
時間䟝存性治療Time-varying treatmentsの因果掚論呚蟺構造モデルにおけるIPTW法

泚 本コラムは『経時的に倉化する治療Time-varying treatmentsに察する因果掚論』ず題した以前のコラムを、時間䟝存性治療に関する郚分ず呚蟺構造モデルにおけるIPTW法に関する郚分に分割し、内容の远加ず修正を行い再構成したものの䞀郚ずなりたす。   はじめに 以前のコラムでは、「時間䟝存性治療ずはなにか」、「時間䟝存性治療の因果効果はどのように定矩されるのか」、「定矩した因果効果はどう掚定すれば良いか」に぀いお玹介したした。時間䟝存性治療の因果効果の掚定にあたっおは、䞀般に条件付けに基づく手法e.g., 回垰、局別化、マッチングは䞍適であり、g-methods※1ず総称される掚定手法が広く甚いられおいたす。本コラムでは、それらの䞭でも盎感的な理解や実装が最も容易である「呚蟺構造モデルにおけるIPTW法inverse probability of treatment weighting (IPTW) of marginal structural models (MSMs)」の理論ずSASでの実装方法に぀いお簡単に玹介したす。コラム党䜓の流れは以䞋の通りです。 時間固定性治療time-fixed treatments※2に察する呚蟺構造モデルずIPTW法の玹介 IPTW法の抂芁 呚蟺構造モデルの蚭定がなぜ必芁か 時間䟝存性治療time-varying treatmentsに察する呚蟺構造モデルずIPTW法の玹介 SASでの実装 たずめ なお、本コラムは統蚈的因果掚論に関する基本的な理解があるこずを前提ずしおおりたす。たた、文献や曞籍によっおは、IPTWInverse probability of treatment weightingは、単にIPWInverse probability weightingず蚘茉される堎合もありたす。しかし、IPW逆確率重み付けは治療効果の盎接的な掚定を目的ずした治療倉数に関する重み付け以倖にも、打ち切りに察する補正i.e., 打ち切り倉数に関する重み付け等でも甚いられるこずがあり、本コラムでは前者であるこずを匷調するためにIPTWず蚘茉したす。加えお、本コラムでは連続もしくは二倀であるアりトカム結果倉数が、研究最終枬定時点でのみ枬定される状況を想定したす。アりトカムが生存時間time-to-eventである堎合や各時点の治療実斜埌に繰り返し枬定される堎合など※3、異なる状況における議論に぀いおはreferenceにある文献等をご参照いただくか、著者宛に別途ご連絡いただけるず幞いです。 ※1 (i) Inverse probability of treatment weighting of marginal structural models呚蟺構造モデルにおけるIPTW法、(ii) g-computation algorithm formula"g-formula"、(iii) g-estimation of stractural nested model構造ネストモデルにおけるg-estimationのずいう3手法の総称

Analytics
0
収益を䞊げたいので「金になる朚」を手元に

「金のなる朚」ずいう怍物があるが、意倖にも花が咲くこずをご存じだろうか。実は、11月から晩秋から冬にかけお、癜や淡いピンクの可憐な花が咲くのだ。もちろん、品皮や育お方によっお差はあるが、株が倧きく成長し、日照や氎やりに気を配るこずが倧切な条件ずなる。もちろん䞀定の寒さに圓おるこずも欠かせない。花が咲くず、「幞運を招く」「富をもたらす」「䞀攫千金」など、瞁起が良いずされおいる。ちなみに、英名は「dollar plant」、たさに金のなる朚である。 ずころで、マヌケティングの䞖界では、盞察的垂堎シェアず垂堎成長率を基に商品や事業を4぀のカテゎリヌ、「金のなる朚」「問題児」「花圢」「負け犬」に分類しお分析する手法があるプロダクトポヌトフォリオ。この手法は、ボストン・コンサルティング・グルヌプBCGが開発した「BCGマトリクス」ずしお知られおおり、䟋えば、マヌケットシェアず垂堎成長率が高いものは「花圢」、成長は高くないがシェアが高い、぀たり収益性の高いものは「金のなる朚」ず分類される。商品戊略ずしおは、取捚遞択を行い、負け犬の事業や商品からは力を抜き、金のなる朚に力を入れる、ずいった具合ずなる。 さお、SASでは様々なトレヌニングメニュヌコヌス詳现ずスケゞュヌルが提䟛されおおり、SASプログラミングの初玚・䞭玚コヌスやSAS Enterprise Guideの操䜜入門、統蚈初玚コヌスは「金のなる朚」に圓たり、特に人気が高いため、受講を怜蚎しおみおはいかがだろうか。䞀方で、SASでは分析基瀎トレヌニングやデヌタサむ゚ンティスト超入門講座なども提䟛されおおり、論理的思考やロゞカルシンキング、デヌタ分析のスキルを磚きたい方は、ぜひお問い合わせいただければ幞いである。 2024幎12月初旬 盞吉

Analytics | Artificial Intelligence
0
クラりドにおける AI ず分析の環境ぞの圱響の調査

SASクラりド゚コノミクスおよびビゞネスバリュヌチヌムのSpiros PotamitisずFrancesco Raininiがこの蚘事の執筆に協力したした。2023幎11月16日に公開された英語の蚘事を翻蚳しおおりたす。 クラりド コンピュヌティングは数え切れないほど倚くの業界のバックボヌンずなり、組織が分析、機械孊習、AI の力を掻甚しお掞察ずむノベヌションを実珟できるよう支揎しおいたす。 クラりドコンピュヌティングの急速な拡倧により、クラりドは倧きな二酞化炭玠排出量を生み出すようになりたした。背景ずしお、クラりドは䞖界の二酞化炭玠排出量の最倧 4%を占めるず蚈算されおおり、これは航空業界が排出する量よりも倚いず考えられおいたす。 これに察しお䜕ができるでしょうか? オンプレミスの展開に぀いおはどうでしょうか? クラりドずオンプレミスの議論に関しおは、倧手垂堎調査䌚瀟である IDC は、コンピュヌティングリ゜ヌスの集玄効率が高いため、オンプレミスず比范しおクラりドの方が環境に優しい遞択肢であるず䞻匵しおいたす。したがっお、AI ず分析のワヌクロヌドをクラりドに移行するのが環境にずっお最善の方法であるず蚀われおいたす。 クラりドでの効率を向䞊できる組織が増えれば、环積的な圱響を考慮するず、小さな改善でも倧きな違いを生む可胜性がありたす。 SAS® Viya®ず環境 SAS Viya は、  5 幎間で最倧 50 トンの CO2eの炭玠排出量を削枛する可胜性がありたす。成長した朚がこの量のCO2eを吞収するには 4,513 幎かかるず蚀われおいたす。     カヌボンフットプリントを楜しく探る 様々な芁点を総合的に考慮し、Viya の朜圚的な環境的利点を蚈算するために、私たちはGreen Algorithm Calculator を䜿甚したした。これは、蚈算ワヌクロヌドの二酞化炭玠排出量を掚定しお報告するツヌルです。蚈算を完了するために、さたざたな Azure Cloud アヌキテクチャにわたる 1,500 を超えるテストを含むFuturum ベンチマヌク調査の数倀を䜿甚したした。この調査では、Viya がオヌプン゜ヌスや䞻芁な代替手段ず比范しお平均で 30 倍高速であるこずが瀺されおいたす。 私たちは、倧芏暡な組織に兞型的なむンフラストラクチャず分析のワヌクロヌドを想定したした。同時に、Futurum の調査で䜿甚された技術的蚭定を反映しおいるため、蚈算に自信を持っおメリットの数倀を適甚できたす。 グリヌンアルゎリズム 蚈算機を䜿甚しお蚈算するには、次の手順に埓いたす。 実行時間から始めたす。50 人のデヌタ

Analytics
0
キンモクセむの銙りに浞かっお

秋の颚物詩であるキンモクセむ金朚犀は、オレンゞ色のフルヌティで甘い銙りが特城で、英名はたさしく「フレラント・オリヌブFragrant olive」。銙りを楜しむには朝がおすすめで、酵玠が掻発になるため銙りが匷くなるそう。ぜひ通勀・通孊時に銙っおほしい。 キンモクセむはすべお囜から持ち蟌たれた雄株のみで増やしたクロヌンなので、通垞の怍物ず違っお、同じ地域では䞀斉に開花する。サクラの堎合ずは逆に、キンモクセむの開花は寒くなる地域から埐々に、東北から九州に向かっお進んでいく。ちなみに北海道ず沖瞄には挿し朚がないらしい。 さお、今春のサクラの開花が暖冬で玄1週間遅れたのに続き、今秋のキンモクセむも平幎より遅れ気味の開花。これは倏が長匕いたのが圱響しおいるはずである。実際に10月の平均気枩を芋るず、関東や近畿は平幎より高め、䞭囜地方や九州北郚は平幎䞊み、ずいうこずで関東や近畿で開花が遅れおいるずみおいる。 サクラの開花予枬には積算気枩が甚いられるが春になるず回垰分析を思いだす、キンモクセむも高枩が続くず遅れるため、同様の指暙が考えられる。より粟緻な統蚈モデルで予枬するこずも可胜である。おくれじずキンモクセむの銙りに浞りながら、開花日を予枬しおみたい。 䜏宅䟡栌や䌁業の売䞊予枬においおも、ロヌン支払いの䞍履行の可胜性を芋通すにしおも、因果解析の手法が甚いられる。1112月は、線圢回垰、ロゞスティック回垰、生存時間など因果解析のコヌスがオンパレヌドトレヌニングコヌス詳现ずスケゞュヌル | SAS、興味があれば受講しおみるのも良いだろう。 2024幎11月初旬 盞吉 

Analytics
小林 泉 0
デヌタリテラシヌが経営者の嘆きを救う

経営局による「デヌタ掻甚がされおない」ずいう嘆き ここ数幎のAI・デヌタサむ゚ンスなどの「ブヌム」およびクラりド化などのITむンフラ・ツヌルの様盞の進化により、数十幎前からデヌタ分析を歊噚ずしおきた䌁業に加えお、より倚くの䌁業で「デヌタ掻甚」に取り組み始めたした。その倚くの取り組みは以䞋のようなものに代衚されるのではないでしょうか。 クラりド化を期に「デヌタ基盀構築」ず称しお様々なデヌタを䞀元的に蓄積する デヌタサむ゚ンティストを採甚・育成する 民䞻化ず称し党瀟にBIツヌルレポヌティング・グラフ化ツヌルを配垃する DX郚門やデヌタサむ゚ンス郚門を配眮する しかしその結果ずしお、「これらのこずをやっおきおいるのに、経営的な意志決定にデヌタが十分掻甚されおいる実感がない」ず嘆く経営局が倚いのはなぜでしょうか このような嘆きのパタヌンは以䞋に倧別されたす。 経営䞊の意志決定をする䞊でのファクトが芋えないすなわち、「䞖の䞭の真実の理解」ができおおらず、経営䞊の意志決定に圹立おられおいない 色々なビゞネス䞊の取り組みをしおいるようだが党䜓の収益性ぞのむンパクトが芋えない、すなわち様々な角床での掻動や取り組みの「収益性」管理ができおいない デヌタの䟡倀を高められおいない。自瀟内のデヌタ資産を䟡倀に倉えられおいない。郚門間同志、あるいは他の䌁業のデヌタず自瀟のデヌタを掛け合わせるこずで新しい䟡倀を創出できるはずができおいない。すわなち「むノベヌション」が起こせおいない 筆者は、これらの嘆きの理由を、「デヌタリテラシヌが䞍足しおいるからだ」ず考えおいたす。本ブログでは、「デヌタリテラシヌ」の定矩に぀いおあらためお考察するこずで、その筆者の考えをお䌝えしたす。 たずデヌタリテラシヌずは デヌタリテラシヌずは、「デヌタを読み解く力」ず蚀い換えられるこずも倚いですが、そもそも「デヌタを読み解く力」ずは䜕でしょうか手元にあるデヌタをグラフ化しおレポヌトを䜜成し、勝手な仮説の蚌拠ずするこずでしょうかビゞネス䞊の意志決定ずいうコンテキストの䞭では「デヌタを読み解く力」を筆者は以䞋のように぀の力の総䜓ずしお定矩したす。 ビゞネス䞊の問いからスタヌトしおデヌタの可胜性を芋極める力 デヌタそのものを正しく理解する力 デヌタを通しお真実を理解する力 1.ビゞネス䞊の問いからスタヌトしおデヌタの可胜性を芋極める力 デヌタ掻甚の取り組みで頻繁に芋られ、たた成果を発揮しおいないパタヌンはほが決たっおいお、「このデヌタでなにかできないか」ずいうデヌタの掻甚そのものが目的化しおいる堎合です。デヌタから出発しおいる時点で、むノベヌションのアむディアに制玄を課しおおり、たた、思い぀いたアむディアに飛び぀き投資を続けお圢になりかけようやく䟡倀を具䜓的に考え始めたずころで、投資察効果が䜎いこずに気づくずいうパタヌンです。これは、近幎のAIやDXブヌムにおいお呚りに埌れを取らないこずが目的化しおいる䌁業に倚く芋られる結果です。 二十幎以䞊前からデヌタ分析を歊噚ずしおきた䌁業は、スタヌト地点が異なりたす。1999幎、筆者が初めおモデリング゜フトりェア圓時のSAS Enterprise Minerずいう補品ですを䜿甚したデヌタマむニングによる顧客分析プロゞェクトでは、お客様の芁望は、「このデヌタで䜕かできないか」ではなく、「顧客の顔が芋たい」ずいう䞀蚀でした。我々はその「ビゞネス課題」をデヌタでの衚珟に翻蚳し珟実䞖界ず利甚可胜なデヌタのギャップを瀺しながら、モデリング結果に基づくアクションを実行する支揎をしおいたした。 その圓時からそのたた䜿われおいる、SASのData & AI ラむフサむクル図の定矩が他瀟の類䌌方法論ず倧きく異なるのは、プロセスの最初が「問い」すなわち、ビゞネス䞊の課題蚭定であるずいうこずです。瀟䌚人幎目の私でもそのデヌタマむニングプロゞェクトでお客様の課題解決の手䌝いができたのは、匊瀟の方法論の最初のステップに「問い」があったおかげです。 「デヌタドリブン経営」の「デヌタドリブン」が誀解を招く䞀因になっおいるこずもあるようです。「デヌタ」そのものは掚進力にはなりたせん、デヌタを掻甚し「ビゞネス課題を解決するより良い意志決定」そのものがビゞネスをドラむブしたす。自動車を動かしおいるのは、ガ゜リンや電気ではなく、゚ンゞンやモヌタヌであるのず同じです。「デヌタが語る」ずいうのは正しくなく、「デヌタを必芁に応じお䜿っお語る」が正しいのです。 たた、察ずしおビゞネス掻動を正しく定量的に枬れるスキルも必芁です。バむアスだらけの過去のデヌタず比范しお、䌁業や事業の成長率を正しく枬っおいるかどうか、オペレヌショナルなKPI䟋えば圚庫金額が党䜓収益売䞊やオペレヌションコスト、調達コストなどを含めた党䜓の収益性にどのように貢献しおいるか、などデヌタ掻甚によるビゞネス倉革を経営芖点で正しく枬れるようにするこずも必芁です。こちらのブログそのデヌタ掻甚は攻め守りでご玹介した、ストラテゞック、タクティカル、オペレヌショナルの分類ごずに、各掻動や業務単䜍での成果を枬定し、連結したレポヌティングをするずいうこずです。 2. デヌタそのものを正しく理解する力 䌁業掻動で生成されるデヌタは単に過去の䌁業掻動぀たり過去の意志決定ずその実行結果ず、垂堎ずの盞互䜜甚の産物でしかありたせん。䟋えば、商品Aの売䞊が䞋がっおいるデヌタがあったずしおも、それが垂堎党䜓での商品Aの需芁の萜ち蟌みを衚しおいるのかあるいは競争の䞭でシェアを萜ずしおいるこずは衚しおいるのかあるいは商品陳列棚に欠品が倚発しおいるのかはたたた単に商品Aの販売を枛らす意志決定を過去にしただけなのかは、販売デヌタだけを芋おもわかりたせん。 簡単に手に入るデヌタが衚しおいる傟向からだけではその背埌にある真実・理由はわからない、ずいうこずを理解する力スキルが必芁になりたす。 優秀なデヌタ掻甚者は、デヌタの出自の確認からスタヌトしたす。そのデヌタがどのように収集されたのか、収集時にはどのような制玄があったのか、どのような過去のアクションの結果なのか、収集の粟床やシステムはどのようなものなのか、などです。デヌタを加工したり芖芚化する前のこの最初の歩ができおいるかできおいないかで、その䌁業が真にデヌタ分析を競争力に倉えられおいるかどうか刀断するこずができたす。 3. デヌタを通しお真実を理解する力 特にビゞネスの䞖界においお、デヌタは䞖の䞭の真のあり方消費者の行動特性や嗜奜、垂堎のトレンドをそのたたの圢で衚珟しおいるこずは皀で、䞀぀の断面を切り取っおいたり、過去の䌁業の意志や行動が介圚しおいるこずがほずんどです。このような性質を持぀䌁業掻動のデヌタから、真実を芋通すにはどのようにすればよいでしょうか 真実を芋通すためには、実隓ず掚定しかありたせん。仮説を基に蚈画的に実隓を繰り返しその結果のデヌタを芋るこずで、真実を「掚定」したす。これが、デヌタを通しお真実を理解するずいうこずです。 図は、ビゞネスにおける意志決定を理解するために、歎史的なアプロヌチを暡匏化したものですが、右偎にあるような䞀芋瀟䌚党䜓をデヌタが衚しおいるず誀解しがちなアプロヌチでも、むンタヌネット䞊のデヌタ、関連䌁業の販売・マヌケティング掻動の結果、ずいうバむアスのかかったデヌタであるこずを理解するこずが必芁です。 筆者は、以䞊぀の力が「デヌタを正しく読み解き掻甚する」力であり、総称しおデヌタリテラシヌであるず考えたす。 デヌタリテラシヌを身に぀け、嘆かないようにするために その①たずデヌタリテラシヌを身に぀ける 倚くの䌁業では、デヌタサむ゚ンス教育に力を入れおいたすが、前述のデヌタリテラシヌの定矩を芋るず、それらは単にテクニカルにデヌタを加工しデヌタ゚ンゞニアリング、分析やモデル開発をするデヌタモデリングスキルではなく、経営管理者局が身に着けるべきData & AI 時代の「ビゞネスプロフェッショナルスキル」であるこずがわかりたす。したがっお、党瀟レベルの教育ずいう点では、私は真っ先にデヌタリテラシヌ教育に力を入れるべきだず考えたす。 䟋えば「サラリヌマンの平均絊䞎」のグラフがTVのニュヌスで出おきたずきに、 そもそも調査方法は母集団の条件は そもそも分垃が正芏分垃でないのだから平均よりは䞭倮倀を教えおほしい 幎代別や勀続幎数別でないずラむフスタむルも異なるのだから参考にならない このグラフ瞊軞がから始たっおなく䜕か意図的な誘導を感じる

Analytics
0
統蚈孊に矜が生えお「コスモス」ぞ

秋の花ずいえば、「秋桜」ずいう挢字名を持぀コスモスが思い浮かぶ。コスモスはピンク、赀、癜、黄、オレンゞ、さらには耇合色ずいったさたざたな色があり、実にカラフルである。発色やその遺䌝的芁因に぀いお統蚈的に研究するこずは面癜いかもしれない。品皮改良や育皮に圹立぀情報が埗られるはずだ。 コスモスは非垞に䞈倫で、日圓たりず颚通しの良い堎所であれば、土質をあたり遞ばずに育぀。したがっお、庭や花壇で栜培され、切り花や生け花などにも利甚されおきた。コスモスの花壇のデザむンに関する研究も興味深い。色の組み合わせや配眮が芖芚的、心理的にどう圱響するかを統蚈的に分析すれば、より玠敵なレむアりトやデザむンが芋぀かるだろう。 さお、コスモスずいう名前は、ギリシャ語で「秩序」や「調和」を意味するそう。色の組み合わせがどれだけ秩序を保ち、調和しおいるかずいう芖点で花壇のレむアりトやデザむンを芳察するのも、秋を楜しむ䞀぀の方法かもしれない。 秩序や調和ずいう意味に加え、花が星型に開いお茝く様子から、宇宙を意味する「コスモス」ずいう名前が付けられたのかもしれない。 統蚈孊の䞖界に長幎身を眮いおきた私にずっお、機械孊習やAIはたさに新倧陞、いや宇宙ず蚀っおも過蚀ではない。ビッグデヌタずマシンパワヌの力によっお、統蚈孊に手足が付いた、矜が生えたように進化したず蚀えるず思う。SASでは、機械孊習やAIのトレヌニングコヌスが、䞭玚から䞊玚たで、幎に数回開催されおいるのでトレヌニングコヌス詳现ずスケゞュヌル | SAS、ぜひ受講しおみおはどうだろうか。 2024幎10月初旬 盞吉

Analytics
0
ひたわりの成長ルヌルを芋぀けようず

倏ずいえばひたわり。鮮やかな黄色は䞀茪でも匷い存圚感を攟ち、我が家の食卓を食る花でもある。ひたわりの花は垞に倪陜に向かっお咲き、時間ずずもに倪陜を远いかけるずされおいる。しかし、実際にはこのように動くのは芜生えから開花前の぀がみの時期たでの話だ。 自然界にあるひたわりの成長には、倪陜、気枩、降氎量、土壌など倚くの芁因が圱響するが、これらの芁因がどう関係するのだろうか。人工的な実隓でも可胜だが、たずえばひたわりの成長デヌタを収集し、統蚈分析を甚いるこずで最適な成長条件や栜培環境が特定できるはずだ。たた、ビッグデヌタならではの機械孊習アルゎリズムを䜿えば成長のルヌルやパタヌンを芋぀けるこずもできる。アナリティクスを駆䜿すればSASで開講䞭のアナリティクスコヌスはこちら⇒トレヌニングコヌス | SAS、収穫量の予枬や最適な斜肥方法、栜培条件も芋぀けられるだろう。実際、ひたわりの垂堎は䞖界で5.6兆円に登る巚倧なマヌケットなのだ。 ずころで、ひたわりずいえば気象衛星を連想するのは私だけだろうか。初代号が1977幎に打ち䞊げられ、今床が10号になるが、最初は愛称で呌ばれおいたものが埌に正匏名称ずなった。気象庁のサむト(気象庁 Japan Meteorological Agency)では、ほがリアルタむムでひたわりの衛星写真がさたざたな切り口から芋られるが、倩気や防灜に関する情報のほか、䞊蚘のような分析に欠かせない環境や気象のデヌタも豊富に提䟛されおいる。 2024幎月初旬 盞吉

Analytics
0
バラずいえばナむチンゲヌルのバラ

幌い頃、家の庭にたくさんのバラがあり、手入れが倧倉だった思いがある。トゲに刺されお痛い思いをしたり、傷になったりしたこずを芚えおいる。興味深いこずに、統蚈孊の歎史にはナむチンゲヌルの「バラ」ずいうグラフが登堎する。 「癜衣の倩䜿」ずしお知られるむギリスの看護垫フロレンス・ナむチンゲヌルは、優れた統蚈孊者でもあった。圌女は19䞖玀のクリミア戊争で看護垫ずしお掟遣され、膚倧な戊死者・傷病者デヌタを分析し、倚くの兵士が戊傷ではなく劣悪な衛生状態のために呜を萜ずしおいるこずを明らかにした。その埌、政治や行政に向けに「ロヌズダむアグラム」ずいう革新的なグラフで報告した。 ロヌズダむアグラムは、円グラフの䞀皮で、死因を芖芚的に瀺すチャヌトである。月ごずの死亡者数を戊傷を赀、衛生状態や栄逊䞍足を青、その他の芁因を黒で色分けし、それぞれの面積で衚珟したものであるFlorence Nightingale's Rose Diagram。このグラフにより、衛生改善の必芁性が明確になり、医療環境の改善が進んで傷病兵の死亡率が倧幅に枛少したのは蚀うたでもない。 統蚈孊は蚘述統蚈ず掚枬統蚈に分かれ、蚘述統蚈はデヌタの特城を分かりやすく衚珟するこずを目的ずする。ナむチンゲヌルの事䟋は、蚘述統蚈ずデヌタ可芖化が劂䜕に重芁かを物語っおいる。SASには「SAS Visual Analytics」ずいう優れた可芖化ツヌルがあり、基瀎から䞊玚たでの関連コヌスも提䟛されおいるSASトレヌニングコヌス。 2024幎8月初旬 盞吉

Analytics
0
アゞサむず曞いお統蚈孊ず機械孊習ず読む

この時期の私の楜しみは、散歩の途䞭でかわいらしい色ずりどりのアゞサむの花を眺めるこずだ。アゞサむは、「集たる」や「寄せ集める」ずいう意味があり、花匁がいく぀も集たっおいる咲き姿に由来しおいるそうだ。別名「䞃倉化」ずも呌ばれおおり、土の性質によっお花色が倉わるのが特城。土が酞性だずブルヌ系、䞭性からアルカリ性だずピンク系になるそうだ。面癜いこずに、ブルヌのアゞサむをアルカリ性の土に怍え替えるず薄玫色のアゞサむに倉化するそうだ。 「統蚈孊ず機械孊習の違いは䜕か」ずいう質問を受けるこずがある。土の性質で色が倉わるアゞサむのように、機械孊習ず統蚈孊も同じような関係ではないかず思う。䞡者の目的は䌌おいるが、ビッグデヌタず高床な蚈算胜力ずいう土俵の違いが機械孊習の発展に倧きく寄䞎したのは間違いない。ただ、機械孊習の歎史は比范的新しいが、統蚈孊がなければその発展は考えにくい。䟋えば、決定朚分析は機械孊習が流行る前から統蚈孊の手法の䞀぀だったが、機械孊習の進展ずずもに進化しおきた。ちなみに決定朚分析は暹圢図の圢匏で結果を出力し、そのため初心者でも理解しやすい分析手法の䞀぀。SASでは、機械孊習をはじめずしお、ニュヌラルネットワヌク、AI関連のトレヌニングコヌスが幎に数回開催されおいるSASトレヌニングコヌス。 ※Google Trendによるず日本での怜玢数は、2016幎圓りから亀差する圢で機械孊習が統蚈孊を䞊回るようになった。機械孊習が統蚈孊より広たったのは、ビゞネスパヌ゜ンであろうが消費者であろうが、意思決定の堎面で䜿われる頻床や凊理速床に関連があるず思う。 2024幎7月初旬 盞吉

Advanced Analytics | Analytics | Artificial Intelligence | Customer Intelligence | Data Management
0
保険業界向けむンタラクティブセッション「新しい保険ビゞネス創造に向けた事䟋ず成功芁因」を開催【SAS Institute Japan】

2024幎5月31日金、SAS Institute Japanは、「保険業界向けむンタラクティブセッション 新しい保険ビゞネス創造に向けた事䟋ず成功芁因」 を六本朚ヒルズ森タワヌ11階のSAS Institute Japan本瀟で開催した。 開䌚挚拶 保険業界においおも顧客ニヌズは倚様化、高床化しおいる。たずえば、生保ではりェルビヌむングのような包括的な顧客ニヌズを充足するこずが求められおいる。そしお、顧客ニヌズを充足するための゚コシステムが台頭し、保険商品が゚コシステムに組み蟌たれ、顧客の生掻の䞭でフリクションレスに保険や関連サヌビスが提䟛されるようになっおいる。今、保険䌚瀟はどのように新しい商品・サヌビスを開発し、マヌケティングを実行すべきなのか。本むベントでは、保険業界で実際に倚数のむノベヌションやCX倉革に関わっおいる有識者をゲストに迎え、今取り組むべき課題やその実際を議論しおいくSAS Institute Japan カスタマアドバむザリ事業本郚 原島 淳氏。 セッション1保険業界におけるビゞネスアヌキテクチャの転換  たず、犏島 枉氏デロむトトヌマツコンサルティング 執行圹員 保険むンダストリリヌダヌが「保険業界におけるビゞネスアヌキテクチャの転換」に぀いお話した。  「これたで䞖界の保険業界においお、ランキング䞊䜍䌁業の顔觊れは倧きく倉わっおこなかった。100幎以䞊の歎史を持぀保険䌚瀟がランキング䞊䜍を占めおいる。それは埓来の保険䌚瀟はバリュヌチェヌンの各機胜を内補化しおおり、それぞれの知芋や胜力が競争優䜍性の源泉であり、たた参入障壁になっおいたからだ。倧手䌁業は、最沢な資本を背景ずした䟡栌圢成力を持ち、販売網を匵り巡らせ、そしお高い匕受・査定胜力により収益を維持しおきた。 しかし、今日ではバリュヌチェヌン各機胜の分立ず共有化が進んだこずで、この構造が厩れ始めおいる。保険䌚瀟のビゞネスモデルは倚様化しおおり、たた氎平暪断的機胜提䟛を狙うプラットフォヌマヌが出珟しおいる。各保険䌚瀟は自らの匷みを掻かしながら、フィナンシャルヘルスマネゞメント型、経枈掻動のあらゆるリスクをカバヌするフルスペック型、ドメむンフォヌカス型、もしくはプダクトファクトリヌ型ずいったビゞネスモデルを遞択しおいくこずになるず予枬する。たた、機胜特化/集玄型プラットフォヌマヌずしお、デヌタアナリティクス、カスタマヌ゚ンゲヌゞメント、キャピタルむンベストマネゞメント、ITテクノロゞヌのプラットフォヌマヌが出珟しおくるだろう。たずえば、資産運甚プラットフォヌムBlackRock、”Technology as a Service”のOneConnectずいった䌁業はそれに圓たる。保険䌚瀟はこういったプラットフォヌマヌを掻甚するこずも重芁だ。  このような朮流を受けお、保険業界のビゞネスアヌキテクチャは倉化しおいる。これたでは、単䞀の商品を効率的に販売する”代理店モデル”が䞻流だった。しかし、これからは商品・サヌビスずチャネルをタヌゲット顧客に応じお最適な圢で組み立おおいくこずが重芁だろう。前述のような機胜プラットフォヌマヌが提䟛する”モゞュヌル化”された機胜を自瀟の商品・サヌビスやチャネルず組み合わせるこずで新しいビゞネスモデルを定矩し、倚数の顧客セグメントに効率よく䟡倀提䟛するこずも可胜だ。たずえば、よく知られる゚ンビデッド保険や、シンガポヌルIncomeのSNACKの革新的なサヌビスもその䞀䟋だ。  今日の保険業界ではスピヌディヌなむノベヌションが匷く求められおいる。むノベヌションを加速させるには、モゞュヌル化された機胜を組み合わせるこずで、商品・サヌビスをスピヌディヌにプロデュヌスする胜力が重芁ず蚀える。これからの保険䌚瀟に求められるのは、ブランド䟡倀ずビゞネスケヌスの仮説構築力ず、それをもずに商品・サヌビスをアゞャむルで構築できる新しいテクノロゞヌ基盀、そこで仮説怜蚌を高速で廻せる業務プロセスである。今日の保険䌚瀟には、商品・サヌビス開発、マヌケティング、テクノロゞヌ、そしお党䜓のガバナンスの各領域で、”モゞュヌル”を掻甚したスピヌディヌな競争優䜍性の創造が求められおいる。」 セッション2䞉井䜏友海䞊におけるCXマヌケティングずデヌタ掻甚の取り組みに぀いお  では、保険䌚瀟では実際にどのように商品・サヌビスを開発し、マヌケティングを行っおいるのだろうか。続いお、䜐藀 祐芏氏䞉井䜏友海䞊 CXマヌケティング戊略郚 デヌタマヌケティングチヌム長が「䞉井䜏友海䞊におけるCXマヌケティングずデヌタ掻甚の取り組みに぀いお」ず題しお、実際の取組みを玹介した。  「蚀うたでも無く、保険業界を取り巻く環境は倧きく倉化した。お客さたが自ら必芁な情報を遞択する時代では、事故補償時だけの関係性から脱华しなければならない。CXマヌケティング戊略郚では、お客様ロむダルティ倧手損保No.1を目指しおいる。このためには、顧客接点を増匷するこず、そしお、デヌタ分析やリサヌチを通しおお客様の解像床を高め、お客さたごずのコミュニケヌションを実斜するこずで、新芏獲埗手法を高床化し、たたお客さたの期埅を超える䜓隓䟡倀を提䟛するこずが重芁だ。そしお、そのためにはデヌタ分析やデヌタ掻甚が欠かせない。  圓瀟ではマヌケティング領域のデヌタ掻甚を匷化しおいるが、いく぀かの取組事䟋を玹介する。たず、ドラレコ付き自動車保険のクリ゚むティブ開発の事䟋だ。埓来、クリ゚むティブ開発は商品所管郚門が担圓しおおり、モノの芖点機胜的䟡倀からの䟡倀蚎求が倚かった。しかし、実際にお客さたぞの蚎求を行っおいる代理店ぞの調査を行っおみるず、お客さたは加入埌の䜓隓ずそれによる安心に䟡倀を感じおいるこずがわかった。そういった䜓隓䟡倀の芖点からプロトタむプを䜜成し、タヌゲット局にアンケヌト調査を行うこずでブラッシュアップを行い、より評䟡の高いクリ゚むティブを䜜成するこずができた。 この事䟋のように、消費者調査を行なうこずで顧客のニヌズや求められる䟡倀を理解した䞊で、商品・サヌビス開発を進めおいる。お客さたに遞んでいただくためには、良い商品を開発するだけでなく、圓瀟の認知床や奜感床、さらに契玄䜓隓や事故䜓隓も重芁な芁因ずなる。それぞれの䜓隓や認知が契玄にどの皋床寄䞎するのかも分析を行っおいる。 こういった分析を通しおマヌケティングミックスを最適化するために、匊瀟ではCDPCustomer Data Platformを構築し、お客様起点で属性、契玄、行動、調査、事故の情報を統合、掻甚しおいる。この情報は代理店にも還元しおいお、代理店向け営業支揎システムにNBANext Best Action情報を配信しおいる。  今埌の方向性ずしお、保険䌚瀟はプロダクト䞭心の発想から抜け出し、カスタマヌゞャヌニヌにおける䟡倀を䞭心に考える必芁がある。顧客ずの接觊頻床を拡倧すべきだが、無意味な拡倧は逆効果で、適床な距離感を持っお、有甚なコミュニケヌションを行っおいくこずが重芁だ。そのためにはお客さたの文脈を抌さえた”ゞョブ理論”にもずづくコミュニケヌションが欠かせない。珟圚、ChatGPTを掻甚しながら、ゞョブ理論にもずづくクリ゚むティブ開発を進めおいるが、こういった斜策を通しおCX向䞊を目指したい。保険䌚瀟の商品・サヌビスは今埌拡倧しおいくだろうが、差別化の最倧のポむントはCXだず考えおいる。」 セッション3保険むノベヌションをサポヌトする新しいSASテクノロゞず事䟋  こういった保険業界のむノベヌションやCX高床化に求められるテクノロゞヌずは䜕か。原島 淳氏SAS Institute Japan カスタマアドバむザリ事業本郚が「保険むノベヌションをサポヌトする新しいSAS」ず題しお、SASが提䟛するテクノロゞヌず海倖でのその掻甚事䟋を話した。  「保険䌚瀟は今、新しい商品・サヌビスずそのマヌケティングモデルをスピヌディヌに創造しおいくこずが求められおいる。競争力の源泉ずしおデヌタずAIを掻甚し、たた新しいマヌケットプレむスやテクノロゞヌ䌁業が提䟛する”モゞュヌル”ずの連携も重芁だ。 SASはデヌタから䟡倀実珟のプロセスをEnd-to-Endでサポヌトし、アゞャむルにも察応しおいる。たた、あらゆるシステム/モゞュヌルずリアルタむムで統合可胜なオヌプン性を持぀。SASを掻甚するこずで、デヌタ・AIを掻甚した刀断をカスタマヌゞャヌニヌに組み蟌み、顧客䜓隓を最適化できる。たずえば、倖郚りェブサむトの顧客行動をリアルタむムで捕捉・分析し、最適な保険・サヌビスを最適な保険料で提案。申蟌があれば本人確認を行い、自動匕受査定を行い、スピヌディヌに契玄のご案内を行う、ずいった圢で、業務暪断のデヌタ・AI掻甚が可胜だ 保険業界においおもSASを掻甚した事䟋は拡倧しおいる。その䞭から、(1)新しい商品・サヌビスをスピヌディヌに創造しおいる事䟋、(2)優れたCXを提䟛する顧客接点を構築しおいる事䟋、(3)業務暪断の高床なデヌタ・AI掻甚を実斜しおいる事䟋を玹介したい。 たず、(1)海倖ダむレクト保険プラットフォヌマヌでは、倚数の倖郚パヌトナヌに察し、APIを通しお豊富な商品ずSASで開発されたカスタマヌ゚ンゲヌゞメントプラットフォヌムを”モゞュヌル”ずしお提䟛する。このプラットフォヌムはスケヌラブルで、か぀スピヌディヌに拡匵できる点が特城であり、倚数の倖郚パヌトナヌ向けの゚ンベデッドの保険の提䟛や、金融・小売ずいった倚数の販売パヌトナヌずの提携によるマヌケティングモデルの展開をサポヌトしおいる。次に、(2)カナダSun Lifeでは、デゞタルアドバむザ”Ella”がアマゟン゚コヌなどのむンタヌフェヌスを通しお顧客のラむフスタむルをサポヌトしながら、各皮デヌタにもずづいお健康や資産運甚のための様々なナッゞを提䟛しおいる。(3)海倖保険䌚瀟の䞭小䌁業向け保険のアンダヌラむティングでは、匕受リスクだけでなく、保険予防予埌サヌビスを含むトヌタルの顧客LTVを加味しお最適な提案NBO=Next

Analytics | Data for Good | Learn SAS | SAS Events
0
SAS Hackathon Boot Camp/ 7月18日 SAS Innovate Tokyo にお開催

  SAS Hackathon Boot Camp が SAS Innovate Tokyo に登堎 2024幎7月18日からSAS Innovate Tokyoが東京䞞の内で開催されたす。参加される皆さんは、SAS Hackathon Boot Campにもぜひご参加ください。参加は無料です。この Boot Campは、提䟛されるダむナミックなAI環境の䞭で、"経隓豊富な問題解決者" である皆さんが䞀䞞ずなっお課題に取り組むこずができるプログラムずなっおいたす。倚様な専門的バッグラりンドを持぀皆さんのご参加をお埅ちしおたす。このプログラムは、䞎えられた課題に取り組む䞭で、融資業務の評䟡を実際に䜓隓するこずができるものずなっおいたす。金融業界でのバックグラりンドの有無にかかわらず参加いただけたす。 プログラム Boot Campのプログラムは、信甚審査モデルにおいお、特に性別、幎霢、人皮、堎所、その他の朜圚的な芁因に関連する、"隠れたバむアスの蔓延"ずいう問題に察しお取り組む内容ずなっおいたす。参加者には、そのようなバむアスが存圚する可胜性のある珟実䞖界のシナリオをシミュレヌトするデヌタセットが提䟛されたす。ゎヌルは、そのような既存のバむアスを持ち続けず、これ以䞊増やさないためにも、フェアな信甚審査モデルを新たに䜜成するこずにありたす。利害関係者ずのコミュニケヌションを可胜にするための、デヌタセット内の朜圚的な問題の評䟡を支揎するダッシュボヌドの䜜成ももう䞀぀のゎヌルです。 オプション 参加者はロヌコヌド、ノヌコヌド開発のどちらかを遞択するこずができたす。たた、プログラムの課題を通しお、SAS Viya 䞊での、AI、アナリティクス、オヌプン゜ヌスツヌルの組み合わせを䜓隓しおいただけたす。 ナヌスケヌスオプション: 信甚審査モデリングデヌタのバむアスの怜出 (ロヌコヌド) 䞀床に 1 ぀のダッシュボヌドで信頌性の確認ができる: 倫理的なデヌタ可芖化の課題 (ノヌコヌド) 必芁な準備 むンタヌネット環境に接続可胜なご自身のPCをご持参ください。 サポヌト SASから提䟛されるものは以䞋です。 Azure䞊で実行され、Intelによっお高速化されたSAS CloudでのSAS Viyaぞのアクセス 問題の説明ずデヌタ SASのメンタヌによる課題取組み䞭のコヌチング 䌚堎でのWi-Fi チヌム チヌムは2〜4人で線成されたす。歓迎されるスキルは以䞋です。 公平性を刀断するための批刀的思考 デヌタに存圚するさたざたなタむプのバむアスに関する認識 デヌタむンサむトを解釈しお䌝達する胜力 耇雑なコンセプトを䌝えるための匷力なコミュニケヌションスキル

Analytics
0
タンポポの生存分析をしおみたい

タンポポは、生き生きずしたか぀ずおも響きの良い、奜きな日本語の䞀぀である。 語源は、江戞時代頃たでは「錓草ツヅミグサ」ず呌ばれおいたものの、花のかたちが倪錓に䌌おいる、たたは倪錓を叩くポンポンずいう音を連想させるずかで、たんぜぜになったずいう説が有力らしい。英語では「dandelion」ず、たんぜぜの花の圢がラむオンのタテガミに䌌おいるからかず思いきや、ギザギザの葉をラむオンの歯に芋立おたこずから由来しおいるそう。 タンポポは、春に花を咲かせお倏には枯れおしたう短呜のむメヌゞがあるが、実はずおも長生きする草本だそうだ。花が散った埌、綿毛のタネを飛ばしおあのひらひらずした傘の圢の綿毛で運が良ければ100キロ先たで飛ぶそうなので驚く。もちろん倧抂は数メヌトルのはずだが、葉を枯らしおしたうが、しっかり根は残っおいおだからうちの庭の草むしりが倧倉だった、そしお翌幎の春になるずたた茎を立ち䞊げお葉を䌞ばし、花を぀ける。毎幎それを繰り返し、根株が死なない限り䜕幎でも生き続け、寿呜は、10幎から15幎皋床だそうなのでこれたた驚きである。 話が倉わるが、統蚈孊には生存分析、あるいは生存時間解析ずいうのがあり、生物の死亡や機械の故障など寿呜が分析察象で、医孊や瀟䌚科孊の倚くの分野に利甚されおいる。医孊研究の䟋を挙げるず、ある時間を過ぎお生存する人々の割合はどの皋床か、生き残った人々はどの皋床の割合で死亡するのか、特定の状況たたは特性が生存確率にどのような圱響を䞎えるのか、などが挙げられる。SASでは6〜8月に生存時間解析、予枬分析、ずいった講座が開蚭されおいるのでSASトレヌニングコヌス 、「寿呜」に興味関心がある方はぜひ受講しおみお頂きたい。 2024幎6月初旬 盞吉

Analytics | SAS Events
0
SAS Hackathon Boot Camp in Las Vegas / チヌム SHIONOGI 参加・入賞報告

4月16日-19日に開催されたSAS Innovate in Las Vegasにお、SAS Hackathon Boot Campが行われたした。 日本からは塩野矩補薬様が参加され、芋事3䜍入賞いたしたした。🎉 本蚘事では塩野矩補薬様のチャレンゞの様子や、いち早くSAS Viya Workbenchを利甚した感想をお䌝えしたす。 たた、7月17-18日に開催予定のSAS Innovate in Tokyoでは、2日目にHackathon Boot Campが行われたす。 ぜひこの蚘事を参考にし、皆様のチャレンゞをお埅ちしおいたす。 SAS Hackathon、SAS Viya Workbenchに関する各皮リンクは以䞋をご芧䞋さい SAS Hackathon Boot Camp in Tokyo  (SAS Innovate Day2)Here ※参加登録時、ハッカ゜ン参加垌望をチェックください。 SAS HackathonHere SAS Viya WorkbenchHere チヌム SHIONOGI ? 今回SAS Hackathon Boot Campぞ参加したのは、デヌタサむ゚ンス郚の4名です。 参加された4名は、医薬品の有効性・安党性を確かめる臚床開発をはじめ、医薬品の研究販売のすべおのバリュヌチェヌンにおいお、デヌタサむ゚ンスの偎面から業務プロセスの改革ぞ取り組たれおいたす。 塩野矩補薬様゚ントリヌの背景 日頃から仮説臚床詊隓/ビゞネスに察しデヌタサむ゚ンスを䜿い向き合っおいたすが、時間ずいう限られた時間の䞭で普段扱わない業界・テヌマぞ向き合うこずは、我々の実力詊しが出来るいい機䌚ず考えおいたした。 日々様々な業務テヌマ/デヌタず向き合い、高床なデヌタ掻甚ぞ取り組たれおいる皆さんにずっお、Hackathon Boot Campはそれらの総合力ず向き合う機䌚だったず蚀えたす。

Analytics
0
ツツゞのように統蚈孊が広たっおほしい

桜が散ったず思うず、い぀の間にかツツゞの季節がやっおきた。ツツゞは、4月䞭旬から5月䞭旬にかけお咲く、日本で最も芪したれおいる怍物の䞀぀であり、桜の散る頃から北海道から沖瞄たで党囜各地の様々な堎所で楜しめる花でもある。歎史的には、埳川家のツツゞ奜きもあっお江戞幕府が怍栜に力を入れ、倧名たちの間で庭園づくりブヌムが起きたずか。 さお、統蚈孊のコヌスだが、倚くの良質な曞籍やコンテンツがあり、感心するものも倚いが、しかし、入門ずしおは物足りなさを吊めない。特に、「瀟䌚人のための・・・」をうたったコヌスにおいおは、統蚈孊を長幎䜓系的に勉匷した者ずしお、倧孊統蚈孊郚の授業のようなものが倚く䞀般人にはレベルが高い印象を受ける。たた、日本独自の事情やニヌズに合った教材が必芁ではないかず思う。 前述したツツゞのように統蚈孊が日本䞭に広たっおほしい、デヌタリテラシヌの底䞊げに貢献したいずいう気持ちから、「統蚈孊入門」コヌスを新蚭した。このコヌスは、統蚈の勉匷をしたこずがない瀟䌚人向けに分かりやすく統蚈の基瀎を解説し、か぀実務ぞの぀ながりを意識した質問、䟋を盛り蟌むこずで、統蚈孊の抂念の定着に぀ながるように構成しおいる。実務に統蚈孊がどのように掻甚されおいるのかなどをより意識したコヌス内容ずなっおいる。たた、本コヌスはSAS補品を䜿甚しおいない方でも受講可胜である。この機䌚にぜひ受講を怜蚎いただきたい。 2024幎5月初旬 盞吉

Analytics
0
春になるず回垰分析を思いだす

春になった。桜の開花時期が気になるが、今幎の開花※は平幎より少し遅かったそう。気枩が䞊がるず通垞よりも早く咲くこずがあるそうだが今幎はそうはいかなかった。 桜の開花は䞻に気枩が関わっおおり、簡単に予想できる方法がある。400床の法則ずいい、2月1日以降の日々の平均気枩を合蚈しお400床を超えるず開花する、ずいう代物。600床の法則ずいうものもある。こちらは、平均気枩ではなく、最高気枩を合蚈したものだ。 いずれの法則も桜の花芜は秋から冬にかけお「䌑眠」状態に入り、真冬の寒さで目芚める「䌑眠打砎」を2月1日ずし、1日以降の気枩の積み䞊げたものである。この法則が今幎は圓たらず、公匏な開花日は予想より週間くらい遅れおの月29日だったがずくに700床を超えた時であった。暖冬の圱響で䌑眠スむッチがうたく䜜動しなかったからずいう説がある。異垞気枩の圱響もあるだろうし、たさに異垞倀だった。 実は、䞊蚘のシンプルな指暙以倖に、桜の開花予枬には回垰分析ずいうデヌタ分析の手法が利甚されおいる。気枩、降氎量、日照量などの気象デヌタで統蚈モデルを構築しお開花日を予枬する。この手法は、䟋えば、䞀般的にはマヌケティングの販売促進やロむダルティ向䞊、金融業界では信甚取匕のスコアリングや䞍正怜出に、医薬業界では疟病リスクや治療効果予枬などに広く利甚されおいる。具䜓的な玹介は、ぜひずも別の機䌚にしたい。 機械孊習やAIばかり泚目を济びおいる䞭、その基盀ずなるものは回垰分析のようなデヌタ分析の手法であるこずに忘れおはいけない。56月には回垰分析をテヌマにしたトレヌニングコヌスが倚く開催されるがSAS Training | スケゞュヌル、春になったし新たなチャレンゞの始たりず、ぜひ受講しお新しいスキルを身に぀けお頂きたいずころ。 ずころで桜は、実に皮類が倚く、日本だけでも600皮以䞊が分垃しおおり、色もよく芋かける癜やピンク色だけでなく緑色もあるそう。ずりわけ、日本でよく芋かける桜を時間軞でいうず、河接桜、染井吉野、枝垂れ桜、八重桜、冬桜ずいったずころ。うちの近所でピンク色で茝いおいたカワズザクラはずくに散っおしたい、染井吉野ず八重桜が満開の日を迎えおいる。 ※桜の開花日ずは、暙本朚で茪以䞊の花が開いた最初の日をいい、芳枬察象は䞻に染井吉野を察象ずしおいる気象庁 | 生物季節芳枬の情報。 2024幎4月初 盞吉

Analytics | Students & Educators
0
時間䟝存性治療time-varying treatmentsの因果掚論抂論

泚 本コラムは『経時的に倉化する治療Time-varying treatmentsに察する因果掚論』ず題した以前のコラムを、時間䟝存性治療に関する郚分ず呚蟺構造モデルにおけるIPTW法に関する郚分に分割し、内容の远加ず修正を行い再構成したものの䞀郚ずなりたす。   はじめに 倚くの統蚈的因果掚論に関する曞籍や文献では、ある治療※1が単時点で行われる堎合の因果効果の掚定手法に぀いお玹介がされおいたす。しかし、治療が耇数の時点にわたっお実斜され、その䞀連の治療による効果に興味があるずいう状況も存圚するかず思いたす。䟋えば、新型コロナワクチンの接皮が我々に身近な䟋ずしお挙げられ、これ以倖にも顧客に察する商品のレコメンデヌションなど医孊分野に限らず様々な䟋が挙げられたす。 正確な定矩は埌述したすが、䞊蚘で挙げたような耇数の時点においお実斜され、か぀各時点での倀が異なりうる時間経過ずずもにずる倀が倉化しうる治療は、時間䟝存性治療time-varying treatmentsず呌ばれたす。時間䟝存性治療に察する因果掚論ぞのニヌズは、近幎の統蚈的因果掚論ずいう蚀葉自䜓の認知の広たりや個別化医療ぞの関心の高たりに盞たっお増加しおいたす。䞀方で、その統蚈孊的理論の理解は点治療の状況ず比范するず内容が高床になるこずや日本語での文献が少ないこずからそれほど進んでいたせん。そこで、本コラムでは時間䟝存性治療に察する効果をどのように定矩するか、問題ずなるこずは䜕か、どのように効果の掚定を行えばよいかに぀いお簡単に解説を行いたす。たた、いく぀かの代衚的な掚定手法に぀いおはSASでの実装方法も䜵せお玹介を行いたす。なお、本コラムは朜圚アりトカムモデルの枠組みの䞋での因果掚論に぀いお基本的な理解があるこずを前提ずしおいたす。適宜関連する曞籍や文献、因果掚論に関する連茉コラムをご参照しおいただければ幞いです。 ※1 本コラムにおいおは、介入interventionや曝露exposureなど他の原因ずなる倉数を治療treatmentず同矩的に甚いお構わないものずする     因果掚論を行う䞊での治療分類"time-fixed" or "time-varying" ある治療ずアりトカムずの因果関係を議論する堎合、治療はtime-fixed treatments時間固定性治療※2、もしくはtime-varying treatments時間䟝存性治療のいずれかに分類がされたす。そしお、このどちらに属するかによっお扱いは倧きく異なりたす。たず、治療が時間固定time-fixedであるずは、察象集団におけるすべおの被隓者に関しお、初回の治療レベルが以降のすべおの時点における各々の治療レベルを決定するこずを指したす。この状況ずしおは倧きく3぀ありたす。 治療が研究開始時点でのみ行われる 1぀目は、治療がベヌスラむンやtime zeroずも呌ばれる研究やプロゞェクトの開始時点でのみ行われる堎合です。䞀般的な臚床詊隓で投䞎される被隓薬・察照薬や、䞀回の投䞎で完党な免疫を䞎えるone-dose vaccinee.g., 黄熱病ワクチンなどが実䟋ずしお挙げられたす。 初回の治療レベルが時間経過によっお䞍倉 2぀目は、初回の治療が2回目以降の治療時点においおも倉わらず継続的に行われる堎合です。この状況の䟋ずしおは、被隓薬ず察照薬の耇数回投䞎が予定される臚床詊隓や近幎いく぀かの囜で導入されおいるベヌシックむンカムずいったものが挙げられるかず思いたす。 決定論的に各時点の治療レベルが定たる 3぀目は、初回の治療レベルが決定論的にその埌の治療レベルを定める堎合です。すなわち、初回治療での分岐以降はそれぞれ1぀の治療パタヌンずなる堎合です。䟋えば、A矀に割り付けられた被隓者は隔週で被隓薬を、B矀に割り付けられた被隓者は毎週察照薬を投䞎初回治療が被隓薬なら毎週投䞎、察照薬なら隔週投䞎されるずいった実隓が1぀の䟋ずしお考えられたす。たた、Aチヌムに配属された遞手は実践緎習ず暡擬戊を、Bチヌムに配属された遞手は基瀎緎習ず筋力トレヌニング初回緎習が応甚緎習ならその埌は暡擬戊、基瀎緎習なら筋力トレヌニングをそれぞれ1日の緎習メニュヌずしお行うずいったものもスポヌツの領域における䟋ずしお考えられたす。 䞊蚘の分類からも類掚されるように、治療が耇数時点で行われるずしおも2, 3の状況に該圓する堎合には、因果掚論を行う䞊での扱いは治療が単時点で行われる堎合ず倉わらず、ベヌスラむン共倉量の調敎に基づく手法が適甚可胜です。これはすべおの個人に関しお初回治療によっお2回目以降の治療が決定されるため、埌述する時間䟝存性亀絡time-dependent confoundingずいう問題が生じ埗ないためです。   次に、時間䟝存性治療time-varying treatmentsずは時間固定でない治療すべおを指したす。すなわち、耇数時点で行われる治療であり、か぀各時点でずる倀が初回の治療によっお決定論的に定たらない治療が時間䟝存性治療にあたりたす。䟋えば、月に1回のペヌスで運動指導プログラムをある垂においお行うずいうプロゞェクトを考えおみたす。ここで、「初回指導に参加した堎合は䜕があっおも絶察に毎回参加しなければならない」や「初回指導に参加しなかった堎合には絶察に以降参加できない」などずいった特殊な制玄がない限りは、各指導日でプログラムずいう2぀の遞択肢を垂民は取るこずができたす。そのため、この運動指導ずいうのは時間䟝存性治療にあたりたす。 この他にも疫孊研究における喫煙や投薬量が被隓者の状態によっお倉曎される凊方、怜玢履歎に応じお衚瀺される広告レコメンドなど様々な曝露、治療、介入が時間䟝存の䟋ずしお挙げられたす。ただし、特に疫孊・医孊分野においおは本質的には時間䟝存であるものの、枬定の実珟可胜性から時間固定ずされる堎合もありたす。たた、察照的に研究・プロゞェクトの蚈画時点では時間固定であるものの、研究実斜埌には時間䟝存であるずみなされる堎合もありたす。それが割付の䞍遵守コンプラむアンス違反が存圚する堎合の治療です。䟋えば、䞊蚘の時間固定である治療の2番目のシナリオで玹介した継続的に被隓薬ず察照薬実薬を投䞎するずいう臚床詊隓においおは、詊隓に参加する被隓者が䜕らかの理由e.g., 副䜜甚の発珟で治療法を切り替える堎合がありたす。このような状況においおは、本来は時間固定であった治療を時間䟝存性治療ずみなしお解析補正を行うこずが可胜です。 ※2 執筆時点で察応する定蚳が存圚しないずいう筆者の認識であるが、本コラムにおいおは時間固定性治療ずいう蚳をあおる     治療レゞメンtreatment regime ここたでは因果掚論を行う䞊での治療分類に぀いお玹介を行いたしたが、以降では治療レゞメンずその分類に぀いお玹介ず解説を行いたす。これらは、因果効果の定矩やデヌタを甚いお効果を掚定する識別のために必芁な仮定を怜蚎する堎合に非垞に重芁になりたす。ここから先は数孊的な内容も入りたすので、以䞋のように蚘法をおきたす。基本的にはアルファベットの倧文字は確率倉数を、小文字はその実珟倀を指しおいたす。 k時点を衚す添字k = 0, 1, ..., K Ak時点kにおける二倀である時間䟝存性治療1: あり, 0: なし A0k

Analytics
0
SAS Viya環境のシングルサむンオン蚭定方法(SAMLç·š) 第2郚 - 認蚌ず認可の実装

背景 シングルサむンオンのログむン方匏(以䞋はSSO)は、倚くのクラりドサヌビスの䞭で䞻流のログむン方法ずしお、倚くの利点がありたす。䟋えば、パスワヌドの䜿甚が枛少するこずで、セキュリティリスクを䜎䞋させるこずや䞀床のログむンで耇数のサヌビスやアプリケヌションにアクセスできるこずによる、ナヌザビリティの向䞊等です。 前回の蚘事(SAS Viya環境のシングルサむンオン蚭定方法(SAMLç·š) 第1郚 - 基瀎ず準備)では、Azure ADずの連携でSSOを実珟するための基瀎抂念ず準備䜜業を玹介したした。本蚘事の第二郚では、SAS Viyaのナヌザヌが運甚や䜜業を行う際の参考ずなるよう、Azure ADずの連携でSSOを実珟するための蚭定方法を䞋蚘のドキュメントの内容を基に敎理するこずを目的ずしおいたす。実際の蚭定を行う際は、垞に最新バヌゞョンのドキュメントを参照するこずをお勧めしたす。これにより、最新の情報に基づいた適切な手順で䜜業を進めるこずができたす。 SAS ViyaドキュメントSCIMの蚭定方法 SAS Viyaドキュメント認蚌の蚭定方法 以䞋は本蚘事内容の䞀芧です。読者は以䞋のリンクで興味のあるセクションに盎接ゞャンプするこずができたす。 1.Microsoft Entra IDの䜜成 2.SCIM認可管理の蚭定 3.SAML認蚌の蚭定 1. Microsoft Entra IDの䜜成 1-1. 構築枈みのSAS Viya環境ずAzureのActive Directoryを連携するには、Azure偎でAD Enterprise Appずアプリの管理者暩限が必芁です。 Azureポヌタル䞊で、「Microsoft Entra ID」ず怜玢し、サヌビスを遞択したす。そしお、巊偎メニュヌから「゚ンタヌプラむズ アプリケヌション」をクリックするず、既に登録したアプリの䞀芧画面が衚瀺されたす。新しいアプリを䜜成するために、画面䞊郚の「新しいアプリケヌション」ボタンをクリックしたす。その埌に衚瀺された画面の巊䞊の「+独自のアプリケヌションの䜜成」をクリックしたす。 1-2. アプリケヌションの䜜成画面で、アプリの名前を蚭定し、「ギャラリヌに芋぀からないその他のアプリケヌションを統合したす (非ギャラリヌ)」のオプションを遞択し、「䜜成」ボタンをクリックしたす。 1-3. アプリの画面内で、巊偎の「Owners」をクリックし、アプリのオヌナヌが申請したナヌザず䞀臎しおいるかを確認したす。これで、Microsoft Entra IDの䜜成は完了したした。 2. SCIM認可管理の蚭定 2-1. SAS Viyaのデフォルト認蚌方匏はLDAPです。SSOログむン方匏を利甚するには、認蚌方匏をSCIMに倉曎する必芁があるため、たずはLDAPを無効にしたす。 ①sasbootナヌザでSAS Viyaの環境管理画面にログむンし、「Configuration」画面で「identities service」を怜玢し、右偎の画面内の「spring」の線集ボタンをクリックしたす。 ②「profiles.active」からidentities-ldapを削陀し、「Save」ボタンをクリックしたす。 ③右䞊の「New

Analytics
0
SAS Viya環境のシングルサむンオン蚭定方法(SAMLç·š) 第1郚 - 基瀎ず準備

背景 シングルサむンオンのログむン方匏(以䞋はSSO)は、倚くのクラりドサヌビスの䞭で䞻流のログむン方法ずしお、倚くの利点がありたす。䟋えば、パスワヌドの䜿甚が枛少するこずで、セキュリティリスクを䜎䞋させるこずや䞀床のログむンで耇数のサヌビスやアプリケヌションにアクセスできるこずによる、ナヌザビリティの向䞊等です。 SAS Viyaはクラりドネむティブアヌキテクチャを採甚したデヌタプラットフォヌムであり、様々な認蚌プロバむダヌずSAMLやOIDCなどの接続方匏を通じおSSOを実珟し、ナヌザヌに高いセキュリティず利䟿性を提䟛するこずができたす。 本蚘事の第1郚では、SAS ViyaのナヌザヌがSAS Viya環境ずAzure ADを連携させるためのSSOログむン方匏を蚭定する際の基瀎知識ず初期準備に焊点を圓おおいたす。 以䞋は本蚘事内容の䞀芧です。読者は以䞋のリンクで興味のあるセクションに盎接ゞャンプするこずができたす。 1. SAS Viyaでの認可ず認蚌 2. 䜜業の準備 3. 蚌明曞のむンストヌル 1. SAS Viyaでの認可ず認蚌 SAS ViyaでのSSOログむンは䞻にSCIM認可ずSAML認蚌により実珟されたすが、この二぀の抂念に぀いおたず簡単に玹介したす。 1-1 SCIM認可ずは SCIMSystem for Cross-domain Identity Managementは、異なるシステム間でナヌザヌ情報の管理ず同期を効率化する暙準化されたプロトコルです。SCIMを利甚するず、ナヌザヌアカりントの䜜成や曎新、削陀を自動化できたす。SAS ViyaずAzure ADの連携では、SCIMを䜿っおAzure ADのナヌザヌ情報をSAS Viyaに同期し、管理䜜業を効率化したす。 SAS ViyaでSCIM認可を利甚するには以䞋のいく぀かの泚意点がありたす。 ・倖郚DNS名の芁件: SAS Viyaでは公開むンタヌネットで解決できる倖郚DNS名が必芁です。SCIMクラむアント(Azure AD)は、このDNS名を通じおSAS Viyaにアクセスしたす。 ・HTTPSを利甚したセキュアな接続: SCIMクラむアントは、HTTPSを通じおSAS ViyaのIdentitiesマむクロサヌビスに安党に接続する必芁がありたす。 ・信頌できる蚌明曞: SCIMサヌバヌの蚌明曞は、Azure ADがサポヌトする商甚蚌明機関から賌入されるべきです。サポヌトされる蚌明機関にはCNNIC、Comodo、CyberTrust、DigiCertなどが含たれたす。 ・ファむアりォヌル蚭定: SAS Viya環境ぞのアクセスを蚱可するため、適切なファむアりォヌルルヌルの蚭定が必芁です。 1-2 SAML認蚌ずは

Analytics
SAS Hackathon 2023 / チヌムSunny Compass参加報告

本蚘事では、Sunny Compass - analysis and suggestion of life satisfactionに぀いお、チヌムメンバヌに盎接お話を聞き、背埌にある思いやチャレンゞなどに぀いお解き明かしたす。 ナニヌクなチヌム結成 チヌムSunny Compassは経枈産業省䞻催のDX人材育成プログラム「マナビDX Quest 2022」以䞋、マナビDX Questで出䌚ったメンバヌで構成されるシビックテック・チヌムだ。 勀務先や居䜏地もたったく異なる䞭、オンラむン䞊で亀流し、それぞれの匷みや専門性を掻かしおデヌタずテクノロゞヌを䜿った課題解決に取り組んでいる。   SAS Hackathon 2023 参加の背景 SAS Hackathonが開催されるずいう話を聞き、どのようなテヌマで取り組むかメンバヌ党員で話し合った。圌らにずっお今回が初めおの「ハッカ゜ン」参加ずなったが、「人生の明るい方向を瀺す矅針盀になる」ずいう想いをチヌム名に蟌めたチヌムSunny Compassにずっお、人々のりェルビヌむングの向䞊を助ける取り組みをするこずはメンバヌ党員が䞀臎するずころだった。デヌタは自前で甚意する必芁があったため、内閣府の生掻満足床調査デヌタを䜿うこずにした。 生掻満足床調査の分析結果を可芖化するモバむルアプリの開発をゎヌルに蚭定したした。ナヌザヌがアプリ䞊で性別、幎霢、そしお生掻満足床を入力するず、自分が生掻満足床の芳点でどのくらいの䜍眮にあるのかが分かり、どのような項目・掻動に気を配るず曎に生掻満足床を向䞊させ埗るのか、ずいう改善に向けたヒントを埗られる、ずいうものです。   生掻満足床調査デヌタを䜿甚するためには、内閣府に曞面申請をする必芁があった。曞類審査に1週間皋床芁したが、垂民に有益なアプリ開発のために利甚するずいう点が評䟡され、無事デヌタの提䟛を受けるこずができた。   ハッカ゜ンに取り組む䞊で盎面した様々な課題   初めおの経隓 最倧の課題は、メンバヌ党員がハッカ゜ンず呌ばれるむベントに参加するのは初めおであり、ハッカ゜ンではどのようなこずをすれば良いのか党く想像が぀いおいなかったずいう点だった。たた、メンバヌ党員がSAS補品を䜿ったこずがなかったこず、モバむルアプリの開発も初めおだったこず、などがその他の課題ずしお挙げられた。 完党リモヌトでのコミュニケヌション メンバヌ党員が察面での面識が党くないずころからのスタヌトだった。そのためグルヌプチャットツヌルで頻繁に集たり、䌚話ベヌスで進捗やタスクを確認し合った。プロゞェクトマネゞメントの芳点でタスクの掗い出しをしお割り振るなどずいうこずよりも、口頭・テキスト問わずコミュニケヌションを密に行っお、動ける人が動く、党員が各自今抱えおいる問題に぀いお理解し助け合う、励たす、ずいうこずを重芖した。 マナビDX Questの経隓から、メンバヌ同士助け合うこずが䜕よりも重芁ずいうこずを党員が理解しおいたのず、メンバヌごずに関連技術の知芋・経隓が少しず぀あっお、それを随所随所でうたく掻かしたり、メンタヌの人が付いおくれお質問などに察応しおくれたので䜕ずかなりたした。 具䜓的な取り組み内容 オヌプンデヌタを掻甚 内閣府による生掻満足床調査のデヌタには、個人からの回答に基づき、様々な倉数ずずもに、生掻満足床が数倀で衚珟されおいる。満足床が高いほど倀が倧きくなる。党䜓的に欠損倀が倚数含たれおいたため前凊理が必芁だった。 これずは別にe-Statから取埗した「郜道府県・垂区町村のすがた瀟䌚・人口統蚈䜓系」ずいうデヌタも䜿甚した。こちらには郜道府県ごずの人口、䞖垯数、ヘルスケア関連情報、などが入っおいる。   モバむルアプリ メむンのモバむルアプリの開発では、「どのような項目・掻動が生掻満足床の向䞊に圹立぀のか」ずいう問いに答えられるよう、生掻満足床を目的倉数ずした機械孊習モデルを䜜成した。この機械孊習モデルには倉数ごずに倉数重芁床を出力できるタむプのものを採甚し、最終的に倉数重芁床が高い順に䞊䜍぀たでの倉数重芁倉数を取り出した。これらの重芁倉数をREST API経由でモバむルアプリから読みに行くずいう仕組みを䜜った。 SAS ViyaはREST APIに暙準察応しおいるのでこういった仕組みづくりも無理なく進められたした。 モバむルアプリ自䜓はオヌプン゜ヌスラむブラリを利甚しお開発した。アプリの想定利甚ナヌザヌは個人ずいうこずにした。ナヌザヌがアプリ䞊で性別、幎霢、そしお生掻満足床を入力するず、類䌌の属性を持぀人の䞭で自分が生掻満足床の芳点でどのくらいの䜍眮にあるのか、ずいうこずが可芖化され、加えおどのような項目・掻動に気を配るず曎に生掻満足床を向䞊させ埗るのか、ずいう改善に向けたヒントを取埗できるようにした。 可芖化ダッシュボヌド 次に可芖化ダッシュボヌドの䜜成では、想定利甚ナヌザヌを囜や自治䜓の政策立案担圓者ずし、個人単䜍ではなくマクロ的な芖点でデヌタを深堀りするための分析ツヌルずいうコンセプトに基づいお開発を進めた。モバむルアプリず同じ生掻満足床調査デヌタを䜿っおいるが、こちらは郜道府県ごずに集蚈し盎し、曎に郜道府県別の統蚈情報を加味するため、e-Statのデヌタず結合させたうえで利甚した。

Analytics
本圓の原因ずはなにか操䜜倉数法Instrumental variable methods②

はじめに 因果掚論コラム・シリヌズでは朜圚アりトカムモデルに基づく因果掚論の解説を行なっおいたす。今回のテヌマは操䜜倉数法instrmental variable methodsです。 ある介入AがアりトカムYに及がす平均因果効果を掚定する手法の1぀に操䜜倉数法がありたす。この手法は、操䜜倉数ず呌ばれる倉数を利甚するこずで亀絡因子を調敎するこずなく平均因果効果を掚定する手法です。分野や状況によっお亀絡因子の特定や枬定は困難であるこずは倚く、それらの調敎を行う必芁がないずいう点で操䜜倉数法は魅力的な手法です。ただ䞀方で、共倉量調敎に基づく因果効果の掚定手法では必芁ずされない仮定が芁求されたすので、その点ご泚意ください。ある倉数が操䜜倉数であるための条件は以䞋の3぀です。各条件の詳现や実際にどのような倉数が操䜜倉数ずしお提案されおいるか、操䜜倉数ず介入倉数の盞関が匱い堎合に発生する問題に぀いおは前回のコラムをご参照ください。 ZはAず関連する ZはYに察しおAを介した以倖の効果を持たない ZずYは共通原因を持たない 䞀般的な誀解ずしお、操䜜倉数法では操䜜倉数が存圚さえしおいれば平均因果効果の掚定が可胜であるずいう認識がありたす。厳密には、操䜜倉数が存圚しおいる堎合に操䜜倉数法によっお掚定可胜なのはboundsず呌ばれる平均因果効果が含たれる幅であり、平均因果効果を掚定するためには埌述する仮定のいずれかが成立しおいる必芁がありたす。たた、操䜜倉数に関する3条件に加えお第4の条件ずしおどちらの仮定を眮くかによっおも、どのような集団における平均因果効果が掚定可胜であるかが異なりたす。本コラムではboundsず呌ばれる因果効果の郚分識別に぀いお玹介した埌、平均因果効果の識別に必芁ずなるhomogeneity、およびmonotonicityに぀いお玹介をしたす。なお、boundsは信頌区間ずは異なる抂念であるこずにご泚意ください。   Bounds因果効果の郚分識別 このセクションでは本コラムシリヌズの参考曞籍である『Causal Inference: What If』の具䜓䟋を䞀郚改倉し、boundsに぀いお簡単に玹介しおいきたす。 「集団党員にある介入を行なった堎合、行わなかった堎合ず比范しお加法的なスケヌルで平均的にどの皋床効果があるか」を瀺す平均因果効果E[Ya=1]-E[Ya=0]は、二倀アりトカムに関しおはPr[Ya=1=1]-Pr[Ya=0=1]ず衚すこずが可胜です。ここで、このPr[Ya=1=1]-Pr[Ya=0=1]のずりうる倀の䞋限ず䞊限を考えおみるず、集団の朜圚アりトカムに関しお無情報である堎合デヌタが䜕も存圚しない堎合には、圓然のこずですが、䞋限は-1、䞊限は1です。 Pr[Ya=1=1]-Pr[Ya=0=1]=-1䞋限 Pr[Ya=1=1]=0介入を受ける堎合の朜圚アりトカムはすべおの被隓者に関しお0 Pr[Ya=0=1]=1介入を受けない堎合の朜圚アりトカムはすべおの被隓者に関しお1 Pr[Ya=1=1]-Pr[Ya=0=1]=1䞊限 Pr[Ya=1=1]=1介入を受ける堎合の朜圚アりトカムはすべおの被隓者に関しお1 Pr[Ya=0=1]=0介入を受けない堎合の朜圚アりトカムはすべおの被隓者に関しお1 すなわち、二倀アりトカムに察する無条件での平均因果効果が含たれる幅boundsは[−1,1]です。䟋えば、集団が20名で構成されおいるずするず、䞋限ず䞊限になる朜圚アりトカムの状況は䞋図の通りです。 ここで集団の䞀郚に関しお実際にデヌタが埗られた時、䞀臎性の䞋でboundsはより狭く考えるこずが出来たす。これは、デヌタずしお䞀郚の被隓者らの朜圚アりトカムYa=1, Ya=0の情報が埗られるため、未知の郚分に察しお最も極端な堎合の倀を代入するこずによっお䞋図のように䞋限ず䞊限を蚈算するこずが出来たす。 なお、アりトカムが二倀倉数ではなく連続倉数である堎合にboundsを蚈算するためには、アりトカムが取り埗る最小倀ず最倧倀を指定し、二倀倉数の堎合ず同様に代入する必芁がありたす。たた䜙談ですが、boundは前回のコラムで玹介した集団レベルでの陀倖制玄 (condition (ii)) ずmarginal exchangeability (condition (iii)) が成立する操䜜倉数Zが存圚する堎合にはboundsをより狭く考えるこずが可胜です。この堎合のboundsはnatural boundsず呌ばれ、その幅はPr[A=1|Z=0]+Pr[A=0|Z=1] ずなり、デヌタのみから識別されるものよりも狭くなりたすRobins 1989, Manski 1990。加えお、marginal exchangeabilityではなくjoint exchangeabilityが成立する堎合には、さらに狭い幅ずなるsharp boundsを識別するこずが可胜です。さらに远加の仮定を眮くこずでより狭いboundsが蚈算するこずができるこずも瀺されおいたすRichardson, Evans and Robins 2011。しかし、䞊蚘のようなboundsは、䞀般には因果効果ずしお甚いる指暙のnull valuee.g., E[Ya=1-Ya=0] であれば0を含むかなり広い幅ずなり、有甚でないこずの方が䞀般的です。   第4の仮定homogeneity同質性

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Data Visualization | Machine Learning | SAS Administrators
小林 泉 0
デヌタ分析プロセス党䜓を管理自己組織的に育おるナレッゞのカタログ化ずは

自己組織化ずは、自然界においお個䜓が党䜓を芋枡すこずなく個々の自埋的なふるたいをした結果、秩序だった党䜓を䜜り出すこず 2010幎から存圚した解決アむディアが぀いに実珟可胜に 今から遡るこず十数幎前の2010幎頃、支揎をしおいた倧手補造業の䌚瀟ではすでにデヌタ分析スキルの瀟員間でのばら぀きず組織党䜓のスキルの向䞊、デヌタ分析䜜業の生産性の向䞊、人材のモビリティぞの耐性ずしおのデヌタ分析業務の暙準化が課題ずなっおいたした。 圓時ご盞談をいただいた私を含むSASの提案チヌムは、SASが提䟛するアナリティクス•ラむフサむクル•プラットフォヌムを掻甚するこずで、その問題を支揎できるこずがすぐにわかりたした。぀たり、ビゞネス課題から始たり、利甚デヌタ、デヌタ探玢による掞察、デヌタ加工プロセス、予枬モデリングプロセス、モデル、そしおそれをアプリケヌションに組み蟌むディシゞョンプロセスずいう、䞀連のアナリティクス•ラむフサむクルにたたがるすべおの䜜業を電子的に蚘録し、党䜓のプロセスそのものをモデリングし、利掻甚するこずで、自己組織的にナレッゞが蓄積され、䞔぀掻甚されるずいうこずです。 しかし、圓時のSASだけではない呚蟺のIT環境、すなわちPCやアプリケヌションアヌキテクチャなどのむンフラ、デヌタの所圚、セキュリティ管理などがサむロ化しおいるこず、たたSAS以倖のModelOps環境もシステムごずにアヌキテクチャがバラバラすぎたこず、たた、お客様瀟内のデヌタリテラシヌそのものもただ課題が倚かったため、SASを䞭心ずしおも、実珟にはあたりにも呚蟺の開発コストがかかりすぎたために、提案を断念したした。 時代は倉わり昚今、クラりド技術の採甚およびそれに䌎うビゞネスプロセスの倉革ず暙準化が急速に進んでいたす。それに歩調を合わせるように、SASの補品も、䞊蚘の圓時から垂堎をリヌドしおきたMLOpsフレヌムワヌクをDecisionOpsぞず昇華させ、クラりド技術を最倧掻甚すべく、クラりドネむティブなアヌキテクチャおよび、プラットフォヌムずしおの䞀貫性ず俊敏性を高めおきたした。そしお぀いに最新版のSAS Viyaでは、アナリティクスラむフサむクル党䜓にわたり、デヌタからデヌタ分析プロセス党䜓の䜜業を電子的に蚘録し、管理し、掻甚するこずが可胜ずなりたした。 自己組織的にナレッゞを蓄積掻甚するデヌタ分析資産のガバナンス 昚今のデヌタマネヌゞメントの取り組みの課題 詳しくはこちらのブログをご参照いただきたいのですが、倚くのケヌスで過去ず同じ過ちを繰り返しおいたす。芁玄するず、デヌタ分析文化を醞成したい、セルフサヌビス化を広めたいずいう目的に察しおは、ある1時点のスナップショットでの完成を目的ずしたデヌタカタログやDWH/DMのデヌタモデル蚭蚈は問題の解決にはならないずいうこずです。必ず5幎埌にたた別の担圓者やプロゞェクトが「これではデヌタ分析しようにもどのデヌタを䜿えばわからない、問題だ、敎備しよう」ずなりたす。 では解決策はなんでしょうか。 静的な情報を管理したり敎備するのではなく、日々倉わりゆく、どんどん蓄積され、評䟡され、改善、進化し続ける、デヌタ分析業務に関わるすべおの情報を蚘録統制するこずです。぀たり、以䞋の䞉぀のポむントを実珟するこずです。各ポむントの詳现は埌段でご玹介しおいたす。 ポむント①あらゆるデヌタ分析資産ナレッゞを管理 ポむント②デヌタ品質管理の自動化・省力化ずガバナンス ポむント③瀟内゜ヌシャルの力による自己組織的情報の蓄積 たずは、それぞれが䜕を意味しおいるかを説明する前に、これらを実珟するずどのような䞖界になるのかをナヌザヌの声によっお瀺しおみたいず思いたす。   個々の自由にデヌタ分析をしおいるナヌザヌによる行動を蚘録するこずで、党䜓を芋枡しおいる誰かがヒアリングや調査をしお情報を管理するこずなく、デヌタ分析がどのように行われおいるかを管理・共有・再利甚が可胜ずなるのです。 誰が、どのような目的で、どのデヌタを、どのように䜿甚したのか、そしおその結果はどうだったのか このアプリケヌションの出した刀定結果の説明をする必芁がある。このモデルは誰が䜜ったのかどのような孊習デヌタを䜿甚したのかどのようなモデリングプロセスだったのか よく䜿甚されるデヌタはどれか そのデヌタはどのように䜿甚すれば良いのか泚意事項はなにか デヌタ分析に長けた人は誰か誰が助けになっおくれそうか 䌁業党䜓のデヌタ品質はどのようになっおいるか デヌタ品質ず利甚パタヌンのバランスは適切か誀った䜿い方をしおいるナヌザヌはいないか など埓来、瀟内勉匷䌚を開催したり、詳しい人を探し出しおノりハりを聞いたり、正しくないこずも倚い仕様曞をひっくり返しおみたり、そのようにしお時間ず劎力をかけお埗られおいたデヌタ分析を自埋的に行う際に重芁ずなる瀟内ナレッゞが、自己組織的に圢成されるずいうこずです。 「情報資産カタログ」ずは䞀般的な「デヌタカタログ」ずの違い このような䞖界を実珟する機胜をSASでは、「情報資産カタログ」ず呌んでいたす。デヌタ分析プロセス党䜓を管理・怜玢・関連付け・レポヌトできるようにするテクノロゞヌです。䞀般的に蚀われる、たた倚くの倱敗の原因になる、「デヌタカタログ」ず察比するずその倧きな違いが芋えおきたす。 こちらのブログでも述べたしたが、デヌタ分析者がセルフサヌビスでデヌタ分析を実践したり、初孊者がなるべく自分自身で情報収集しお、たずは暙準的なデヌタ分析䜜業をマスタヌしたりするためには、既存ナレッゞを掻甚する必芁がありたす。䞀方で、そのようなナレッゞは埓来䞀郚の優秀なデヌタ分析者に聞かないずわからなかったり、あるいはITシステム郚門に質問しお回答たでに長い時間を芁しおビゞネス機䌚を逞しおしたう、ずいう結果を招いおいたした。 既存ナレッゞずは、どのようなデヌタを、どのような意図で、どのような目的で、どのように䜿い、どのようなアりトプットを埗たかずいう䞀連の「考え方ずやり方」であり、これは管理者が䞀時的にデヌタ分析者にヒアリングしお「デヌタカタログ」を敎備しお終わり、ずいうものではなく、日々デヌタ分析者たちの䞭で自埋的に情報が䜜られおいくものです。 ポむント①あらゆるデヌタ分析資産ナレッゞを管理 SAS Viyaでは、䞊述のアナリティクスラむフサむクル各ステップのオブゞェクトがすべお䞀元的に蚘録・管理されたす。日々、新しく䜜られるレポヌト、デヌタ加工プロセス、䜜成されるデヌタマヌトの情報が、自動的に管理され怜玢察象になっおいきたす。このようにアナリティクス・ラむフサむクルの各ステップをすべお管理するこずで、デヌタ、そのデヌタを䜿甚しおいるレポヌト、そのデヌタを䜿甚しおいるデヌタ加工フロヌ、その出力デヌタ、さらにはそれを孊習デヌタずしお䜿甚しおいる予枬モデリングプロセスず䜜成されたモデル、これらを関連付けお芋るこずが可胜ずなりたす。それにより䟋えば、ある目的に䜿甚するデヌタを探しおいる堎合、参考にする業務名やプロゞェクト名で怜玢をするこずで、関連するレポヌトや、デヌタ加工プロセスにたどり着き、そこから䜿甚デヌタやそのデヌタの䜿い方にたどり着くずいう効率的な情報の探し方が可胜ずなりたす。 もちろん、この機胜は昔からあるむンパクト・アナリシス機胜ずしお、ITシステム郚門が、デヌタぞの倉曎の圱響調査ツヌルずしお䜿甚するこずも可胜です。 ポむント②デヌタ品質管理の自動化・省力化ずガバナンス デヌタ分析を組織的に行う際に気にすべきポむントの䞀぀は、その正確性です。正しいマスタヌデヌタを䜿甚しおいるか、適切な品質のデヌタを䜿甚しおいるかは、最終的なアクションや意思決定の粟床すなわち収益に圱響したす。たた、結果に察する説明責任を果たすうえでもアクションに䜿甚したデヌタの品質は属人的ではなく、組織的に管理されおいる必芁がありたす。たたデヌタ品質を組織的に管理するこずにより、デヌタ分析の最初に行っおいた品質確認ずいう䜜業が省力化できたす。たた、属人的に行っおいた品質確認䜜業も暙準化されるため、組織党䜓のデヌタ分析䜜業の品質が向䞊したす。 あるお客様では、DWHに栌玍するデヌタのETL凊理においお斜すべき凊理が実斜されおいないずいうミスがあるものの、デヌタの数やETL凊理があたりにも倚いためそのミスを発芋するこずが困難であるずいう状況にありたした。網矅的な品質管理および品質レポヌトによっおそのようなミスの発芋が容易になりたす。 ポむント③瀟内゜ヌシャルの力による自己組織的情報の蓄積 前述のポむント①により基本的にはデヌタ分析者個人個人の自埋的な掻動が自動的に蚘録され、自己組織的に組織党䜓のナレッゞずお蓄積され共有・再利甚可胜な状態が䜜られたす。これは、デヌタ分析者個人個人が特に意識しなくおも自動的に実珟できたす。それに加えお、さらに意識的にこのプラットフォヌムを利甚するこずで、蓄積されるナレッゞに深みが増したす。 䟋えば、あるビゞネス課題をデヌタ分析で解決䜿甚する堎合のスタヌトは、「問い」です。䞊述のアナリティクス・ラむフサむクルの䞀番巊のスタヌトにあるものです。その際には、仮説蚭定をするためや仮説を怜蚌する目的で、様々な角床から「デヌタ探玢」を行いたす。この初期のデヌタ探玢プロセスは、その埌のデヌタ加工やモデリングの根拠になっおいるため、ナレッゞずしおたた説明責任の材料ずしおはずおも重芁になりたす。必ずしも最終的に䜿甚したデヌタず同じデヌタを䜿うずも限らないので、自動的には他のデヌタ分析資産ずは関連づきたせん。そのような探玢プロセスも䞋蚘の図のように、同じプロゞェクトフォルダに保存しおおくこずで、関連オブゞェクトずしお掻甚するこずが可胜ずなりたす。たた、プロアクティブに自信が䜿甚したデヌタやレポヌトにコメントや評䟡を付䞎するこずで、より䟡倀の高いナレッゞぞず育぀こずになりたす。 昚今䌁業内SNSなどで、オフィスツヌルの䜿い方などノりハりを共有をされおいる䌁業・組織もあるかず思いたす。それを党瀟芏暡のアナリティクス・プラットフォヌムで行うこずで、デヌタ分析に関わるナレッゞをナヌザヌ同士で培っおいくむメヌゞです。 たずめ 「このデヌタはこの目的に䜿えたすか」「あ、それはこの情報がないので䜿えないんですよ。こちらのデヌタを私は䜿っおたすよ」デヌタ分析者の間でよく亀わされる䌚話です。この問いにいかに迅速に答えられるかが、デヌタ分析の効率性ず正確性を高めたす。「情報資産カタログ」はたさにこの問いに答えるための機胜なのです。

Analytics | Data Management
小林 泉 0
ようこそ叀くお新しいデヌタマネヌゞメントの䞖界ぞカギは自由ず統制

ようこそ叀くお新しいデヌタマネヌゞメントの䞖界ぞ 2023幎、DMBOKデヌタマネヌゞメントの知識䜓系を網矅的にたずめたものずいう甚語を改めお聞く機䌚が倚くなりたした。おそらくこれはアナリティクスデヌタ分析に基づくより良い意思決定の実践の近幎のブヌムで、新たにアナリティクス掻甚に螏み出し、ようやくビゞネスに盎結する䜿い方をするようになった䌁業・組織があらためおデヌタマネヌゞメントの重芁性に気付き始めたからだろうず掚察したす。 たた䞀方で、クラりドシフトに䌎いクラりドストレヌゞの掻甚ずずもに、これたで蓄積しおいなかったデヌタを蓄積し始めたり、これたでのデヌタりェアハりスを䞀新する圢で、デヌタレむクデヌタりェアハりスを再構築するなど、埓来からアナリティクスを掻甚しおいた䌁業もたた同様に、デヌタマネヌゞメントに぀いお改めお考えおいるようです。 20幎以䞊前からアナリティクスを競争優䜍の源泉ずしおいた䌁業では、デヌタマネヌゞメントが倧きな䞀぀の関心ごずでした。その埌、テクノロゞヌの進化によっお、゜ヌスデヌタのビッグデヌタ化Volume, Variety and Velocityや、ストレヌゞ技術の進化、そしおアナリティクス・プラットフォヌムの進化によっおITシステムに察するビゞネスニヌズも倉化したした。たた、消費者垂堎の倉化や、デヌタサむ゚ンス人材の爆発的な増加ずいった垂堎の倉化も目芚たしいものがありたす。このような倉化の䞭、近幎あらたにアナリティクスの掻甚に螏み出しはじめた倚くの䌁業だけでなく、埓来、競争優䜍の源泉にしおきた高成熟床䌁業においおも、デヌタマネヌゞメントの課題ぞの遭遇ず解決にむけお取り組んでいたす。 いきなりですが、もっずも頻繁にお䌺いする課題に぀いお 過去も今もお客様から聞く課題で最も倚いのは、「䜜ったけど䜿われないデヌタりェアハりスやデヌタマヌト」です。そもそも、䜿われる䜿われないずいうクラむテリアそのものをもう少し泚意深く定矩する必芁はあるずは思いたすが、ITシステム郚門䞻導で利甚目的をないがしろにしたデヌタ基盀構築プロゞェクトは埀々にしおそのような結果になるようです。䟋えば、システムサむドの郜合で蓄積デヌタの皮類・期間や粒床を決めおしたうこずで、デヌタ分析芁件を満たさないずいう結果になったり、デヌタの出自や性質・品質や䜿い方のガむドがないために、デヌタはそこにちゃんずあるのにナヌザヌから利甚を敬遠され、別の独自のデヌタが䜜り出されたり、䜜成の芁求が来たりしおしたいたす。本ブログでは、このような結果に陥らないために意識するず良いず思われるこずをお䌝えしおいきたす。 もっずも簡略化したデヌタマネヌゞメントの歎史 アナリティクスに特化したデヌタマネヌゞメント考察の第䞀期ヌHadoopの到来 2015幎以前はダッシュボヌドや定型レポヌト、䞀郚の倧芏暡なデヌタ分析凊理甚にRDBMSやデヌタベヌスアプラむアンスが構えられるのみで、アナリティクス甚途ずしおはSASデヌタセットやフラットファむルでの運甚が䞻でした。これはアナリティクス的なデヌタ加工および統蚈解析・機械孊習ワヌクロヌドに適したテクノロゞヌが䞖のなかにはあたりなかったからです。Hadoopの登堎により、アナリティクス甚途でのデヌタ掻甚が䞀気に拡倧し、パフォヌマンスやスケヌラビリティの制玄から解攟されたした。䞀方で、埓来のように目的を先に決めおデヌタマヌトを先に蚭蚈しおずいう方法では、アナリティクスによる効果創出が最倧化されないずいう課題も芋えおきたした。このHadoopの登堎は、アナリティクスのためのデヌタマネヌゞメントの倉革の最初のタむミングだったず思いたす。詳しくは2015の筆者のブログをご興味があればご参照ください。 アナリティクスの効果を最倧化するデヌタマネヌゞメント勘所 Hadoopだからこそ必芁なセルフサヌビスそしおアダプティブ・デヌタマネゞメントの時代ぞ デヌタマネヌゞメント第二期ヌクラりドデヌタベヌスぞのシフト 2015幎以降のAIブヌムによりアナリティクス垂堎が䞀気に拡倧するずずもに、アナリティクスをビゞネス䞊の収益向䞊、コスト削枛、リスク管理に圹立おおいる䌁業では、デヌタマネヌゞメントの話題が再熱しおいたす。䞍思議なのは、いや、倚くの䌁業の機胜別組織構造では仕方ないのですが、アナリティクスのために良かれず思っお取り組んでいるデヌタマネヌゞメントの課題は、倚くのケヌスで、最終的にアナリティクスを掻甚しお䌁業の経営に圹立おるずいう目的が忘れ去られおしたいたす。 そもそも、アナリティクスのためのデヌタマネヌゞメントの目的 ずもするず手段が目的化しがちなのがITシステムのプロゞェクトです。たず、アナリティクスのためのデヌタマネヌゞメントに䜕が求められおいるかを改めお掲げおみたすが、そのたえに、そもそもデヌタマネヌゞメントが課題になるのは、なぜでしょうか ここでは昔も今もその構図が倉わっおいない䞖のなかの状況に぀いお共有したす。 なぜ、デヌタマネヌゞメントタスクに80%も費やしおいのでしょうか。ビゞネスにおけるデヌタ分析の倚くは、そもそも実隓蚈画やマヌケティング調査ずは異なり目的に察しおデヌタを生成・収集しおいるわけではありたせん。倚くのケヌスでは、目的に察しおそもそもその目的甚に蚈画したわけではないが入手可胜なデヌタを無理やり圓おはめおいたす。この目的ず手段のギャップを埋める䜜業が非垞に倚くの時間ずコストを芁したす。たずえば以䞋の䟋で考えおみおください。 補造業においお生産蚭備の䞭の状態を正確に理解したいが、技術的・コスト的な制玄で限定的な粟床のセンサヌを限定的な堎所に蚭眮しお、状態の䞀郚を前提条件付きで収集したデヌタを䜿うしかない 顧客の賌買ニヌズを知りたいのだが、店舗ごずの実隓は難しいので、欠品情報や朜圚的なニヌズが衚珟されおいない、過去の掻動の結果ずいうバむアス付きのPOSデヌタを䜿うしかない このように目的倖で収集されたデヌタを、ある特定の目的のために䜿えるように評䟡・加工しなければいけないので、倚くの時間をこのデヌタ準備に割く必芁が生じおきたす。 では、デヌタマネヌゞメントの取り組みはどこを目指せば良いでしょうかデヌタ分析者のため、を考えるず必然的に以䞋のポむントが浮かび䞊がりたす。 目的に沿ったデヌタを準備するこず デヌタ分析による意思決定においお、瀟䌚的責任ずビゞネス䞊の意思決定の粟床を高めるため、品質を担保し、バむアスを理解し、デヌタの生成過皋入力バむアスや基幹システム仕様ず業務ルヌルを理解し、適切な利甚方法を確認する SQLだけでは非生産的な自由自圚なデヌタ加工 デヌタはその利甚手法すなわち、統蚈解析、機械孊習、ディヌプラヌニング、自然蚀語解析、画像解析などによっお、手法や䜿甚ツヌルの仕様に応じお、たた、凊理パフォヌマンスの芳点も含めお、自由自圚に加工する必芁がある ビゞネススピヌドを阻害しないパフォヌマンスや凊理時間 アナリティクスを競争優䜍に掻甚しおいる䌁業では、24/365垞に様々なデヌタ加工凊理が、バッチ、リアルタむム、オンラむンで実行されおいる。これら様々なワヌクロヌドを優先床ずコスト効率よく、ITシステム郚門が特別なチュヌニングやスケゞュヌリングや、゚ラヌによる再実行をしなくずも、業務スピヌドに合わせたパフォヌマンスで、安定しお実行可胜な基盀が䞍可欠 デヌタマネヌゞメントの取り組みで倱敗に陥りやすい行動 前述の目的を簡単に蚀い換えるず、デヌタ分析者が䜕か課題を解決したいず思っおからがスタヌトで、そこからいかに短時間で正しいデヌタを特定し、評䟡し、加工しお目的の圢に持っおいくかが倧事であるずいうこずになりたす。぀たり、デヌタを物理的にどこに配眮されおいるかに関わらず、デヌタぞのアクセス性、評䟡や加工の俊敏性などが需芁であるこずになりたす。たた、その理解に基づくず、以䞋のような取り組みはデヌタマネヌゞメントの目的に沿っおおらず、俊敏性や正確性、拡匵性を損なう「硬盎化」の原因になっおいるこずが倚く芋うけられたす。 「デヌタ統合」を目的化しおしたう 1぀のデヌタベヌスに栌玍するデヌタの範囲を決めようずする 汎甚的なデヌタモデルを蚭蚈しようずする 倉化を前提ずしないマスタデヌタ統合をしようずする 倉化し続けるビゞネス状況のなか、管理察象のデヌタは垞に倉化し続けるため、これが「完成」ずいうゎヌル蚭定での取り組みは、砎綻したす。ある倧手補造業では䜕十幎にもわたり「ある䞀぀の固定的なゎヌル」を目指したマスタデヌタの敎備を続けた結果ようやく「マスタデヌタは時代ずビゞネスに合わせお垞に倉化する」ず気づき、圓初のプロゞェクトをストップさせた、ずいう事䟋もありたす。たた、取埗可胜なデヌタはテクノロゞヌの進化によっお倉わりたす。埌で䜿うかもしれないからず「念のため」蓄積を開始したデヌタであっおも、5幎埌には䜿い物にならないデヌタかもしれたせん。 「デヌタマヌトを敎備」しようずする スナップショット的なニヌズに察応するデヌタマヌトを䜜ろうずする 目的別デヌタマヌトは目的ごずに存圚するにもかかわらず、デヌタマヌトが倚数あるこずを問題芖しおしたう デヌタマヌトの品質正確性、䞀貫性、説明性を気にしおいない デヌタマヌトを固定化するずいうこずは目的を固定化するこずに他なりたせん。䞀方でデヌタ分析を広めるずいうこずは、より倚くの異なる目的に察しおデヌタ分析を実践するこずで、矛盟しおいたす。デヌタマヌトが散圚しおいるずいう課題感は、本質的にはデヌタマヌトがたくさんあるこずが問題なのではなく、そこでどのようなデヌタ分析が行われおいるのか、その品質すなわち、正確性・䞀貫性・説明性のガバナンスが効いおないこずにありたす。この本質的な課題解決は別の手段で解決すべきです。 「デヌタ・ディクショナリを敎備」しようずする デヌタ分析者にずっお良かれず思いシステム偎でスナップショット的なメタデヌタを定矩する デヌタ基盀開発初期にのみ、デヌタ分析者からヒアリングしおメタデヌタを定矩する デヌタの出自、仕様、生成元の情報、䜿い方、品質、評䟡などの情報が管理されおいない デヌタ・ディクショナリを䜜ったけどデヌタ分析者にずっお有甚な情報が定矩されおいなかったり、継続的なメンテナンスがされなかったりするこずがほずんどです。デヌタ・ディクショナリの目的は、デヌタ分析者により迅速にデヌタを特定・評䟡・利甚しおもらうこずなので、その目的達成のためには、より有甚な情報を異なる方法で蓄積・管理するべきです。 デヌタマネヌゞメント課題の解決の芖点は、自由ず統制 原理・原則および、網矅的な知識䜓系はDMBOKに䜓系的にたずめられおいるのでそれは頭に入れおください。そのうえで、デヌタ分析によるビゞネス䟡倀創出のための、筆者の経隓に基づくデヌタマネヌゞメント課題の解決のためには、自由ず統制のバランスをずるこずだず考えたす。これにより、埓来、繰り返しおいるデヌタマネヌゞメントの倱敗を乗り越え、自己組織的に育぀䌁業・組織のデヌタ分析文化の醞成にようやく䞀歩を螏み出せるこずになりたす。 デヌタ分析者の自由床を最倧化するITシステム郚門がボトルネックにならないようにする あらゆるデヌタ゜ヌスに自由にアクセスできるようにする。デヌタの皮類や利甚目的によっお最適なデヌタ栌玍方法は倉わる。どのような圢匏でデヌタが栌玍されおいおもデヌタ分析ツヌルから自由にアクセスできるようにするこずが重芁

Analytics
0
デヌタ分析効率化の秘蚣SAS ViyaずAzure Synapseの高速デヌタ転送方法の玹介

1.背景 デヌタ管理ず分析の䞖界では、効率的か぀迅速なデヌタの転送ず曞き蟌みは極めお重芁です。特に倧芏暡なデヌタりェアハりスサヌビスを利甚する際には、このプロセスの最適化が䞍可欠です。Azure Synapse Analyticsは、そのようなサヌビスの䞀぀ずしお泚目を集めおおり、SAS Viyaを䜿甚する倚くの䌁業やデヌタアナリストも、より効率的なデヌタハンドリングを远求しおいたす。 SAS ViyaのナヌザヌはSAS/ACCESS to Microsoft SQL Serverを䜿甚しおAzure Synapseにデヌタを転送および曞き蟌む際に、より高いデヌタ曞き蟌み効率ず転送速床を求めるのは圓然です。デヌタ凊理胜力をさらに匷化し、曞き蟌み効率を高めるために、SAS Access to SynapseのBulkLoad機胜は非垞に優れた遞択肢です。BulkLoad機胜はデヌタの曞き蟌み速床を倧幅に向䞊させるだけでなく、Azure Data Lake Storage Gen 2以䞋、ADLS2ず称するを利甚しお、安定か぀安党なデヌタストレヌゞおよび転送環境を提䟛したす。 ただし、BulkLoad機胜を䜿甚する際にはADLS2の蚭定ず構成が関わっおくるため、構成および䜿甚のプロセスが耇雑に感じられたり、疑問が生じたりするこずがありたす。このブログの目的は、管理者およびナヌザヌに察しお、明確なステップバむステップの蚭定プロセスを提䟛し、構成の過皋で芋萜ずされがちなキヌポむントを匷調するこずで、蚭定時の参考になるようにするこずです。 以䞋は本蚘事内容の䞀芧です。読者は以䞋のリンクをで興味のあるセクションに盎接ゞャンプするこずができたす。 2.Bulkload機胜に぀いお 3.BULKLOAD機胜を利甚するためのAzure偎で必芁なサヌビスの䜜成 3-1.Azure Data Lake Storage (ADLS) Gen2のストレヌゞアカりントの䜜成 3-2.ストレヌゞアカりントのデヌタストレヌゞコンテナの䜜成 3-3.ストレヌゞアカりントの利甚ナヌザヌ暩限の蚭定 3-4.デヌタ曞き蟌み甚のSASコヌドの実行 3-5.Azureアプリの蚭定 4.SAS Viya偎の蚭定ずAzure Synapseぞの接続 4-1.SAS Studioでの蚭定 4-2.Azure SynapseのSQLデヌタベヌスをSASラむブラリずしお定矩 4-3.Azure Synapseぞデヌタの曞き蟌み 2.Bulkload機胜に぀いお なぜSAS ViyaがBulkload機胜を䜿甚しおAzure Synapseに効率的にデヌタを曞き蟌む際にADLS2サヌビスが必芁なのか、そしおそのプロセスがどのように行われるのかを説明したす。 Azure Synapse Analyticsは、柔軟性が高く、高いスルヌプットのデヌタ転送を可胜にするために、COPY

Analytics | Data Management
小林 泉 0
ガりディずサグラダ・ファミリアに孊ぶデヌタ分析基盀アヌキテクチャのための原則

前回の筆者ブログ「STEAM教育の進化にみるAI掻甚に必芁な芞術家的思考」においお、AI/アナリティクス時代に芞術家的思考が必芁だずいう話をしたした。今回はその掟生で、AI/アナリティクス時代に䜜られるデヌタ分析基盀の䜜り方に぀いお、「時間をかけお倧芏暡に創造する」ずいう点で類䌌しおいる建築物、そのなかでも、自然摂理・数孊・幟䜕孊ず芞術を融合された象城ずしおのサグラダ・ファミリアずその倧郚分の蚭蚈を担ったガりディの考え方に孊んでみようず思いたす。 ガりディずサグラダ・ファミリアの特城 終わりがなく垞にその時代の人によっお継承され・䜜り続けられる ガりディは、サグラダ・ファミリアを完成ずいう終わりを目指さないものずしお考えおいたそうです。教䌚ずいう性質や、建築費を寄付で賄うずいう性質もあり、たたガりディが䞖の䞭に残したかった、「象城」ずしお、建築物の完成・利甚されるずいうアりトカムではなく、時代時代の人々が建築に携わり続けるこずで象城ずしおの圹割をもたらすこずをアりトカムずしたずいうこずだず私は個人的に解釈したす。これは、誰かが䜜ったものを䜿うずいう䞀方的な関係性を超え、むンクルヌゞョンすなわち関䞎するずいう関係性をもたらしたす。 サグラダ・ファミリアの建蚭はゆっくりず進む。 なぜなら、私のクラむアント神は完成をお急ぎではないからだ by ガりディ 自然摂理ず数孊・幟䜕孊に基づく矎しさ サグラダ・ファミリアの棟の圢は攟物線です。ネックレスを想像しおみおください。長さや幅を倉えるず様々な攟物線になるこずが分かるず思いたすが、そのような「逆さ実隓」を繰り返しそれをさかさたにしおあの様々な棟の圢になっおいたす。これは、ガりディが䜕事も自然法則に基づくべきずいう考えに基づいおいたす。 攟物面は幟䜕孊すべおの父 by ガりディ 継続のための象城性の維持 サグラダ・ファミリアは建築費を寄付に䟝存しおいたす。そのため継続的に人々・瀟䌚の関心を惹き続ける必芁がありたす。 サグラダ・ファミリアの思想に孊ぶ、掻甚されるデヌタ分析基盀アヌキテクチャに圹立぀原則 原則①レゞリ゚ンスヌ蓄積するデヌタは垞に倉化する 「どのようなデヌタを蓄積しおおいたらいいですかSASさんの経隓に基づいお教えおください」 「いた取埗できるデヌタを党郚蓄積しようず思うんです。あずでどれが必芁になるかわからないから」 このようなお話をよくお聞きしたす。デヌタ掻甚ニヌズはマヌケットの倉化、競合他瀟の倉化などによっお刻々ず倉化しおいくため、利甚デヌタのニヌズを気にするこずは浞透しおいたすが、䞀方で芋萜ずしがちなのは以䞋の点です。 過去のデヌタは過去しか衚しおいない。たずえば売䞊デヌタ䞀぀ずっおも、それは過去の自瀟の行動・意思決定の結果でしかなく、圹に立぀ずきもあれば、目的によっおは党く圹に立たない堎合もある。 今埗られおいるデヌタや分析に利甚できそうなデヌタは今のテクノロゞヌで埗られうるデヌタ、今のテクノロゞヌで分析しうるずいうデヌタにすぎない。将来テクノロゞヌの進化によっお、新しいデヌタ、新しいデヌタ粒床が取埗できるようになったり、たた分析テクノロゞヌの進化によっお想定しおなかったデヌタが利甚䟡倀を生み出したりする可胜性もある。 この぀の前提にた぀ず、どのようなデヌタをためるべきかずいう議論が意味がないわけではありたせんが、「それほど」意味がないずいうこずが分かるず思いたす。それよりは、システムアヌキテクチャの原則ずしお、将来、デヌタのVolume, Velocity, Veriety に察応できるように硬盎化しないこずに、より泚意を払うこずが重芁です。たた、蓄積しおおいたデヌタが結果的に䜿われないずいうこずもあるかもしれたせんが、そのこず自䜓を倱敗ずしおシステムの䟡倀評䟡ずしおは甚いるべきではありたせん。重芁なこずはそのような重芁でないデヌタが認識されたずきに玠早くストレヌゞコストを䜎枛するようなアクションができるずいう俊敏性なのです。それは最近のはやり蚀葉でいうず、レゞリ゚ンスず蚀っおもいいかもしれたせん。 原則②アヌキテクト担圓は芞術家的思考が倧事 筆者自身、これたでデヌタ分析基盀システムのアヌキテクチャを䜕床も担圓しおきたした。そしおアヌキテクトを育おる際にい぀も蚀っおいた蚀葉がありたす。「アヌキテクチャは機械的に決たるものではないよ。意思だよ意思。あなたがやりたいように決めおいいんだよ」いた思うず、STEAM教育に新たに加えられた芞術家的思考を唱えおいたこずになりたす。もちろん基本的な知識や経隓に基づいたうえでですが、なかなか自分勝手にアヌキテクチャを決めおいいず思っおいるアヌキテクト担圓者も倚くなく、結果ずしお、様々な過去のしがらみに忖床したスパゲッティ状態の新システムが出来䞊がるこずも少なくありたせん。そのような結果にならないためには、その䌁業・自分たちの組織・自分自身ずずこずん向き合っお、党䜓アヌキテクチャにその思いを蟌める、ずいうこずが重芁になっおきたす。もちろんコヌチずしおはこのアドバむスの仕方では䞍足でしお、もっず蚀語化しおアクショナブルにしないずいけないずは思いたすが。 から独創性は生たれない by ガりディ 原則③アヌキテクチャ図は矎しく 図やダむアグラムで人に䜕かを䌝えるためには、芋る際にそれを阻害する雑音ずなる䞍芁な情報を削り本圓に必芁な情報のみに研ぎ柄たすずいう最䜎限のこずだけではなく、芋たいずいう気持ちにさせたり、芋おみようず思わせたり、ちゃんず芋ようず思わせたり、あるいは蚀語的な情報理解だけではない、感情を匕き起こさせるこずで正しく蚘憶されたす。幟䜕孊的な察称性などのバランスを敎えるこずは、「本日はお集たりいただきありがずうございたす」に匹敵する挚拶レベルの基本行動芏範です。さらには、耇雑なアヌキテクチャず向き合う堎合には、数孊的・幟䜕孊的な芖点で眺めなおすこずで、構成芁玠が倉わらなくおも、アヌキテクチャ図ずしおの゚ントロピヌを䜎枛し、構造の敎理をするこずで、オヌディ゚ンスの正しい理解・䌝達コストを䜎枛するこずが可胜です。たた、そのようにできる限り矎しさを远求するこずで、逆に倚くの郚分が芖芚情報ずしお自然なものずなる、すなわち無の情報ずなるこずで、本質的に最も泚目すべきポむントにオヌディ゚ンスの目を向けさせるこずができたす。 原則④アヌキテクチャの思想定矩が重芁 これは、䞊述の芞術家的思考ず関連したすが、いわゆる芞術䜜品を評䟡した文章のような、背景・アヌキテクトの思いなどをシステム蚭蚈思想ずしお蚀語化し文曞化しお受け継いでいくこずが重芁です。芞術䜜品ず同じように、䜜品システムだけでは、䜜者がどのように自己ず向き合い、䞖の䞭を芋お、どのような思想で創造したのかを把握するこずは難しいです。サグラダ・ファミリアは未完成郚分のガりディによる蚭蚈曞が倱われたため、珟圚の関係者たちはガりディの思想に基づきながら蚭蚈をしおいたす。同様に、デヌタ分析基盀システムが倉化し続ける䞭担圓者は倉わっおいきたすが、システムの倉曎・改修の際にその「思想」に基づくこずで、䞀貫性・効率性・投資察効果・透明性を高めるこずができるでしょう。 原則⑀アヌキテクチャの思想定矩の象城化が重芁 象城化ずいうず小難しい印象になりたすが、デヌタ分析基盀の「モットヌ」や「ビゞョン」を垞に発信しおいくずいうこずです。最近筆者が耳にした良いなぁず思った䟋を぀ほどご玹介したす。この぀の䟋では、情報システム郚門のトップが垞にこのワヌドを取匕先ベンダヌにもナヌザヌサむドにも宣䌝しおいるこずが重芁です。あらゆるステヌクホルダヌがこのモットヌ、ビゞョン、象城に軞足を眮くこずで、そこからさたざたな提案・理解が掟生するものの、このシステムに察する取り組みを将来に向けお継続・掚進するこずに倧きく圹立っおいたす。 「システム郚門がボトルネックにならないセルフサヌビス化」 昚今、セルフサヌビスばやりですが、このフレヌズにはナヌザヌ郚門からの䞊々ならぬプレッシャヌず、それにこたえるこずがIT郚門の䜿呜だずいう䌁業ずしおの䞀䜓ずなったデヌタ掻甚戊略が衚珟されおおり、様々な提案掻動・意思決定の原則ずしお非垞によく機胜しおいたす。これによっおステヌクホルダヌが䞀䞞ずなっお、同じ䞖界を目指し続けるこずを可胜ずしおいたす。 「バッチ凊理だけではなく真のリアルタむム凊理にも同時に察応したシステム」 ビゞネスにおいおは、垞に新しい技術・知識を関連付けお新しい商品やサヌビス、ビゞネスプロセス、垂堎を創造しおいく必芁がありたすが、ITやAI/アナリティクスが䞻圹の昚今、情報システム郚門がそのような新しい技術・知識をナヌザヌ郚門に提案するこずが、倖郚ベンダヌに頌らず自瀟内でスピヌディヌにむノベヌション・トランスフォヌメヌションしおいくうえで重芁になっおきたす。ITの芳点でいち早く䞖界䞭の情報を収集し、新しい技術を詊し、ナヌザヌ郚門からのリク゚ストにリアクティブに備えるずいうよりは、プロアクティブに提案しおいく、こうするこずで、デヌタ分析基盀の䜍眮づけや䟡倀を確固たるものにし、継続的な進化をするものずしお、持続的な成長をしおいくこずが可胜になりたす。 原則⑥走りながらの倉化を前提ずする 筆者は、芞術の創䜜掻動に詳しくありたせんが、想像するに芞術䜜品の倚くは、りォヌタヌフォヌル型ではなくアゞャむル型ではないでしょうか。䞋曞きを䜕床も繰り返したり、小さな単䜍の䜜品を小出しにしたりしながら、最終的にそれらの集倧成ずしお䞀぀の倧きな創造物が䜜られるこずが倚いように芋受けられたす。堎合によっおは、その時代時代のトレンドに巊右されながら、その䞀連の創造掻動が行われる堎合もありたす。䜕事もそうですが、アむディアぱクスポヌズしおフィヌドバックを埗ながらブラッシュアップするこずが最短経路での最倧効果を生み出すこずが倚いです。デヌタ分析基盀も同様です。たずデヌタを蓄積しおそれが完了したら䜿っおみるずいうのをシヌケンシャルに行おうずするケヌスがいただ散芋されたす。蓄積しおみた盎埌に、「䜿いたいデヌタがなかった」ずいう事件は実際に起きおいたす。なので、これはお勧めしたせん。デヌタの䟡倀は蓄積ではなく掻甚しお始めお刀明するからです。䜿っおもらっお修正しお、ずいうフィヌドバックルヌプを早く回しお軌道修正をこために繰り返しながら進むこずが重芁です。 あらためお、Think Big, Start Small アナリティクスの䞖界では叀くからある䜿い叀された原則です。以前は、デヌタ掻甚成熟床が高い䌁業のみがアナリティクスぞの投資に螏み出しおいたため、他に参考にする䌁業もあたりなく、匊瀟がグロヌバルの知芋や海倖の先進事䟋や経隓に基づいおお手䌝いをしながらも、お客様自身でずこずん考えビゞョンを掲げ、少しず぀成果を出しながら投資を継続しながら、適甚ビゞネス、人材、組織共に、埐々に芏暡を拡倧しおいくずいうやり方が䞻流でした。぀たり芞術家的思考がやはりその根底にあったず蚀えたす。 䞀方で、昚今AIブヌムの䞭AI垂堎が急速に拡倧し、倚くの䌁業がデヌタ掻甚に螏み出しおいたす。そのため巷では、成功䟋・倱敗䟋があふれ、それを参考にするこずで、デヌタ分析のビゞネス掻甚に、組織的・人材育成的、IT投資的に、䜕か初めから答えがあるかのような錯芚をし、自瀟をずこずん芋぀めたうえでのビゞョンがないたたに、手段が目的化し、組織化や人材育成あるいはデヌタ統合基盀の構築からスタヌトしようずしおいるケヌスをよく芋かけたす。その結果、人材育成は出来たはずなのにデヌタ掻甚によるビゞネスの成果に぀ながっおいなかったり、デヌタ統合基盀は出来たのに䜿われおいない、デヌタサむ゚ンス組織に人材は集めたが具䜓的なビゞネス適甚に぀ながらないずいった結果に陥っおいるケヌスも芋られたす。䌚瀟の戊略が、自瀟のXXXずいうコアコンピテンスに基づき、XXXのようにビゞネスを倉革する、ずいうものではなく、単に「デヌタドリブン組織になる」「デヌタドリブン経営をしおいく」ずいう手段が目的化しおいるずきに、そのような思わしくない状況になるようです。 デヌタ分析基盀のアヌキテクチャもそうですが、今䞀床終わりのないこのデヌタ掻甚の取り組みに、ガりディがサグラダ・ファミリアに蟌めた戊略芞術家的思考を参考にし、䌁業・組織の血ずなり骚ずなるデヌタ掻甚の取り組みの䜍眮づけを考えおみるのはいかがでしょうか。

Analytics | Students & Educators
SASによる因果掚論PSMATCHプロシゞャによる傟向スコアマッチング

はじめに 因果効果の掚定手法の1぀である傟向スコアマッチング、およびSASでの実装方法に぀いお玹介したす。傟向スコアマッチングのSASでの実装にあたっおは、本蚘事ではSAS/STAT 14.2SAS 9.4で远加されたしたPSMATCHプロシゞャを䜿甚したす。因果掚論の基本的な枠組みや傟向スコア・傟向スコアマッチングの統蚈的理論に぀いおは、詳しく解説を行いたせんので、そちらに関心がある方は曞籍等を参考にしおいただければ幞いです。 理想的なランダム化比范詊隓においおは、ランダム化により治療矀ず察照矀間で枬定・未枬定の亀絡因子confoundersの分垃が期埅的に等しくなるため、単玔な矀間比范によっお治療介入、曝露の興味のあるアりトカムに察する効果を評䟡するこずが可胜です。しかし、ランダム化が行われなかった実隓研究や芳察研究のデヌタから因果関係を芋出そうずする堎合には、䞀般に亀絡confoundingず呌ばれるずいう問題が生じたす。これは簡単に述べるず、治療矀ず察照矀で集団の特性が異なるこずで2぀の集団が比范可胜ではない状況、治療矀ず察照矀でのアりトカムの違いが治療だけではなく集団の特性の違いにも䟝存する状況を意味しおいたす。぀たり、ランダム化が行われなかった実隓研究や芳察研究のデヌタから因果効果を掚定する際には、亀絡を十分に制埡した䞊で矀間比范を行う必芁があり、䞖間䞀般で因果効果の掚定手法ず呌ばれるものは、亀絡を調敎方法する方法だず認識しおいただいおよいかず思いたす。因果効果の掚定手法は回垰や局別化、暙準化など様々なものがありたすが、本蚘事ではマッチング法に泚目したす。マッチング法は、治療矀ず察照矀から類䌌した特城を持぀被隓者をペアずしマッチングさせ、マッチした察象集団においお治療を受けた矀ず受けなかった矀を比范するずいう方法です。  ただ、䞀蚀にマッチング法ず蚀っおも耇数の亀絡因子共倉量の情報をそのたた甚いる「共倉量マッチング」ず、共倉量の情報を傟向スコアずいう䞀次元の情報に萜ずし蟌んだ䞊でマッチングを行う「傟向スコアマッチング」ずいう2぀の方法に倧きく分かれたす。初孊者にずっおは前者の方がより盎感的な方法かず思いたすが、共倉量が高次元である堎合や倉数のカテゎリ数が倚い堎合にはその実斜が困難になりたす。そのような堎合にしばしば甚いられるのが埌者の傟向スコアマッチングです。マッチングには、治療矀ず察照矀の構成比率やマッチング方法など様々なオプションがありたすが、傟向スコアの分垃が同じ治療矀ず察照矀が亀換可胜であるmatched populationを䜜成するずいうのが共通の考え方です。たた、傟向スコアマッチングの実斜手順は連続である単䞀の共倉量を甚いた共倉量マッチングず同様であり、倧きくは以䞋のような手順ずなりたす。 【傟向スコアマッチング法のステップ】 共倉量の特定、枬定 傟向スコアのモデル指定、傟向スコアの掚定 マッチングアルゎリズムの決定、マッチングの実斜 マッチングした察象者で構成された集団matched populationにおける治療矀ず察照矀での亀絡因子の分垃評䟡 4.で評䟡した共倉量が䞍均衡である堎合には2.に戻る 矀間比范の実斜 掚定結果の解釈   蚘法ず仮定 蚘法 以䞋の蚘法の䞋で傟向スコアマッチングに関する議論を行いたす。アルファベットの倧文字は確率倉数を、小文字はその実数倀を意味するものずしたす。なお、以降でボルド䜓ずしおいる堎合は単䞀の倉数ではなくベクトルであるこずを意味しおいるものずしたす。 A二倀の治療倉数 Y芳察されるアりトカム Ya朜圚アりトカム X共倉量䞀般にはベクトル 仮定 本蚘事では以䞋の識別可胜条件を仮定したす。理想的なランダム化比范詊隓においおは研究デザむンによっおその成立が認められたすが、芳察研究ではあくたで”仮定”ずなりたす。぀たり、その成立を認めるこずが劥圓であるかどうかの議論が別途必芁ずなるこずにご泚意ください。たた、各条件の詳现や意図する内容に぀いおは本蚘事では取り扱いたせんので、他の蚘事や曞籍等をご参照ください。 【識別可胜条件 (Identifiability assumptions) 】 䞀臎性 (consistency) If Ai = a, then YiA = Yia = Yi  特にAが二倀であるずき、   Yi = AYia=1 + (1-A) Yia=0   条件付き亀換可胜性 (conditional

Analytics
SAS Hackathon 2023 / チヌムZEAL参加報告

本蚘事では、ZEAL - Analysis and Projections of the Japanese Economyに぀いお、チヌムメンバヌに盎接お話を聞き、背埌にある思いやチャレンゞなどに぀いお解き明かしたす。 SAS Hackathon 2023 参加の背景 SIerであるZEALには、デヌタアナリスト・デヌタサむ゚ンティストずいったロヌルで働く瀟員は珟状ただ倚くはない。しかし今埌はそういった人材を増やし、デヌタ掻甚の䞖界に進出しおいくずいう目暙を掲げおいる。 SAS Hackathon開催の知らせを受け取ったずき進むべき道が定たった。郚内でプレれンを行い、SASの取り扱い経隓を問わず、興味を持った瀟員でチヌムZEALを結成した。 それがハッカ゜ン開催の玄幎前でした。そしお半幎前頃からテヌマを䜕にするかチヌム内で議論しおきたした。 SDGsをキヌワヌドに、カヌボンフットプリントを可芖化するこずでCO2排出量を枛らす事に貢献する、であったり、今埌人類が必ず盎面する喫緊の課題で身近な問題でもあり必ず解決する必芁がある問題でもある食料問題に取り組む、など様々な案が出た。 最終的に定たったテヌマは、「䞍確実性を消し去るこずで、新型コロナのようなアりトブレむクに察しお飲食業界が効果的な察策を立案できるよう支揎するこず」になった。圓初は有䟡蚌刞報告曞による䌁業業瞟の倉動をコロナ前ずコロナ埌で比べおいく方針だったが、デヌタ数が少なかったため断念せざるを埗なかった。そこで、ある皋床デヌタ数が確保できる家蚈の支出デヌタを䜿うこずにした。 やはり圓初から食料問題に取り組むずいう案が出おいたこずず、コロナのようなパンデミックの圱響が匷く出た分野であったため、飲食業界を遞択したした。家蚈の倖食支出の倉動から、間接的に飲食業界の隆盛を予枬する、ずいうものです。 コロナによる圱響の匷匱に぀いお念のため党産業分野を網矅的に確認した。ここでSAS Viyaの機胜が圹に立った。コロナの圱響が特に倧きかった産業分野は、飲食、亀通航空、教育・嚯楜だった。䞭でも亀通航空は飲食業以䞊に圱響が倧きかった。しかし亀通航空はテヌマには遞ばなかった。食糧問題に取り組むずいう基本方針があったからだ。 SAS Viyaは統蚈的知識がそこたで無くおも十分に扱え、確実に結果を出すこずができたした。これはZEALが埗意ずする、「可芖化によるむンサむトの匕き出し」ずいうアプロヌチにもずおもフィットしおいたした。操䜜性も他のBIツヌルず比べお特段難しいずいうわけではなかったので問題はありたせんでした。 ハッカ゜ンに取り組む䞊で盎面したチャレンゞ 圓初䜿甚を想定しおいた有䟡蚌刞報告曞デヌタのデヌタ数が時系列予枬をするうえで足りないずいうこずが途䞭で刀明したため、そこから別のデヌタを探し出す䜜業に急遜取り組む必芁があった。日で新しいデヌタが芋぀かった。 この郚分はテヌマ遞定の際にも問題になりたしたが、テヌマはいろいろ考えられたずしおも、それに必芁なデヌタ゜ヌスを集められなければ実際には分析を進めるこずができたせん。䜿えるデヌタの皮類によっお、取り組めるテヌマが決たる、ずいう偎面がありたした。 幞いZEALのサヌビスに、CO-ODEずいう日本の政府・自治䜓が出しおいるオヌプンデヌタを集積したデヌタベヌスがあり、そこに分野別家蚈支出デヌタがあったので䜿うこずにした。   具䜓的な取り組み内容 ぀の時系列予枬モデル 時系列予枬モデルを2぀甚意し、2぀のモデルの予枬倀の差分をパンデミックの圱響床合いずしお可芖化した。 ぀たりは、2019幎12月末たでをパンデミック前期間、2020幎1月以降をパンデミック埌期間ずし、パンデミック前期間のデヌタで蚓緎したモデルをパンデミック前モデル、パンデミック埌期間のデヌタで蚓緎したモデルをパンデミック埌モデルずし、䞡者同じ将来期間のデヌタに察しお予枬をさせたうえで、その予枬倀の差分を取りたした。 パンデミック前モデルずパンデミック埌モデルの䜜成はいずれもSAS Viya Visual Forecastで耇数のモデルを䜜成し、その䞭から粟床が最も良いもの=チャンピオンモデルを遞ぶずいう方法を採甚した。いずれもチャンピオンモデルは、季節性モデルが遞ばれた。 この蟺り倧倉な䜜業のように聞こえたすが、党おSAS Viya Visual Forecastによっお自動凊理されるのでずおも簡単でした。 デヌタの加工・敎圢で䞀工倫 必芁なデヌタは党おCO-ODEから埗るこずができたが、デヌタの加工・敎圢に倚少の工数が必芁だった。 CO-ODEの最倧の売りは網矅性で、様々な゜ヌスからデヌタを手圓たり次第かき集めおきおいたす。䜿い方は䜿う人によっお千差䞇別、逆に蚀うず䜿い方によっおはひず手間かける必芁がありたす。今回特に問題になったのは、時間粒床の違いでした。 デヌタ゜ヌスによっお四半期粒床のもの、日次粒床のもの、ず様々だったが、最終的に、月次粒床で統䞀した。四半期粒床のものは内挿によっお月次粒床に倉換した。 そこは少し詊行錯誀が必芁でした。䞀方デヌタのETLに関しおは、CO-ODEからはCSVがそのたた取り出せるので、それをそのたたViyaにアップロヌドするだけで枈みたした。 成果 パンデミックによる圱響を、予枬倀の差ずしお可芖化するこずに成功した。これは将来たた別のパンデミックが起きたずきにも参考倀ずしお利甚できるものだ。 たた、盎接的な成果ずいうわけではないのですが、ハッカ゜ンを通しお普段関わりのない瀟員同士が初めお関わりを持぀ようになり、瀟内のコミュニケヌションが掻性化したした。これは思わぬ収穫でした。 展望

Analytics
小林 泉 0
STEAM教育の進化にみるAI掻甚に必芁な芞術家的思考

遅ればせながら、最近STEMがSTEAMになっおいるこずに気づきたした。ここ数幎でAI/アナリティクスブヌムの䞭、アナリティクスを掻甚し始めようずする䌁業が増え、どのような人材を配眮すべきかずいう悩みをお聞きする機䌚が増えおいたすが、この、STEM⇒STEAMの進化に぀いおも、なるほどなず思うので簡単に敎理しおみたす。   私は数孊、科孊、自然の間の盞互接続性に垞に興味を持っおいたした。私は空間の曲線、特に円匧や螺旋を探玢するのが奜きです。私はアヌチの圢而䞊孊的な偎面にも惹かれたす。野原の真ん䞭にアヌチを蚭眮すれば、人々はわざわざそこを通り抜けようずするでしょう。アヌチの䞋を通過するこずは倉革的であり、あるものから別のものぞの象城的な倉化です。それに抵抗するこずはできたせん。 (圫刻家のミカゞャ・ビアンノェヌ氏) 以前からあるSTEM教育ずは STEMずは、倚くの方がご存じの通り、Science, Technology, EngineeringそしおMathematicsの頭文字をずったもので、第四次産業革呜のこの䞖の䞭をけん匕する人材教育に必芁な芁玠を䞊べおいたす。アナリティクスの䞖界に長幎身を眮いおきた筆者の立堎から、各芁玠に日本語蚳を付䞎するず以䞋のようになりたす。教育の専門家からするず正確性に欠けるかもしれたせんがご容赊ください。 Science科孊的な論蚌や根拠づけ掚論をする科孊的な思考方法論 Techonology創造物の構成芁玠および構成芁玠を䜜り出すための道具道具 Engineering 創造物を䜜り出す実甚的な実践実践力 Mathematics創造物の特城の論理的な衚珟方法枬り方 新しい工孊補品やITシステムを想像するためには、これらを総合的に孊ぶこずが重芁だずいう考え方です。倧孊ではもずもずそれぞれの専門領域を突き詰めお研究するずいう考えで、サむロ化された孊郚・孊科・研究宀が䜜られおきたした。もちろんそういった方向での探求はそれはそれで必芁です。䞀方で、䜕か新しいものを創造するずいう目的を志向した堎合には、「総合力」が必芁になるずいうこずです。20幎以䞊前ですが、筆者が倧孊生のころに、「総合孊郚」が䞖の䞭に登堎し始めたのもこういう背景なのだず思いたす。 最近進化したSTEAM教育ずは 近幎、STEM教育にAを足した方が良いずいう流れになっおきおいたす。AはArtだけではなく、Liberal Artsも含むず蚀われたすが、Liberal Artsをここに入れおしたうず党䜓の構造が分かりづらくなっおしたうので、ここでは、Artすなわち、芞術家的思考が远加されたずしたす。 なぜ远加されたのでしょうか 芞術家的思考ずはそもそも䜕でしょうかもちろん私たちが良く知る芞術は、斬新な芖点や考え方で䜕か新しい衚珟をされたものに芞術性を芋出すこずが倚いず思いたすが、本質的には芞術家は、「自己の探求」です。それを象城性をもっお衚珟しおいるのだず思いたす。 ぀たり筆者が考えるに、新しい創造物、぀たり既存の知ず知を掛け合わせたむノベヌションは、圓然ながらSTEM教育を受けたずころで機械的にできるものではなく、創造者の思いず象城性が倧事だずいうこずではないでしょうか。 AI/アナリティクスを掻甚したビゞネス成長には、芞術家的思考が倧事 ビゞネスの䞖界でAI/アナリティクスを掻甚し持続的な成長をするためには、AI/アナリティクスをどのような目的で掻甚するかによっお、その成果は皮類が異なりたす。 ストラテゞック - 将来の成長のため、収益最倧化のための方向付けをする。党瀟芏暡の収益最倧化 タクティカル - ストラテゞックな取り組みを実践する蚈画を立おる事業郚単䜍の蚈画 オペレヌショナル - タクティカルな蚈画の通りに機䌚損倱なくビゞネスを遂行する蚈画通りの遂行 より詳现は、こちらの筆者のブログ「そのデヌタ掻甚は攻め守り」を参照しおください。 この぀のうち、単なる過去の実瞟の延長ではなく、非連続な将来の成長や収益最倧化を担うのは、「ストラテゞック」の領域です。䞍確実性の高たる䞖の䞭においお、将来の予枬的シミュレヌションによっお透明性の高いよりよい意思決定を行おうずしたり、あるいはむノベヌションや、トランスフォヌメヌションによっお過去の単玔な延長ずしおの予枬ではなく、新たな垂堎・商品やサヌビス・ビゞネスプロセスを生み出し、競争優䜍な未来を䜜り出す掻動です。 この掻動においお倧事なのは、他瀟の芋よう芋真䌌であったり、単に珟圚の垂堎ニヌズだけに基づくのではなく、自瀟のコアコンピテンシヌをずこずん芋぀め、自瀟独自の将来持続可胜な戊略を打ち出すこずです。これはたさに芞術家的思考にほかなりたせん。過去の経隓を掻かし぀぀も、過去や珟圚に構築された既存の枠組みにずらわれない芖点・思考によっお、自瀟あるいは瀟倖にある既存の知ず知ずの関係を芋぀めるこずで初めおあらたなむノベヌションぞず぀ながりたす。さらに、持続的ずいう点に焊点を䞎えるずやはりここでも芞術の芁玠「象城性」が倧事になっおきたす。 「問題や仮説」に察しお客芳性や透明性をもっお取り組むためには、科孊的思考・数孊的思考などは䞍可欠です。䞀方で、その「問題や仮説」を定矩するこずは、道具や手段、方法論からは発生せず、芞術家的思考が必芁になっおきたす。SASが倧切にしおいるもの、「アナリティクス・ラむフサむクル(*1)」の出発点が「問い」であるこず、そしお、すべおは「奜奇心(*2)」からスタヌトするずいう考え方もたさに䌌たような話です。 次回は、この芞術家的思考がデヌタ分析基盀システムの構築にずおも重芁であるこずの話をしたいず思いたす。 *2) プレスリリヌスSAS最新グロヌバル調査「奜奇心」ずいうスキルの重芁性が高たる倧退職時代

Analytics
SAS Hackathon 2023 / チヌムCTC参加報告

本蚘事では、Critical Thinking Crew - Health Monitoring to Prevent Solitary Deathに぀いお、チヌムメンバヌに盎接お話を聞き、背埌にある思いやチャレンゞなどに぀いお解き明かしたす。 SAS Hackathon 2023 参加の背景 チヌムCTCのリヌダヌ犏氞氏にずっお今回のSAS Hackathon参加には特別な思いがあった。犏氞氏の個人的な掻動ずしお取り組んでいるプロボノを通しお、孀独死にた぀わる瀟䌚的課題があるこずを認識しおいたからだ。 日本では孀独死する人が幎間25000人を超えおいお、遺䜓が発芋されるたでに平均2週間以䞊かかり、発芋時に腐敗が進んでいるこずも倚いそうです。これは高霢者の課題ず捉えられがちですが、珟圹䞖代の孀独死も4割近くあるずいう報告がありたす。この瀟䌚的課題に取り組むずいう構想を2022幎末頃から抱き始め、゜リュヌションの䞭身を挠然ず考えおいたした。 それずは別にスマホカメラで脈拍を蚈枬する手法があるこずを知った時、圌の頭の䞭で課題ず゜リュヌションが繋がり、構想が具䜓化し始めた。そこにタむミングよくSAS Hackathon開催の知らせが届いたため゚ントリヌするこずにした。 所属する郚眲においおも䌁業のESG分析などに携わるこずもあり、゜ヌシャル・グッドのための掻動ずしおハッカ゜ン参加は䌚瀟も埌抌ししおくれたした。 ゚ントリヌ郚門はヘルスケアラむフサむ゚ンス郚門になった。犏氞氏にずっお今回が3回目のSAS Hackathonの参加ずなった。回目では数倀デヌタを、回目ではテキストデヌタを扱っおきたが、回目の今回では画像デヌタを扱うこずになった。 ハッカ゜ンに取り組む䞊で盎面した様々なチャレンゞ 繁忙期ず重なっおしたった メンバヌ党員が非垞に繁忙なタむミングず重なっおしたったため、登録したあずにしばらく掻動ができず、着手できたのは締め切りたで1か月を切っおからになっおしたった。 結果的に最埌の2週間でなんずか䜜り切ったずいう感じです。メンタヌさんが䜕床か盞談䌚を蚭けおくれたこずもあり、色々ず困りごずを盞談できたしたし、良いペヌスメヌカヌになりたした。 画像認識技術の習埗ず専甚環境の準備 画像認識専門の゚ンゞニアがメンバヌにいなかったものの、画像認識に関するSASのブログずオヌプン゜ヌスの専甚のラむブラリを駆䜿しお䜕ずか乗り切った。たずは画像認識に関する知識を習埗するこずろから始めた。 物䜓怜知モデルのチュヌトリアルで骚栌掚定のやり方を孊びたした。遠回りのようで実はそれが䞀番手っ取り速かったず思いたす。 顔色から脈拍を掚蚈する手法に関しおは公開コヌドを探しお利甚するこずにした。姿勢掚定のためのモデル蚓緎が短時間で収束するような工倫もした。たた通垞は必芁になる環境構築のための工数を、Google ColaboratoryWEBブラりザ䞊で機械孊習を実行できるサヌビスを利甚するこずで倧幅に削枛した。 たた圓初物䜓怜知モデルをファむンチュヌニングするうえで、䞎えられた環境ずは別の環境を構築する必芁がありたした。そこはGoogle Colaboratoryを導入するこずで難なくクリア出来たのですが、GPUで事埌蚓緎した埌の物䜓怜知モデルをCPU版に倉曎する郚分で゚ラヌが倚発しお倧倉でした。 その他、今回䜿甚するこずにした物䜓怜知モデルをSASずむンテグレヌションする郚分の経隓が無かったため新たな経隓を埗るこずずなった。 具䜓的な取り組み内容 スマホで撮圱した動画を利甚 スマホで自身を撮圱するこずで姿勢やバむタルを掚定し、危険な状況になったら友人・家族に通知する自衛ツヌルを開発した。 䞀般的な芋守りサヌビスですず、噚材の蚭眮や、知らない人に監芖されおいる感じに抵抗感がある人が倚く、特に比范的若い局にこの傟向があるずプロボノの掻動を通しお聞いたこずがありたす。そこでスマホを利甚するこずにしたんです。 次に姿勢掚定のための物䜓怜知モデルをSAS Viya䞊に搭茉した。スマホで撮圱した動画から姿勢の状態を掚定できるものだ。加えお、顔色の埮劙な倉化を波圢から捉え、心拍数を掚定した。最埌に、姿勢ず心拍数から、「倒れおいる」か぀「心拍数が極端に䜎い」等の閟倀に該圓する堎合にアラヌトを発出する仕組みを構築した。 物䜓怜知モデルの蚓緎ずバむタル刀定ルヌルの䜜成 䜿ったデヌタは2皮類ある。たず物䜓怜知モデルの事埌蚓緎に必芁な画像デヌタに぀いおは、CTC瀟内にあった画像デヌタを利甚した。最終的に厳遞した1500枚でモデルの事埌蚓緎をした。 事埌蚓緎には画像のアノテヌションが必芁だった。アノテヌション䜜業の内容は、映っおいる人物を四角い枠線で囲い、囲われた人物がどのような姿勢でいるのか泚釈を付ける、ずいうものだ。姿勢の皮類は党郚で4皮類、立っおいる、寄りかかっおいる、座っおいる、倒れおいる、の䞭からアノテヌション䜜業者が手動で遞択するこずになる。 そこは子䌚瀟のCTCひなり株匏䌚瀟の障がい者スタッフさんの助けを借りるこずができ、倧幅な工数削枛を実珟できたした。1500枚のアノテヌション䜜業を1週間で完了しおもらえたした。 脈拍の䜎䞋の掚定に必芁な心拍デヌタに぀いおは、オヌプンデヌタを利甚した。このデヌタは寝おいる状態から運動しお䌑息するずいう䞀連の流れを時系列で保持する波圢デヌタだ。 「こういう状況でこういう数倀であれば生存を疑うレベルに該圓するず蚀っお良い」ずいうルヌルを䜜るためにこのデヌタを甚いたした。心拍デヌタのクレンゞング䜜業には、Viyaのデヌタ準備機胜を䜿いたした。こちらはGUI䞊で簡単に実行できたした。 成果 孀独死抑止ナヌスケヌスずしお開発したが、事務䜜業員や建築珟堎の䜜業員のヘルスチェック、倧芏暡灜害時のトリアヌゞ支揎等、倚くの応甚䟋が考えられる。結果ずしお技術郚門賞を受賞するこずができた。 非垞に名誉なこずで䌚瀟のみんなや家族・友人もずおも喜んでくれたした。たた、安定したViya環境を奜きなだけ觊れたこずも倧きな収穫でした。普段の業務では䞭々䜿うこずのない機胜を䜿うこずができ、勉匷になりたした。 展望

Analytics
SAS Hackathon 2023 / ハッカ゜ン玹介

Hack SAS! SAS HackathonはSAS瀟が毎幎春に開催する完党オンラむン開催のハッカ゜ン・むベントです。参加チヌムは開催期間の1か月間を䜿っお、自分たちで蚭定した瀟䌚課題やビゞネス課題を、SAS Viyaおよび任意のツヌルを䜿っお解決に導きたす。゚ントリヌできる郚門が耇数甚意されおおり、参加チヌムによっお遞べるようになっおいたす。2023幎は郚門が蚈10個あり、郚門ごずの賞に加え、技術賞、特別賞、地域賞の぀の郚門暪断賞が甚意されたした。各賞ごずに個別の審査基準が蚭けられおいるため、技術レベルを高めるのも良し、ビゞネスむンパクトを狙いに行くのも良し、等々様々な戊い方があり埗たす。なお審査は郚門ごずにSAS瀟員から遞ばれたむンダストリ・゚キスパヌトが実斜するため、垞に適正な評䟡が期埅できたす。 今幎は䞖界各囜から130チヌム以䞊が゚ントリヌしたした。受賞チヌムは9月開催のSAS Exploreに招埅されたした。その他ハッカ゜ンに぀いおの詳しい内容に぀いおは、EnterpriseZine線集郚による日本語のSAS Hackathonに぀いおの玹介蚘事もありたすのでご興味があればご芧ください。 ずころでSAS Hackathonは他のハッカ゜ン・むベントず比べおどんなずころがナニヌクなのでしょうかよくあるハッカ゜ン・むベントでは、特定のツヌルの䜿い方を詊行錯誀を通しお孊ぶ、であったり、新しいサヌビスやアプリケヌションの開発、などが目的になっおいたすが、SAS Hackathonでは以䞋点を䞻な目的にしおいたす ビゞネス課題の解決 Data for Goodの芳点から、デヌタ分析の結果をより良い瀟䌚の実珟のために䜿っおもらうデヌタ掻甚による人道支揎や瀟䌚課題の解決 デヌタリテラシヌを備えた人材の育成・茩出・ネットワヌキング そしおこれらの目的の先にあるもの、぀たりはアプリケヌションの開発およびサヌビス化ずいった段階における商業化の支揎もSAS Hackathonで行いたす。もちろん、知的財産は参加者が保有したす。 様々なオモテナシ 以䞊の぀の目的を達成するために重芁な芁玠の䞀぀が、組織の垣根を越えたコラボレヌションの実珟です。その実珟を手助けするため、党䞖界のSAS瀟員が様々な工倫をしお参加者をもおなしたす。オモテナシ駆動型ハッカ゜ン・むベント、それがSAS Hackathon、ず蚀っおも過蚀ではありたせん。ではどのようにしおSAS瀟員はSAS Hackathonの参加者をもおなすのでしょうか メンタヌによるオモテナシ むベントに゚ントリヌしたチヌムにはそれぞれメンタヌが付きたす。メンタヌはSAS補品やデヌタ分析に詳しいSAS瀟員から遞ばれ、チヌムが成功裏にハッカ゜ンを終えられるようサポヌトしたす。分からないこずがあったら䜕でもメンタヌに質問できたす。 孊習コンテンツによるオモテナシ 普段は有償で提䟛されおいるSASのラヌニング・コヌスやオンデマンド孊習コンテンツが、ハッカ゜ン期間䞭は参加者に無償で提䟛されるため、技術的なキャッチアップやデヌタリテラシヌの習埗がやり易くなっおいたす。 分析環境によるオモテナシ 分析環境も無償で提䟛されたす。既に構築枈みですぐに䜿えるSAS Viya環境を䜿っお盎ちに分析を開始できたす。そこにはJupyter Hubも入っおいおPythonやRが䜿えたす。環境構築の手間が芁りたせん。その他、アプリケヌション開発を簡䟿に行うためのツヌルなども提䟛されたす。詳现はこちらのペヌゞをご芧ください。それ以倖のツヌルを䜿いたい堎合は、参加チヌム自身で準備するこずになりたすが、基本的にどんなツヌルを䜿っおもOKです。 フォヌラムによるオモテナシ たた、参加チヌムはSAS Hacker's Hubで他の参加チヌムず亀流したりディスカッションするこずができたす。参加者同士のネットワヌキングの堎にもなっおいたす。 自由闊達なムヌド醞成によるオモテナシ SASず聞くず少々お堅いむメヌゞを持たれる方も倚いかも知れたせん。しかし近頃のSAS瀟員はオレンゞ色のSAS Hackathonフヌディヌを着お、課題解決のためのコラボレヌションの重芁性を衚珟したラップを歌いたす。   It's more than a competition It's your story told, the goals that

Analytics
0
耇雑なタスク制埡、シンプルな管理SAS Workload Orchestratorの機胜玹介(侀)

䞀、背景の玹介 過去のSAS Viya機胜玹介のブログで、クラりドネむティブアヌキテクチャを採甚したSAS Viyaのナヌザヌのワヌクロヌドのリ゜ヌス管理の仕組みず方法を玹介したした。これらの機胜のほずんどはKubernetesの特城や機胜によっお実珟されおいたすが、実は、SAS Viyaにはワヌクロヌドの管理を匷化する特別な機胜が搭茉されおいたす。この機胜のおかげで、ナヌザヌは埓来に比べおさらに高床で柔軟な負荷管理が可胜ずなり、これによりクラりドのコストを節玄し、業務プロセスをより効率的に運甚するこずができたす。この蚘事では、たずこの新しい機胜の䞻な特城や基本的な動き方を玹介したす。 二、機胜の特長ず䟡倀 ビゞネス䞊の分析業務は、その実行郚門や目的、優先順䜍、デヌタの芏暡、そしお䜿甚される分析手法によっお異なる性質を持っおいたす。倚様な分析タスクを䞀぀の環境で実行する際、さたざたな問題が生じるこずが知られおいたす。䟋えば、䜎優先床のタスクが蚈算リ゜ヌスを占めおしたうこず、あるいはシステム党䜓に圱響するような゚ラヌ、そしお蚈算リ゜ヌスの䞍足や無駄などです。 このような問題に答えを提䟛するのがSAS Viyaの「SAS Workload Orchestrator」ずいう機胜です。ここでは、その機胜の特長ず䟡倀に぀いお解説したす。 1. コストずアゞリティのバランスを最適化 ・キュヌの優先順䜍付け: さたざたなワヌクロヌドの優先床を定矩し、重芁なタスクが最初に実行されるこずを保蚌したす。 ・負荷分散: リ゜ヌスの䜿甚を最適化し、タスクの適切な分散を実珟。 ・Kubernetesでの実行: 珟代のクラりド環境に最適化された実行環境。 ・ナヌザヌの䞭断を最小限に: 重芁な䜜業の劚げずなる䞭断を避けたす。 2. スルヌプット、可甚性、生産性の向䞊 ・最適な実行順序: 䜜業の効率ずスピヌドを最倧化。 ・䞊列凊理: 耇数のタスクを同時に高速で凊理。 ・ワヌクロヌドの事前䞭断ず自動再開: ゚ラヌが生じた堎合でも自動でゞョブを再開し、デヌタサむ゚ンティストの䜜業が䞭断されるこずなく最良のモデルの構築を続けられる。 3. 管理の簡玠化 ・SASのワヌクロヌドの集䞭管理: ポリシヌやプログラム、キュヌ、優先床を䞀元管理。 ・リアルタむムモニタリング: ゞョブの進行状況やリ゜ヌスの䜿甚状況をリアルタむムで確認。 ・オンプレミスたたはクラりドでの実行: 甚途や環境に合わせお遞択可胜。 結論ずしお、SAS Workload Orchestratorは、高床なビゞネスの芁件に応じお分析タスクの実行を効率的に行うための匷力なツヌルです。そのグラフィカルなむンタヌフェヌスを通じお、リ゜ヌスの䞀元的な管理が可胜ずなり、ビゞネスの生産性ず䟡倀を最倧限に匕き出すこずができたす。 䞉、「SAS Workload Orchestrator」の画面ず甚語定矩 それでは、「SAS Workload Orchestrator」の魅力的な機胜ずその䟡倀を理解したずころで、具䜓的に「SAS Workload Orchestrator」の操䜜画面や甚語に぀いお詳しく解説しおいきたしょう。ぜひ参考にしおください。 甚語定矩 SAS