All Posts

Dynamic programming is a powerful technique to implement algorithms, and is often used to solve complex computational problems. This article shows how to use PROC FCMP to implement the "edit distance" algorithm.

When parents decide it is time to move to simpler living, whether it be into a senior community or just into a smaller, more manageable house, the question of what to do with all that stuff steps into our thoughts like a the proverbial elephant in the room.

Showing the most popular jobs in each state is interesting (as I showed in my previous two blogs 1, 2) ... but not that interesting. How about something a little more quirky?!? ... Let's determine the most disproportionately popular job in each state! Their Map I got the idea for

Note: Following is an eight-part serialization of selected content from Steve Morlidge's The Little (Illustrated) Book of Operational Forecasting. The quality of forecasts matters…a lot It is difficult to precisely estimate the business impact of forecast quality partly because it impacts so many variables in ways that are not easy

AIプラットフォームであるSAS Viyaでは、SAS言語のみならず、PythonやR、Java、Luaなどの汎用プログラミング言語からViyaのAI&アナリティクスの機能を使用し、予測モデルを生成することができるようになっています。しかし、昨今、「AI民主化」の流れに沿って、予測モデル生成を必要としているのはデータサイエンティスト(以降:DS)だけではなく、業務部門のビジネスアナリストや一般のビジネスユーザーも必要としています。こうしたコーディングスキルを持たないビジネスユーザー向けに、SAS Viyaでは、GUI上でマウスの簡単操作だけで予測モデル生成を可能としています。 もちろん、DSの中にも、コーディングせずに、もっと簡単に精度の高い予測モデルを生成できる手段があれば活用したいと感じている人達もいます。 SAS Viyaでは、Model Studioを使用し、機械学習のモデル、時系列予測のモデル、テキストマイニングのモデルをGUIベースの簡単マウス操作で作成することができます。モデル生成プロセスをグラフィカルなフロー図として描き、実行するだけです。このフロー図のことを「パイプライン」と呼んでいます。 Model Studioで予測モデルを生成するには、大きく2通りの方法があります。 1つは、マウスの簡単ドラッグ操作でパイプラインを一から作成する方法と、もう一つは、予め用意されているパイプラインのテンプレートを使用する方法です。 まずは、パイプラインを一から作成する際の基本的な手順を紹介します。 プロジェクトの新規作成と学習用のデータソース選択 パイプラインの作成と実行 実行結果(モデル精度)の確認 1.プロジェクトの新規作成と学習用のデータソース選択 SAS Viyaの統合GUIのホームページのメニューから「モデルの作成」を選択すると、 Model Studioの画面が表示されます。 「プロジェクトの新規作成」をクリックします。 「プロジェクトの新規作成」画面内で、プロジェクトの名前を入力し、モデルの種類(データマイニングと機械学習 / テキスト分析 / 予測)を選択し、学習用のデータソースを選択します。今回は、「データマイニングと機械学習」を選び、ローンの審査モデルを作成します。HMEQJというデータソースは、顧客ごとに1行の横持ち形式のデータです。 「保存」をクリックすると、ローン審査モデルプロジェクトが作成され、選択したデータソースの変数リストが表示されます。 予測対象の項目(ターゲット変数)を指定します。変数名:BAD(ラベル名:延滞フラグ)を選択し、右画面内で、役割に「ターゲット」を選択します。 延滞フラグには、過去に延滞の実績があればフラグに“1”が、無ければ“0”が設定されています。 2.パイプラインの作成と実行 予測対象の項目を指定後、画面上部にある「パイプライン」をクリックします。 パイプラインには「データ」ノードのみが表示されています。左端の機能ノードアイコンをクリックすると、 パイプラインに追加可能な機能ノードのリストが表示されます。 今回は、欠損値補完を行った上で、勾配ブースティングとランダムフォレストでモデルを生成してみましょう。まず、データに対する前処理として欠損値補完を行います。 「データマイニングの前処理」内にある「補完」を「データ」ノード上にドラッグすると、 「データ」ノードの下に「補完」ノードが追加されます。 同様の手順で、「教師あり学習」内にある「勾配ブースティング」を「補完」ノード上へドラッグすると、「補完」ノードの下に「勾配ブースティング」ノードが追加されます。(同時に「モデルの比較」ノードが自動的に追加されます) このようにドラッグ操作でノードを追加する以外に、パイプライン上のメニューからノードを追加することもできます。 「補完」ノードの右端にある、3つのドットが縦に並んでいる(スノーマン)アイコンをクリックし、「下に追加」>「教師あり学習」>「フォレスト」の順に選択すると、 「補完」ノードの下に、「フォレスト」ノードが追加されます。 機能ノードごとの詳細なオプションの設定は、右側画面内で行います。 パイプラインが完成したら、パイプラインの実行アイコンをクリックし、実行します。実行中の機能ノードは時計アイコンがクルクル回転し、正常に完了すると緑のチェックマークが表示されます。 3.実行結果(モデル精度)の確認 パイプラインの実行が完了したら、「モデルの比較」ノードのスノーマンアイコンをクリックし、メニュー から「結果」を選択します。 モデルの比較結果が表示されます。今回は勾配ブースティングのモデルの精度の方が高い=チャンピオンであると判定されています。 「アセスメント」タブ内では、リフトやROCの情報などを確認することができます。 以上が、ビジュアルパイプラインで予測モデルを一から生成する際の基本的な手順です。 ※ビジュアルパイプラインによるモデル生成(基本)は、SAS Viya特設サイトの「機械学習」トピック内にある動画でもご覧いただけます。

La seguridad informática es un problema constante en las empresas, pero las soluciones como la analítica llegaron para redefinir y potenciar la ciberseguridad. Es común pensar que los hackers vulneran la seguridad de una empresa de la noche a la mañana, infectando la red y robando datos en cuestión de

산업용 애플리케이션, 기계, 프로세스 등을 연결하는 기술이 발전하면서 사물인터넷(IoT), 더 정확하게는 산업용 사물인터넷(IIoT) 혁신이 가속화되고 있습니다. 산업용 사물인터넷의 가장 큰 이점은 산업, IT, 운영 기술 프로세스를 단일 시스템으로 통합하고, 자동화를 통해 운영 효율성 개선과 비용 절감 효과를 누릴 수 있다는 것입니다. 실제 세계적인 오토바이 제조 업체 할리데이비슨(Harley-Davidson)은 생산 효율성과 민첩성을 목표로

Three bestselling SAS Press authors feature their favorite papers from SAS Global Forum 2018.

Vitamin D (technically, a hormone) plays a role in just about every aspect of our health. It’s not only important for bone health, it also plays a role in blood glucose regulation, heart disease, autoimmune diseases, brain function, thyroid health and even conditions such as ADHD, Autism and depression. Several

As a fun side project I recently looked into alternative visualization techniques in order to use computers to create art. An interesting approach is pointillism, which, according to Wikipedia is a "technique of painting in which small, distinct dots of color are applied in patterns to form an image." This

A SAS programmer recently asked how to interpret the "standardized regression coefficients" as computed by the STB option on the MODEL statement in PROC REG and other SAS regression procedures. The SAS documentation for the STB option states, "a standardized regression coefficient is computed by dividing a parameter estimate by

Note: Following is an eight-part serialization of selected content from Steve Morlidge's The Little (Illustrated) Book of Operational Forecasting. Different kinds of forecasts This book is focused on operational forecasting – the stuff you do to determine what you need to buy, produce, hold in stock or otherwise give your customers

새로운 국제회계기준 IFRS(International Financial Reporting Standards) 17은 보험 업계 역사에 한 획을 긋는 대대적인 변화입니다. 보험 부채의 평가 기준을 원가에서 시가로 변경하는 것을 골자로 보험사의 재무 보고 투명성을 높이기 위한 일련의 새로운 규칙을 명시하는데요. 오래 전부터 이러한 변화를 기다려온 분석가와 여러 이해관계자들에게는 매우 반가운 소식일 것입니다. 실제 IFRS 17은 다양한 국가별

Ya no es ciencia ficción. Prácticamente todos los días interactuamos con ella. La Inteligencia Artificial (IA) vive, literalmente, en nuestros teléfonos inteligentes, en nuestros sitios web favoritos, en el buscador que utilizamos a diario y en los sistemas de información que operan las empresas. Gracias a esta innovación, hoy las

A lo largo de los últimos años, el mundo financiero se ha sometido a los cambios regulatorios impuestos por Basilea II, III y ahora IV, modificaciones que incluyeron la redefinición en la medición de los Activos Ponderados por Riesgo y los requerimientos de capital de calidad, en las que la