All Posts
Die EU-Datenschutz-Grundverordnung kommt näher – ausweichen oder draufhalten? In den letzten Wochen hatte ich die tolle Gelegenheit mit zahlreichen Kunden und Partnern über die neue EU-Datenschutz-Grundverordnung (DS-GVO) zu sprechen. Die Meinungen und Erwartungen sind dabei wirklich außerordentlich breit gefächert. Das ist nicht weiter verwunderlich, denn das Thema hat zuletzt stark an
La identificación de nuevas fuentes de ingreso, el impacto en el desempeño del negocio y la mejora en la experiencia del cliente son algunas de las razones clave para que según el analista IDC, se estime un incremento del 12.4% con respecto a 2016 en lo que respecta a la
機械学習で予測モデルを作るとき、課題のひとつにパラメータのチューニングがあります。 パラメータとはどういう設定値や制限値で機械学習の予測モデルを作るのかを示すものです。 料理に例えると、チャーハンを作る過程が機械学習のアルゴリズムだとすると、どういう具材をどのくらいの量入れるのかがパラメータです。 お米の品種や卵の有無、豚肉か鶏肉か、調味料の種類や量がパラメータになります。チャーハンの良し悪しはこれらパラメータの良し悪しに左右されます。おいしいチャーハンを食べるためには、具材をベストな組み合わせと量で投入する必要があります。 昼食においしいチャーハンを食べたので、チャーハンでたとえました。 話を戻すと、機械学習の決定木の深さであったり、ニューラルネットワークのニューロン数であったり、パラメータは自分で設定する必要があります。機械学習では複数のパラメータを組み合わせて、ベストなレシピを作らねば良い予測モデルは作れません。 SAS Viyaでは各種機械学習アルゴリズムを提供していますが、各機械学習にそれぞれのパラメータが用意されています。料理に例えると、メニューにチャーハンのみならず餃子、ラーメン、寿司、ステーキ、チーズケーキがあるようなものです。シェフ(≒データサイエンティスト)は全てのベストなレシピ(≒パラメータ)を探索せねばならず、労力がいります。 しかし! SAS Viyaには更に便利な機能として、オートチューニングというものが用意されています。 オートチューニングは最も良いパラメータを短い時間で探索してくれる機能です。料理に例えると、究極のチャーハンレシピをViyaが自動的に作ってくれる機能です。夢のようですね。 オートチューニングでは機械学習のパラメータを変えながら複数の予測モデルを作り、最も良い予測モデルのパラメータを探してくれるというものです。決定木だけでもパラメータは10種類以上あるのですが、それらの最良な値をみつけてくれます。 パラメータチューニングを行う際、最も安易な探索方法は各パラメータの全パターンを試すことです。全パターンを試せば、その中から最も良いものはたしかにみつかります。しかし欠点はパラメータチューニングに長い時間がかかってしまい、現実的な手法ではありません。 SAS Viyaのオートチューニングはより賢いパラメータ探索のアルゴリズムを4種類用意しています。 遺伝的アルゴリズム(Genetic Algorithm, GA):パラメータを遺伝子と見立てて、淘汰、交叉、突然変異を組み換えすことでパラメータを探索する。 ラテン超方格サンプリング(Latin HyperCube Sampling, LHS):層別サンプリングの一種で、各パラメータをn個の区間に分割し、区間からランダムに値を取り出してパラメータを探索する。 ベイズ最適化(Bayesian Optimization):説明変数と予測の間にブラックボックス関数があると仮定し、ブラックボックス関数のパラメータの分布を探索する。 ランダムサンプリング(Random Sampling):ランダムにパラメータの値を選択して探索する。 探索アルゴリズムを詳しく説明していると終わらないので説明を短くまとめました。SAS Viyaではいずれかのアルゴリズムを利用してオートチューニングを実行することができます。 今回はPythonからSAS Viyaを操作して、オートチューニングを試してみたいと思います。 まずはPython SWATをimportし、CAS Sessionを生成してデータをロードします。 # PythonからCASを操作するためのSWATライブラリをインポート import swat # mysessionという名称のCASセッションを作成 mysession = swat.CAS(host, port, user, password) #
Everybody GET UP! Want to train the entire body in one exercise? This is it! The Turkish Getup is a multi-joint, multi-movement exercise that incorporates transitioning from the ground to standing. This exercise requires synergy, coordination, and core/shoulder stabilization to increase your functional strength. It may seem daunting, but it is
International Talk Like a Pirate Day is Sept 19 ... which always gets me thinking and wondering about modern-day pirates. Most movies usually focus on pirates from the Golden Age of piracy (a couple hundred years ago), when pirates typically stole ships and booty (treasure). But modern day pirates usually board
What’s new and what’s on the horizon for machine learning and analytics? We asked Kirk Borne, Principal Data Scientist and Executive Advisor at Booz Allen Hamilton, what machine learning technologies he’s watching. He focused his reply on applications, not algorithms. “When I think about what’s new and coming up, I
In my first post of this blog series, we learned how three education customers are using SAS. Today, we'll hear about the positive impact that SAS and analytics are providing for users and the education institutions. In this post, you'll hear from: Linda Sullivan, Assistant Vice President for Institutional Knowledge Management,
This post shows a variety of techniques including how to use PROC TEMPLATE and the SOURCE statement, PROC SGPLOT with multiple Y-axis tables, create comparable axes in two side-by-side graphs, create a broken axis, write and use a table template that wraps text, and find and display examples of certain statements in graph templates and fonts in style templates.
A previous article discussed the mathematical properties of the singular value decomposition (SVD) and showed how to use the SVD subroutine in SAS/IML software. This article uses the SVD to construct a low-rank approximation to an image. Applications include image compression and denoising an image. Construct a grayscale image The
In the recent article, “Price-bots can collude against consumers,” the Economist discusses the consumer effects of prices set by price-bots. The article starts with an example of gasoline pricing strategies on Martha’s Vineyard. With a small number of gas stations on the island, the price-bots can cover all competitor prices frequently
I hate hard-coding variable lists in my SAS code. I love the special variable lists SAS provides, like name:, _numeric_, etc. But back in 2011, I wrote a post titled Jedi SAS Tricks - Building a Name Suffix variable list lamenting the lack of a special variable list in base
I know that we are all anxiously following the devastating events in Houston right now. I have a very personal connection as my daughter and her family live in Houston. My daughter is a nurse and is on the emergency response team – she has been at the hospital since
Widespread flooding. Downed power lines. Broken poles. Failed transformers and breakers. Leaking pipes. Shut down refineries. The toll that a catastrophic storm takes on the energy value chain is significant. A functioning power grid, clean water and reliable fuel sources are critical for public safety and economic recovery. Even with
David Loshin explains how to set up a data catalog that will help you get more value from a data lake.
My daughter is a junior in high school, and for almost every semester she’s taken an online course as part of her studies. This semester she’s taking Spanish 3, an advanced level course where every word of instruction is spoken in Spanish. Each morning she joins the class from our