Now is your chance to learn even more about SAS hash tables with four additional articles on the subject.
Uncategorized
Diese Frage bekomme ich von Nicht-Data-Scientists immer häufiger gestellt. Und es ranken sich viele Meinungen und Mythen um diese Expertengruppe. Genau aus diesem Grund habe ich mich mit Simon Greiner, einem angehenden Data Scientist und erfahrenen IT-Berater, unterhalten. Ein Mythos über Data Scientists: sie lesen keine Bücher mehr. Stimmt nicht!
This Is the latest installment in my series of posts dedicated to describing IoT applications in retail. Why do I want retailers to move more quickly in their widescale adoption of IoT in the coming year? Because I'm confident they'll see results, and these use cases help explain how. As
When you overlay two series in PROC SGPLOT, you can either plot both series on the same axis or you can assign one series to the main axis (Y) and another to a secondary axis (Y2). If you use the Y and Y2 axes, they are scaled independently by default,
Does this situation sound familiar? You have a complex analysis that must be finished urgently. The data was delivered late and its quality and structure are far from the expected standard. The time pressure to present the results is huge, and your SAS program is not giving you the expected
Numbers don't lie, but sometimes they don't reveal the full story. Last week I wrote about the most popular articles from The DO Loop in 2018. The popular articles are inevitably about elementary topics in SAS programming or statistics because those topics have broad appeal. However, I also write about
David Loshin examines various aspects of data governance that are essential for regulatory compliance.
I love my job, but I am not a morning person so I need a bit of inspiration to get out of bed. I’ve been a marketer for more than 15 years, and that inspiration has never been easier to find than since I joined SAS as an industry marketer
近年、AIや機械学習がブームとなり、キーワードだけが先走りしている傾向にあります。結果、「AI・機械学習を活用する」こと自体が目的化し、ツールや環境を導入したものの、ビジネス価値創出に至らないケースも多いようです。 その最大の要因は、肝となる「アナリティクス・ライフサイクル」の欠如にあります。 まず、業務課題を明確化した上で、その課題を解決するためにはデータ分析が必要であり、分析には元となるデータが必要になります。必要なデータを準備し、その中身を探索し、その結果に基づいて予測モデルを開発し、作成されたモデルを業務に実装する、このサイクルを素早く回し続ける、これが、企業が抱える業務課題を解決し、ビジネス価値(収益の拡大、コストの削減、リスクの低減、など)を創出するための鍵なのです。 アナリティクス・ライフサイクルを構成する3つの要素: アナリティクス・ライフサイクルを素早く回すためには、上記3つの要素がシームレスに連携する必要があります。しかし、多くの企業では、従来から、複数の異なるベンダーの異なる商用ソフトウエアや環境、あるいはオープンソースソフトウエアなどを継ぎ接ぎして分析環境を構築してきたため、このサイクルを回すためには多大な時間を擁してしまい、変化への素早い対応は困難な状況にありました。 この課題に対して、AIプラットフォーム SAS® Viya®では、アナリティクス・ライフサイクルに必要な機能要素を網羅した上で、それぞれがシームレスに連携し、高速に回し続けることが可能となっています。 そして、SAS Viyaには、分析者のスキルレベルに応じて、プログラミングインターフェースとグラフィカルインターフェースの両方が備わっています。 データサイエンティストであれば、データの準備から探索、そしてモデル生成までをお好みの言語(SAS, Python, R, Java, Lua)を使用して実施することができます。 一方で、コーディングスキルを持たないビジネスユーザーであれば、統合グラフィカルユーザーインターフェース上でアナリティクス・ライフサイクルをシームレスかつ高速に回し続けることが可能となっています。 企業が、その企業の競合企業よりも早く、正確に、アナリティクス・ライフサイクルを回すことによって、以下が実現されます。: より多くの反応率の高いマーケティングキャンペーンをより早く実施し、より多くの新規顧客を獲得し、既存顧客の離反を防止 より早く正確に、より多くの製造設備の異常予兆を検出し、設備のダウンタイムを最小化し、生産量を最大化 より多くの種類の不正をより早く正確に検知し、不正により齎されるリスクや損失を低減し、企業の信頼度を向上 企業を取り巻く環境の変化に、より素早く対応 …など Data:データの準備 異なる分析要件ごとに、分析者自身で、分析に必要なデータは都度準備する必要があります。SAS Viyaでは、分析者自身で分析に必要なデータをセルフサービス型で準備することができるようになっています。 マウスのポイント&クリック操作だけで、データのプロファイリングからクレンジング、加工・変換・結合などを自由自在に行うことができ、分析プロセス全体の中で7、8割の工数を占めると言われるデータ準備工数や時間を大幅に削減することが可能となります。 Discovery:データの探索とモデル生成 次に、準備したデータの中身を探索します。SAS Viyaでは、コーディングスキルを持たないビジネスユーザーでもマウスの簡単操作だけで、データの探索や分析が可能になっています。単一の画面内で、過去の見える化から高度な機械学習までもが可能で、できあがった画面をレポートやダッシュボードとして即座に全社に公開し、共有することもできます。 データサイエンティストであれば、モデル生成の手前のビジュアルなデータ探索手段として活用することができます。 データ探索の結果に基づき、予測モデルを構築します。 SAS Viyaでは、ビジュアルなUIからマウスのドラッグ&ドロップ操作で、機械学習、時系列予測、テキスト解析の各種モデル生成プロセスをグラフィカルなフロー図(パイプライン)として描き、実行することが可能になっています。 このモデル生成パイプラインは、ドラッグ操作で一から作り上げることもできますし、SASの長年のベストプラクティスに基づき、予め用意されているパイプラインのテンプレートを使用して、精度の高い予測モデルを自動生成することも可能です。 Deployment:モデルの業務実装 生成されたモデルは統合的に管理した上で、業務に実装することができます。 モデル管理画面では、モデルにテストデータを当てはめてスコアリングテストの実施や、モデルのデプロイ(業務実装)、業務に実装後のモデル精度のモニタリング、再学習を実行し、モデル精度を改善、そしてバージョン管理など、モデルを統合管理することができます。 管理されたモデルは、異なる業務要件ごとに異なる環境へデプロイ(業務実装)することができます。 REST API:既存のアプリケーションからREST APIを通じて、SAS Viyaサーバー上にあるモデルにデータを当てはめてスコアリング(予測処理)を行い、結果を受け取ることができます。 インデータベース:モデルをデータベース内にデプロイし、データベース内で直接スコアリングを実施することができます。これによって、スコアリング対象の大量のデータを転送する必要が無くなり、処理の効率化や意思決定の迅速化も図れます。 インストリーム:SAS Viyaには、オンライン機械学習・リアルタイム処理向けにストリーミングのエンジンも実装されています。SAS Viyaのリアルタイムプロセスにモデルをデプロイすることで、リアルタイム・スコアリングも実現されます。 以上のように、企業が業務課題を解決し、ビジネス価値を創出するためには、「アナリティクス・ライフサイクル」が肝であり、このサイクルをシームレスかつ素早く回し続けることが、企業の変化対応力、競争力強化に直結するということです。 従来からSASを活用し、ビジネス価値を出している企業はすべてこのサイクルを回し続けています。そして、AIプラットフォームSAS Viyaでは、これを強力に支援することができるということです。
Deming regression (also called errors-in-variables regression) is a total regression method that fits a regression line when the measurements of both the explanatory variable (X) and the response variable (Y) are assumed to be subject to normally distributed errors. Recall that in ordinary least squares regression, the explanatory variable (X)
Do you want to start your year feeling great about data and analytics? Then dive into this list and read a few data for good stories that you might have missed in 2018. You'll learn how data scientists are using analytics to save endangered species, prevent suicide, combat cancer -
Last year, I wrote more than 100 posts for The DO Loop blog. Of these, the most popular articles were about data visualization, SAS programming tips, and statistical data analysis. Here are the most popular articles from 2018 in each category. Data Visualization Visualize repetition in song lyrics: In one
Joyce Norris-Montanari discusses data engineers in the second of her two-part series.
지능형사물인터넷(AIoT)에 대해 들어본 적 있으신가요? 지능형사물인터넷은 사물인터넷(IoT)을 통해 연결된 스마트 기기 데이터에 인공지능(AI)을 적용하는 것입니다. AIoT가 활성화되면 연결된 기기(커넥팅 디바이스)에서 수집된 정보를 기반으로 머신러닝 학습과 분석은 물론 서비스 제공까지 동시에 이루어질 수 있을 텐데요. 학습과 자동화를 기반으로 사람의 업무 처리 영역을 돕는 인공지능 기술은 경험 학습, 새 입력값(Input)을 통한 조정, 별도의 수동 조작이
햄버거와 감자튀김, 떡볶이와 순대, 와인과 치즈를 보통 찰떡궁합이라고 하죠. 기업과 조직의 디지털 트랜스포메이션(Digital Transformation) 추진에 있어 인공지능(AI)과 사물인터넷(IoT)은 뗄래야 뗄 수 없는 찰떡궁합입니다. 인공지능과 사물인터넷, 지능형사물인터넷(AIoT) 기술은 서로 연관되어 있습니다. 사람의 인체에 비유한다면 사물인터넷 없는 인공지능은 데이터 수집 능력이 없는 두뇌와도 같고, 반대로 인공지능 없는 사물인터넷은 데이터에서 인텔리전스를 추출할 수 없는
Pueden acceder a la parte I de esta serie de artículos en este link. Antes de continuar donde dejamos el artículo anterior, veamos un artículo publicado hace unos días que tiene ver con nuestro tópico: How Important is that Machine Learning Model be Understandable? We analyze poll results. Este artículo
Die Versicherungsbranche (Aktuariat) ist ein langer, ruhiger Fluss, auf dem träge Dampfer kreuzen. Sagen die einen. Sie ist ein Haifischbecken, das nur die stärksten überleben. Sagen die anderen. Recht haben sie beide. Denn zum einen ist der Versicherungsmarkt ganz klar ein reifer Markt, in dem der Handlungsspielraum für die einzelnen
인공지능의 기반 기술 중 하나인 딥러닝은 눈부신 혁신을 거듭하고 있습니다. 텍스트 번역이나 이미지 분류 애플리케이션에 적합한 새로운 수준의 신경망이 개발되면서 사물인터넷(IoT)과 자율주행 관련 기술에도 활용되고 있는데요. 딥러닝 기술의 발전과 함께 객체 탐지 기법도 많은 주목을 받고 있습니다. 그렇다면 객체 탐지(Object Detection)는 무엇일까요? 객체 탐지는 이미지에서 관심 객체를 배경과 구분해 식별하는 자동화
By now, we're all aware of the seismic shift occurring across industries as a result of the Internet of Things. But do we all see the changes in the same light? From where I sit, there's still a wide gap in viewpoints and perspectives. In its simplest form, we often
Good news -- the SAS program that you wrote and put into production 10 years ago still works. Hey, it's SAS, so you probably take that for granted. But are those techniques from 2008 still the best way to accomplish your task? SAS 9.4, first released in 2013 and now
Across the business world, software as a service (SaaS) has redefined the way that people think about licencing software. In the past, licencing enterprise software was a major undertaking, but now the time-to-value has dropped from months to days. The trade-off is that organizations that buy SaaS will get an
Sie lebt in der Cloud und ist sehr genügsam. Als Allesfresser nimmt sie jegliche Art von Daten dankbar entgegen. Seien das nun strukturierte oder unstrukturierte Daten in allen Formen und Facetten … Sie ist einerseits mit sehr wenig zufrieden und holt das Bestmögliche aus wenigen Daten heraus, kann allerdings, wenn
I regularly see questions on a SAS discussion forum about how to visualize the predicted values for a mixed model that has at least one continuous variable, a categorical variable, and possibly an interaction term. SAS procedures such as GLM, GENMOD, and LOGISTIC can automatically produce plots of the predicted
Encouraging data sharing can sometimes feel like refereeing kids on Christmas morning. “Mom said you have to SHARE!” my sister bawled, grabbing at the Game Boy in my hand as I held the toy just out of her reach. I had just gotten it as a Christmas present and had
SAS for Mixed Models: Introduction to Basic Applications takes you step-by-step through the journey of creating models, enabling you to transform scores of data into actionable insights.
Phil Simon raises two key questions to ask in his second post on data literacy.
지난 9월 중순 미국 샌디에고에서 개최된 최대 규모의 분석 컨퍼런스 ‘SAS 애널리틱스 익스피리언스(Analytics Experience) 2018'의 연사로 참여한 빅데이터 전문가 트리샤 왕(Tricia Wang) 박사는 세계적인 동물행동학자 프란스 드 발(Frans de Waal)의 영상을 공유했습니다. 이 영상은 연구자에게 돌을 주고 보상을 받는 두 마리의 원숭이를 통해 인간의 도덕적 심리를 보여주는데요. 원숭이들은 돌을 건네줄
Many data analysts use a quantile-quantile plot (Q-Q plot) to graphically assess whether data can be modeled by a probability distribution such as the normal, lognormal, or gamma distribution. You can use the QQPLOT statement in PROC UNIVARIATE to create a Q-Q plot for about a dozen common distributions. However,
前回のブログ記事では、Data for Good活動の一環として、世界の絶滅危惧種についての考察をしました。本記事では、朝ラッシュ時の鉄道混雑について考えます。 首都圏における鉄道の通勤通学時間帯混雑率は、長期的にみて改善されているものの180%を超える路線が11路線あるなど(2017年)依然として満員電車は解消されていません。不快感や身体の圧迫はもとより、多くの乗客が集中することで、混雑による遅延が発生しています。車両の増備、長編成化、新路線の建設などハード面の強化により大幅な改善を図ることができますが、すでに容量の限界まで運行している場合や、構造物の制約、費用、期間の面からもこれらの施策をすぐに実現することは難しいです。そこで今回は、通勤ラッシュ回避のために乗客が通勤時間をずらすオフピーク通勤の実施について調査し、混雑緩和につながるかを検証したいと思います。 オフピーク通勤(時差通勤)は、個人の自発的な行動によるものであり、多くの会社・学校の始業時間がほぼ同じであるため鉄道事業者が呼びかけても定着することはありませんでした。2016年に「満員電車ゼロ」を含んだ公約を掲げ当選した小池都知事は、公約の実現のためオフピーク通勤を推進するキャンペーンである「時差Biz」を2017年にスタートしました。このことについて、東京都のサイトには以下の文章があります。 満員電車の混雑緩和は、社会の生産性向上のための重要な課題のひとつです。 東京都では、通勤時間をずらすことによって満員電車の混雑緩和を促進する「時差Biz」を実施中です。 時差Bizの参加に資格や決まりはなく、皆様が一斉に取り組むことにより、大きな効果があることが見込まれます。皆様のご参加、お待ちしております。 サイト内では、個人に対して時差通勤を推奨し、企業に対してフレックスタイム制やテレワークの導入などを推奨しています。参加企業は916社、鉄道事業者が集中取組期間中に臨時列車を運行するなど活動の広がりがみられますが、見込まれる効果は未知数なうえ関連するデータや分析結果も乏しいです。そのため簡単ではありますが、オフピーク通勤の効果の有無や程度を具体的に算出します。 まず、平成29年度の首都圏31区間におけるピーク時混雑率を示します。混雑率は、一定時間内の輸送人員(実際に輸送した乗客の数)を輸送力(車両の定員数の合計)で割ったものであり、最も高い東京メトロ東西線(木場→門前仲町)は199%と定員のほぼ2倍の人を乗せています。唯一100%を下回ったのは、JR東日本中央緩行線(代々木→千駄ヶ谷)で、混雑率は97%でした。 輸送人員と輸送力に注目すると、中央快速線の81,560人を筆頭に輸送人員が60,000人を超える路線が13路線ある一方で、輸送力は最も大きい小田急小田原線でも49,416人と大きな差があります。また、ピーク時の運行本数と編成数をみると、多くの路線で10両もしくはそれ以上の車両を2~3分おきに運行していて、これ以上輸送力を強化することは難しいです。 ここからは、オフピーク通勤の効果を検証するため、2つの仮想シナリオが実現した場合の結果を計算します。 1.時差通勤のみ 平成29年度から新たに追加された調査データを利用します。これは、首都圏36区間のピーク時と前後1時間の混雑率を算出したものです。 路線によってピーク時が違うため6:17~7:17から9:02~10:02まで約4時間にわたる混雑率を時間帯の早い順に並べたものが以下のグラフです。路線ごとのばらつきが大きいですが、3等分すると中心部が最も高くなり、ピークより前、ピークより後の順で混雑率が低下しています。このことは始業時間が決まっている場合、それを守るように通勤・通学する人が多いという説明ができるでしょう。 それぞれの路線についてピーク時と前後1時間の合計3時間の輸送人員と輸送力を算出し、そこからピーク時と前後1時間の3時間混雑率を算出したのが(例:ピーク時が7:30-8:30の場合、6:30-9:30の輸送人員/6:30-9:30の輸送力)、以下のグラフです。 混雑率をみると、すべての路線で国が目標としている180%を下回り大きく混雑が緩和されています。このことから、乗客の均等な利用を促す時差通勤は混雑率の低下につながるでしょう。 2.時差通勤+前後時間帯の増発 ピーク時と前後1時間の輸送人員と輸送力を時間帯ごとに示したのが以下のグラフです。ピーク時を中心に山ができていて、多くの乗客がピーク時に集中していることがわかります。 また、それぞれの路線でピーク時の輸送力を前後1時間においても実現した際のシナリオをもとに3時間混雑率を算出しました。(例:ピーク時が7:30-8:30の場合、6:30-9:30の輸送人員/(7:30-8:30の輸送力)×3)その結果、すべての路線で混雑率が150%を下回り、そのうち7路線は100%を下回りました。 しかし、ピーク時の前後1時間の輸送力を増強するためには列車の増発が必要で、鉄道事業者には新たなコストが発生します。このコストに見合うだけの効果が見込めなければ、事業者にとって列車を増発するインセンティブがありませんが、新倉(2009)によると、 増発による増加コストと混雑緩和による利用者便益を試算した結果、両者はほぼ同額でした。また、有料着席列車を導入することで、料金収入によって増加コストを賄うことが可能であるとし、列車の増発は双方にとってメリットがあると示しています。 首都圏36区間のデータからの計算結果をまとめると、ピーク時1時間の混雑率平均は165%でした。(最混雑区間は東京メトロ東西線木場→門前仲町:199%)また、ピーク時と前後1時間を加えた合計3時間の混雑率平均は143%となりました。(最混雑区間は、JR東日本横須賀線武蔵小杉→西大井:177%)そして、ピーク時の輸送力を前後1時間においても実現した場合には、合計3時間の混雑率平均は113%となることがわかりました。(最混雑区間は、東急田園都市線池尻大橋→渋谷:142%) 混雑と遅延の関係 つぎに、遅延証明書の発行状況に関するデータを利用して混雑との関係を調べます。東京圏(対象路線45路線の路線別)における1ヶ月(平日20日間)当たりの遅延証明書発行日数が記載されていて、平成28年度の1位は中央・総武線各駅停車の19.1日です。遅延証明書発行日数が10日を超えるのは45路線のうち29路線で、遅延の発生が常態化しています。 下の散布図は、先ほど使用した混雑率のデータと遅延証明書発行日数を組み合わせたものです。両者には正の相関がみられ、遅延が頻繁に発生している路線ほど混雑率が高くなっています。 遅延の発生は何によって説明されるかを明らかにするため、「混雑率(%)」「列車本数(本/h)」「営業キロ(km)」「他社乗り入れの有無(0or1)」の4つの変数を用いて回帰分析しました。分析の結果、混雑率のみが有意に正の影響を及ぼしていました。 上記データには遅延原因の記載もあり、大規模な遅延(30分以上の遅延)は、人身事故、車両・施設の故障、自然災害が原因である一方、小規模な遅延(10分未満の遅延)は、乗車時間超過が全体の47%を占め、ドアの再開閉が16%でした。これらは利用者の集中によるもので、オフピーク通勤によって混雑が緩和されれば、遅延の発生も減少することが予想されます。そして遅延が原因となっていた混雑の減少が見込まれます。 結論 結果をまとめると、計算上はオフピーク通勤・通学は混雑率の低下につながりますが、実現するには多くの人々の行動を変えなければなりません。そのためには、企業や学校の始業時間を分散させることや柔軟な勤務体系の導入などが必要です。理想的なのは6時台から9時台までムラのない通勤・通学ですが、数十万人が現在の出社・登校時間を変更することになり、さらなる取り組みの拡大が不可欠だといえるでしょう。また、オフピーク時における列車の増発は大幅な混雑緩和につながりますが、増加するコストの負担が課題であり、追加的な調査が必要です。そして、混雑と遅延については互いに影響し合い、一方が減るともう一方も減るという関係があるので、遅延対策の推進も混雑の緩和に寄与することがわかりました。 以上 SAS Visual Analytics 8.3 を用いて朝ラッシュ時におけるオフピーク通勤の有効性検証と混雑と遅延の関係について分析しました。SAS VAの各種使用法については、こちらのブログのシリーズでご説明しております。併せてご参照ください。 SAS Japanでは、学生がData for Goodを行うコミュニティ「SAS Japan Student Data for Good community」を発足します。目的としては、社会問題へのアプローチを通してData Scienceの流れの経験・スキルの向上、学生間の交流拡大、社会への貢献の達成があります。主な活動はふたつに分けられ、一つは社会課題の解決に向けたデータ分析で、オンラインでの議論や定期的な集まり、作成したレポートの公開、アクション(施策)の提案をします。もう一つは、イベント参加で、データサイエンスに関する講演への参加、データ分析コンペ出場、勉強会をすることを予定しています。これまで大学の講義や自習で学んだスキルの実践・アウトプットの場になるうえ、議論をしながらプロジェクトを進めることができます。(知識・アイデアの共有、その他参加者同士の交流)これは大人数の講義や独学ではできないですし、最終的には社会貢献にもつながります。 興味をお持ちでしたら以下のアドレスまでご連絡ください。みなさんの参加をお待ちしています。 JPNAcademicTeam@sas.com
Singer-songwriter David Wilcox kept me out of prison. That’s not a country song gone bad – it’s a real-life experience. Almost two decades ago, I attended a David Wilcox concert in downtown Raleigh, North Carolina. His songs have always hooked my heart, and one in particular caught my attention that