Certain North Carolina counties have been in the news lately, for suspected election fraud involving absentee ballots in the 2018 election. Let's analyze the voter registration and absentee ballot data, to see if we can detect anything suspicious! In order to definitively determine whether fraud & illegal activity occurred, investigators
Uncategorized
By now you’ve seen the headlines and the hype proclaiming data as the new oil. The well-meaning intent of these proclamations is to cast data in the role of primary economic driver for the 21st century, just as oil was for the 20th century. As analogies go, it’s not too
The data revolution is causing disruption everywhere. Even governments are feeling the effects. While the public sector may be less prepared for the impending changes, government has good reasons to embrace the data revolution. First, governments have been collecting data for years. They have lots of data. This supports programs,
인공지능(AI)과 머신러닝이 최근 화두로 떠오르며 이를 둘러싼 여러 오해가 생기고 있습니다. 특히 사기 분야에 대해서는 더 많은 오해를 하고 있는데요. 인공지능과 머신러닝이 정교한 기술과 방대한 양의 데이터를 사용해 도움을 주고 있다는 사실, 알고 계신가요? 인공지능과 머신러닝은 기술은 우리의 일상적인 업무에서 생각해보지 못했던 질문을 던집니다. 이러한 질문들은 보편적으로 알려져 있지 않은 사실이기
“Data for Good”という言葉をご存知でしょうか。これはデータを活用して社会的な課題を解決しようとする活動です。SAS Japanでは”Data for Good”を目指した取り組みを展開しております。その一つとして、SASはData for Good活動をする学生コミュニティ、「SAS Japan Student Data for Good community」を発足します。これは、社会問題へのアプローチを通して、Data Scienceの流れの経験・スキルの向上・学生間の交流拡大・社会への貢献などの達成を目的とするコミュニティです。 このコミュニティのData for Good活動の一環として、本記事では世界の絶滅危惧種についての分析をご紹介します。 現在、世界中で何万種もの生物が絶滅の危機に瀕しています。個体数を減らすこととなった原因はもちろんそれぞれの生物によって異なるでしょうが、主たる原因は人間による環境破壊や開発であると言われています。確かに人間の活動が生物に悪影響を及ぼしうることは直感的に正しいと感じられますし、また、仮にそうだとすれば、人間の開発活動を示す値と絶滅危惧種の数には何らかの具体的な関係があるはずだと考えられます。そこで、今回は、国ごとの絶滅危惧種数や開発指数を用いて、それらの関係を調査します。 今回の調査ではSAS Visual Analytics 8.3を用いてデータ分析を行いました。 今回使用したデータのリストはこちらです。 総人口 (World Bank Data) https://data.worldbank.org/indicator/SP.POP.TOTL 面積 (World Bank Data) https://data.worldbank.org/indicator/AG.SRF.TOTL.K2 人口増加率 (World Bank Data) https://data.worldbank.org/indicator/SP.POP.GROW CO2排出量 (World Bank Data) https://data.worldbank.org/indicator/EN.ATM.CO2E.PC?locations=1W 一人当たりCO2排出量 (World Bank Data) https://data.worldbank.org/indicator/EN.ATM.CO2E.PC?locations=1W GDP (World
This article describes best practices and techniques that every data analyst should know before bootstrapping in SAS. The bootstrap method is a powerful statistical technique, but it can be a challenge to implement it efficiently. An inefficient bootstrap program can take hours to run, whereas a well-written program can give
Have you adopted use of Microsoft Office 365? How has working "in the cloud" affected your integration with SAS applications? SAS product management wants to hear from you.
As mentioned in other PROC SGMAP blogs, several SAS/GRAPH procedures have been moved to 9.4M6 Base SAS to be used with PROC SGMAP. You can use these to create PROC SGMAP output even when using the free SAS University edition. In this blog you will use the: IMPORT procedure for
We got our first 'big' snow of the season here at the SAS headquarters in Cary, NC ... therefore I thought this would be a great time to dig into some snow data! Follow along and pick up some tips & tricks as I plot our snow data - and
先日、-データサイエンティストに求められる「本当の役割」とは-のブログ記事内で紹介されたデータサイエンティストを目指す学生向けのセミナー「データサイエンティストのキャリアと活躍のかたち」の第1回が11/30(金)に開催されました。この記事では、当日の様子をお伝えします。 セミナーの内容は、データサイエンティストのキャリアと活躍の場や、ビジネスではアナリティクスがどのように活用されているかについて、スピーカーがこれまでの経験をもとに紹介するものです。今回は初回のセミナーということで、講演前にSASが学生向けに実施している取り組みの紹介と、データサイエンティストの役割であるデータを利用しビジネス課題の解決を図るという一連の流れを確認しました。 データサイエンティストに必要な資質 はじめに、データサイエンティストのキャリアについて株式会社GEOJACKASS大友さんの講演です。大友さんは、複数の企業・大学でのデータサイエンス業務の経験がある方です。 まず、JAXAに勤務していたときの業務内容の一例ということで、月周回衛星「かぐや」と小惑星探査機「はやぶさ」のデータを扱って周回軌道の可視化などに携わっていたことを実際の画像とともに説明していました。そして、データサイエンティストの業務の大部分は可視化とデータクレンジングを含む集計作業なので、まずは可視化から始めることを意識してほしいとのことでした。 つぎに、趣味の釣りを題材としたデータ分析の話です。釣りは常に一定の成果が得られるわけではなく、全く釣れない日もあれば、突然100尾釣れる日が続くこともあります。この急上昇する時期をピンポイントで当てようとデータをもとに予測システムを構築することを考えていました。そこで釣果予測をするために観測衛星から海水温、海上風速のデータ、海上保安庁から海流のデータを収集し、自治体の管理公園やTwitter、釣具屋にアップされている情報から過去の釣果実績のデータを収集してこれらを一括で管理する仕組みをつくりました。 こうして収集、整形したデータを利用した分析結果をもとに、宮城にヒラメ釣りに行くと、8枚釣ることができたそうです。また、そのほかの魚も大漁でした。ちなみにヒラメは一度の釣りで1枚釣れたら良いと言われているそうです。このシステムは開発途中とのことですが、仕事ではなくても趣味でデータサイエンスの実践は可能だということです。さいごに、この釣果予測で使った気象データが、仕事であるデータサイエンス業務のなかで役立ったケースを挙げ、自分の趣味、好きなことややりたいことを追求するのが最も大事なことで、技術はあとからついてくる。つまり、まずは目的を持つことが重要だというメッセージを学生に強く伝えていました。 データ活用とアナリティクス・ライフサイクル つぎに、ビジネスにおけるアナリティクスについてSAS Japanの畝見による講演です。 導入では、アナリティクスに関するキーワードである「機械学習」「ディープラーニング」「人工知能(AI)」などを一枚の図に整理し、それぞれの単語について説明をしていました。 前半は、ビジネス課題の解決にアナリティクスが活用されている事例の紹介です。「顧客理解・マーケティング分析」分野では、ダイレクトメールの配信を効果的にするためにどういった顧客をターゲットにすればよいかを探索する事例、商品の購入履歴や商品への評価をもとに顧客へおすすめ商品を提案するため用いられている決定手法の説明がありました。「不正検知」分野では、マネーロンダリングなどの不正行為を検知するために用いられている複数の手法の説明があり、「品質管理・異常検知」分野では、教師なし学習による異常検知の説明と、実際に航空会社においてエンジン部品故障を予測するために部品のセンサーデータを利用し、修理が必要な状態になる20日以前に故障の予兆を検知し可視化することを実現した事例の紹介がありました。また、品質管理ではブリヂストンにおけるタイヤ生産システムを自動化し品質のばらつきを低減した事例や、ある半導体メーカーは、従来の品質管理の取り組みに加え、ディープラーニングを取り入れた画像認識技術を追加して品質管理を強化しているなどアナリティクスの進化が応用されている事例の紹介がありました。 他にも、スポーツ関連企業では、スタジアムにあるカメラでサッカー選手の背番号を撮影し、各選手のパフォーマンスを分析するため、ディープラーニングによる画像認識が用いられているなどさまざまな業務・業種でアナリティクスが利用されているとのことです。 後半は、AIとアナリティクス活用の課題と対策についての話です。まず、とある企業でAI・機械学習を導入するプロジェクトがうまくいかなかったストーリーを提示して、データ活用とアナリティクスで成果を出せない理由を以下の3つに分類しています。 データハンドリングの課題(取得・加工・品質・準備) モデリングの課題(スキル課題や結果の一貫性など) モデル実装の課題(価値創出とガバナンス、実行と評価) ここで、「データ活用とアナリティクスで成果を出す=ビジネス課題の解決」には、 Data:アクセス、クレンジング、準備 Discovery:探索、分析、モデル生成 Deployment:モデル管理、組み込み、モニタリング の一連のプロセスからなる循環的な取り組み(アナリティクス・ライフサイクル)が必要だとし、ひとつひとつのステップについての説明がありました。そして、ビジネス価値の創出には、「"問い"→データ準備→探索→モデリング→"問い"→実装→実行→評価→"問い"」という8の字のアナリティクス・ライフサイクルも効果的であるという説明がありました。 さいごに、データサイエンティストの役割として求められることはビジネス価値の創出に貢献することで、そのためにはアナリティクス・ライフサイクルを迅速かつ丁寧に進めることが重要だと伝えていました。 SAS student Data for Good communityの紹介 セミナー内では、学生によるデータサイエンスの学びの例ということで、データを活用して社会的な課題を解決する「Data for Good」への取り組みを発表しました。そして、学生が集まってData for Good活動をするサークル「SAS student Data for Good community」を発足することと、その活動内容や意義についての説明をしました。第2回セミナーで追加的な情報をお伝えする予定です。 講演のあとには、軽食をとりながら講演者と参加者で歓談をしました。さまざまな専攻・学年の方が参加しており、講演者への質問や参加者どうしの会話が絶えず貴重な交流の場となりました。 次回の学生向けセミナー「データサイエンティストのキャリアと活躍のかたち」は1月31日(木)に開催予定です。みなさんの参加をお待ちしております。
SAS has partnered with Pearson VUE to offer Online Proctored for all public SAS exams.
인공지능(AI)은 지난 한 해 동안 미국 연방 정부에서 가장 주목 받은 키워드 중 하나였습니다. 지난 9월, 백악관은 미국의 연방정부가 15년 만에 연방 차원의 체계적 ‘국가 사이버보안 전략’ 공개하며 사이버보안 강화와 기술 발전을 위한 청사진을 제시하기도 했는데요. 발표된 전략 보고서에는 미국 내 네트워크·시스템·데이터 안보 강화, 강화된 사이버보안을 환경에서 디지털경제와 기술혁신 증진, 미국의
Todd Wright shares results of a SAS survey about consumers' data privacy concerns.
Wien und die Donau: Zahlreiche Lieder, Geschichten und Filme dokumentieren die innige Beziehung zwischen der österreichischen Hauptstadt und „ihrem“ Fluss. Das war aber nicht immer so: Über Jahrhunderte stellte das Gewässer eine große Bedrohung für die Stadt dar – und es erforderte beträchtliche Ingenieurskunst, um die Donauauen in ein echtes
Dass IFRS 9 spürbare Herausforderungen im Hinblick auf die Implementierung bringen würde, war von Anfang an klar. Neben den technischen Hürden haben sich Banken schon in einem sehr frühen Stadium den strengen Prüfungen durch Regulatoren, Investoren und Rating-Agenturen, Aufsichtsräten sowie externen und internen Prüfern stellen müssen. Doch verantwortungsbewusste und weitsichtige
PythonからSAS Viyaの機能を利用するための基本パッケージであるSWATと、よりハイレベルなPython向けAPIパッケージであるDLPyを使用して、Jupyter NotebookからPythonでSAS Viyaのディープラーニング機能を使用した時系列予測を試してみました。 大まかな処理の流れは以下の通りです。 1.必要なパッケージ(ライブラリ)のインポート 2.Sin波データの生成 3.セッションの作成 4.RNN向け時系列データセットの作成 5.モデル構造の定義 6.モデル生成(学習) 7.予測 1.必要なパッケージ(ライブラリ)のインポート swatやdlpyなど、必要なパッケージをインポートします。 import numpy as np import pandas as pd import matplotlib.pyplot as plt import swat.cas.datamsghandlers as dmh from swat import * import dlpy from dlpy import Sequential from dlpy.layers import * from dlpy.model import Optimizer, AdamSolver, Sequence
그 동안 머신러닝 해석력 시리즈를 통해서 머신러닝의 부분 의존성(PD; Partial Dependence), 데이터 세트 해석 등을 소개해드렸는데요. 오늘은 라임(LIME; Local Interpretable Model-Agnostic Explanation)을 통해 머신러닝 모델의 해석력을 개선할 수 있는 방법에 대해서 알아보겠습니다. 머신러닝 모델 해석력 시리즈 1탄, 2탄, 3탄을 놓치셨다면 아래 링크를 통해 확인해주세요! 머신러닝 해석력 시리즈 1탄: 인공지능(AI)과 머신러닝을 신뢰하기 위한 필수
The best way to spread Christmas cheer is singing loud for all to hear! -Buddy in Elf In the Christmas movie Elf (2003), Jovie (played by Zooey Deschanel) must "spread Christmas cheer" to help Santa. She chooses to sing "Santa Claus is coming to town," and soon all of New
Once again, I have chosen to take a traditional Christmas song or carol and create a fun technology-related version of it to share with you. This is the fifth year and the eighth song, so I hope you enjoy your 2018 holiday song. Grandma got over run by a neural
Phil Simon chimes in on the increasingly important topic of data literacy.
There is one equation every retail store, call center, traffic, airport or hospital manager should know by heart. No, it’s not E = mc². The one I had in mind is this: W = 1 / (μ – λ) It may not look like much, but it can mean the
After almost 32 years, I am retiring from SAS.
Joseph Woodside discusses the use of using ensemble modeling in SAS for fraud detection and readmissions.
Creative government workforce approaches come in many forms. Some time ago, the US Environmental Protection Agency (EPA) offered employees an interesting choice to incentivize them to stay. Employees could either telework from home one day per week or receive $1,000. As Jon Lemon, principal industry consultant at SAS told the
Recently a SAS programmer wanted to obtain a table of counts that was based on a histogram. I showed him how you can use the OUTHIST= option on the HISTOGRAM statement in PROC UNIVARIATE to obtain that information. For example, the following call to PROC UNIVARIATE creates a histogram for
It might snow this weekend here at the SAS headquarters! This would be the first snow of the season for us, and it got me thinking about snow again (see some of my previous blog posts about snow). Apparently these thoughts have manifested themselves in my computer graphics work ...
Find out how to kick-start your volunteering and leadership skills at SAS Global Forum.
Nicht erst im Zeitalter von künstlicher Intelligenz (KI) und Real-Time Decision Engines werden historische und aktuelle Verhaltensweisen von Kunden analysiert. Die Praxis, anhand dieser Informationen Entscheidungen zu treffen und sie in Echtzeit auf die Kundeninteraktion anzuwenden, gab es bereits in den 1970er-Jahren. Frau Cerny betrieb den Lebensmittelladen im Wohnhaus meiner
Ich muss gestehen: ich bin leidenschaftlicher Gamer. Man könnte auch sagen, ein „Nerd“. Ich liebe Computerspiele, nicht nur, sie zu spielen, sondern ich möchte auch wissen, wie sie gemacht werden, wie sie funktionieren und wohin die Entwicklung in Zukunft führen wird. Ganz besonders interessiert mich, wie künstliche Intelligenz in Spielen
In this blog series, we’ve spoken directly to professors to find out why it’s so important to teach analytics, their advice for students, and to learn how they create interest in analytics programs at their universities. For this third and final post, we’ll hear how SAS has played a role