All Posts
If you’ve worked hard to reduce added sugars in your eating plan, the looming holiday sugar fest can send shivers down your spine. It’s not visions of sugar plums causing concern; it’s the fear of turning into the blueberry girl from Charlie and the Chocolate Factory!
Many SAS procedure compute statistics and also compute confidence intervals for the associated parameters. For example, PROC MEANS can compute the estimate of a univariate mean, and you can use the CLM option to get a confidence interval for the population mean. Many parametric regression procedures (such as PROC GLM)
As technology evolves, so do the c-suite roles related to technology. In particular, the roles of Chief Digital Officer and Chief Data Officer – both referred to as CDO – have seen rapid changes. This post will document the changes I've observed in these two roles, and answer questions I've heard as our customers have been navigating the
When protecting children, “entity resolution” can reduce the things agencies don’t know they don’t know. It’s a technological capability I wish I’d had when I led a child protective services agency. I have been involved in hundreds of determinations that would alter a child’s life trajectory. I was comfortable with
Konferenzen rund um die Betrugserkennung mit Analytics sind eine wichtige Informationsquelle im unaufhörlichen Kampf gegen Kriminalität – für unsere Kunden, für unsere Wettbewerber, für uns selbst. Auch heute noch ist es ein Tabu einzugestehen, dass man Opfer eines Betruges wurde, und kaum ein Unternehmen spricht offen darüber. Denn absolut niemand
The cybersecurity challenge exemplifies how global threats have evolved and how governments must combat them. For all the complexity of the Cold War, the United States defense officials knew the nations that posed the biggest threat. The world is much different today. As General Michael Hayden (ret.), former Director of the National Security
Winter holiday traditions and family rituals are the stuff of rich memories for many grown kids like myself. As a parent educator, I also know that traditions can benefit all members of the household: The repetitive nature of traditions contributes to a sense of comfort and belonging. Traditions can help
Index of articles on "Getting Started with SGPLOT Procedure". Getting Started with SGPLOT - Part 1 - Scatter Plot. Getting Started with SGPLOT - Part 2 - VBAR. Getting Started with SGPLOT - Part 3 - VBOX. Getting Started with SGPLOT - Part 4 - Series Plot. Getting Started with
Impulse und Orientierung in Zeiten der Digitalisierung: über 300 Teilnehmer vor Ort, mehr als 250 Zuschauer im Livestream. Wer noch einen Beweis dafür brauchte, dass digitale Transformation und die Rolle, die Analytics dabei spielen kann, Unternehmen und Menschen in hohem Maße beschäftigen, der fand ihn am 22. November 2016 eindrucksvoll
Data quality initiatives challenge organizations because the discipline encompasses so many issues, approaches and tools. Across the board, there are four main activity areas – or pillars – that underlie any successful data quality initiative. Let’s look at what each pillar means, then consider the benefits SAS Data Management brings
Editor's note: This series of blogs addresses the questions we are most frequently asked at SAS Press! Ever thought about writing your own SAS or JMP book? Here are a few reasons why writing a SAS Press book can be a fantastic career move! 1. Your book establishes you as
JSON is the new XML. The number of SAS users who need to access JSON data has skyrocketed, thanks mainly to the proliferation of REST-based APIs and web services. Because JSON is structured data in text format, we've been able to offer simple parsing techniques that use DATA step and
Data integration helps a successful business make things simple and quick for customers, and keeps them coming back. While a company will have data silos, data held within one area is made available to others in order to help the customer. In most local, county and state governments that is
Traditional data management includes all the disciplines required to manage data resources. More specifically, data management usually includes: Architectures that encompass data, process and infrastructure. Policies and governance surrounding data privacy, data quality and data usage. Procedures that manage a data life cycle from creation of the data to sunset
2014 およそ2014年からSAS on Hadoopソリューションを本格展開してきました。時代背景的には、2014頃は依然として、業態の特性からデータが巨大になりがちで、かつそのデータを活用することそのものが競争優位の源泉となる事業を展開する企業にHadoopの活用が限られていたと思います。その頃は、すでにHadoopをお持ちのお客様に対して、SASのインメモリ・アナリティクス・エンジンをご提供するというケースが大半でした。 その後、急速にHadoopのコモディティ化が進んだと感じます。 2015 2015頃になると、前述の業態以外においてもビッグデータ・アナリティクスの成熟度が上がりました。データ取得技術の発展も伴い、これまで活用していなかった種類や量のデータを競争優位性のために活用を志向するようになり、蓄積および処理手段としてのHadoopの選択が加速します。この頃になると、数年前には必ずあったHadoopそのものの検証ステップを踏まない企業が増えてきます。データ量、処理規模、拡張性、コスト効率を考えたときに妥当なテクノロジーがHadoopという結論になります。ビッグデータはデータのサイズだけの話ではありませんが、筆者の足で稼いだ統計によると、当時大体10TBくらいが、従来のテクノロジーのまま行くか、Hadoopを採用するかの分岐点として企業・組織は算段していたようです。この時期になると、従来のテクノロジーの代替手段としてのHadoopの適用パターンが見えてきました。 新しいデータのための環境 従来捨てていた、あるいは新たに取得可能になった新しいデータをとりあえず蓄積して、何か新しいことを始めるためのある程度独立した環境として、コスト効率を考慮してHadoopを採用するパターン 既存のデータウェアハウスへ価値を付加(上の発展形であることが多い) 新たなデータを使用してHadoop上で加工し、アナリティクス・ベーステーブルにカラムを追加し、アナリティクスの精度を向上 ETL処理負荷やデータ格納場所のHadoopへのオフロード BI & アナリティクスの専用基盤 SQLベースのアプリケーションだけをRDBMSに残し、その他の機械学習、ビジュアライゼーションなどSQLが不向きな処理をすべてHadoop上で実施 多くは、インメモリアナリティクスエンジンと併用 データレイク (筆者の意見としては)いざ新しいデータを使用しようと思ったときのスピード重視で、直近使用しないデータも含めて、全てのデータを蓄積しておく。よくあるのが、新しいデータを使用しようと思ったときには、まだデータが蓄積されておらず、利用開始までタイムラグが生じてしまうケース。その時間的損失すなわち利益の喪失を重要視し、そのような方針にしている企業が実際に当時から存在します。 2016 海外の事例等では数年前から見られましたが、2016になると、日本でも以下の傾向が見られます 既存Hadoopをそのコンセプトどおりスケールアウトしていくケース グローバル・データ・プラットフォームとして、複数のHadoopクラスターを階層的に運用するケース AI、機械学習ブームにより機械学習のためのデータの蓄積環境として IoTの流れにより、ストリーミング処理(SASでいうと、SAS Event Streaming Processingという製品です)と組み合わせて まさに、Hadoopがデータプラットフォームとなる時代がやって来たと思います。その証拠に、SAS on Hadoopソリューションは、日本においても、金融、小売、通信、サービス、製造、製薬といったほぼ全ての業種において活用されています。 Hadoopの目的は、従来型のBI・レポーティングではなく、アナリティクス このような流れの中で、Hadoopの採用には一つの確固たる特徴が浮かび上がっています。もちろん弊社が単にITシステムの導入をゴールとするのではなく、ビジネス価値創出を提供価値のゴールにしているというバイアスはあるのですが。。。 Hadoopの導入目的は、ビジネス価値を創出するアナリティクスのためであることがほとんどである したがって、Hadoopに格納されるデータには主にエンドユーザーがアナリティクス観点の目的志向でアクセスするケースがほとんどである つまり、ある程度の規模のITシステムではあっても、Hadoopに格納されるデータはアナリティクスの目的ドリブンでしかアクセスされません。主たるユーザーは、分析者やデータ・サイエンティストです。彼らが、「使いたい」と思った瞬間にアクセスできる必要があるのです。このようなユーザーサイドのリクエストは、従来のBIすなわちレポーティングのような固定化された要件定義をするような依頼ではないため、その都度従来のようにIT部門と要件をすり合わせて、IT部門にお願いするという方法では成り立ちません。その数日、数週間というリードタイムが意思決定を遅らせ、企業の業績に悪影響をもたらすからです。あるいはIT部門の担当者を疲弊させてしまいます。つまり、アナリティクスにおいては、分析者・データサイエンティストが自分自身で、Hadoop上のデータにアクセスし、必要な品質で、必要な形式で、必要なスピードで取得するために自由にデータ加工できる必要があるのです。 このあたりの話については、下記でも紹介していますので、是非ご覧ください。 【ITmedia連載】IT部門のためのアナリティクス入門 第2回 やっと分かった ビッグデータアナリティクスでHadoopを使う理由 第3回 データ分析で成功するためのデータマネジメントとIT部門の新たな役割 【関連ブログ】 アナリティクスの効果を最大化するデータマネジメント勘所 これが、Hadoopにおいて、セルフサービス・データマネージメント(データ準備)ツールが不可欠な理由です。SASはアナリティクスのソフトウェアベンダーとして、このHadoop上でITスキルの高くない分析者・データサイエンティストでも自分自身で自由にデータを取得できるツールを開発し提供しています。それが、SAS Data Loader for Hadoopです。 SAS Data Loader