Blend, cleanse and prepare data for analytics, reporting or data modernization efforts
Ready to turn big data into big business insights? Look to the cloud.
Brett Wujek, Principal Product Manager do SAS, mostrou detalhadamente o cliclo analítico e como o SAS Viya ajuda a facilitar o modo como os dados podem ser tratados, oferecendo um equilíbrio natural e efetivo entre os recursos de automação e a interação humana. Wujek frisou a importância da interação humana
Statewide longitudinal data systems (SLDS) have been around for many years, helping states understand students’ paths through the education system and beyond. The COVID-19 pandemic was an opportunity for one state’s SLDS to step up in new ways that helped feed children in need. With the US Department of Agriculture
Digital channels open the door to synthetic identity fraud. Luckily, artificial (AI, that is) can defeat synthetic.
Learn why a data catalog is so valuable in helping you find and use big data at your business.
Fight back against sophisticated money launderers with these 3 techniques.
Interview mit Dr. Edgar Klenske, Gründer des Start-ups GaussML.
¿Qué importancia tiene considerar la diversidad y la inclusión cuando lanzamos una iniciativa de Analítica? Es decir, ¿qué tan importante es la diversidad y la inclusión para la sociedad? Los estatutos de derechos humanos establecen que: "Todos los individuos son iguales ante la ley y tienen derecho a la misma
1. はじめに 前回投稿しました「SAS/ACCESSのご紹介とSnowflakeとの連携デモ」はご覧になったでしょうか。SASと外部のデータストレージサービスを連携する「SAS/ACCESS」のご紹介と、実際に「Snowflake」というサービスに連携してみました。今回は、その続きとして、10年以上前からビッグデータ・アナリティクスの基本アーキテクチャである、In-Database機能の代表的な機能である、SQLパススルーという機能をご説明し、デモを準備しました。 2. SQLパススルーについて SAS/ACCESS がインストールされている場合、SQLパススルーを使用してデータストレージサービスにクエリできます。接続方法に応じてSQLパススルーは、「暗黙的パススルー」と「明示的パススルー」に分けることができます。 暗黙的パススルーの価値は、作成したSASコードが自動的にデータストレージサービスが処理できるSQLに変換され、そのSQLをデータストレージサービス側に与えることにあります。ですので、SASで実行されたSQLやSASプロシジャに指定されたWHERE句など、可能な限りデータストレージサービス側で処理を行い、結果だけをSAS側に転送することが可能です。一方、明示的パススルーの場合には、DB依存のSQLを明示的に記述することできます。暗黙的パススルーと明示的パススルーについてまとめた表を下に記載していますので、ご覧ください。今回は、暗黙的パススルーについて詳しくご紹介したいと思います。 ▲SAS CommunityでSQL Pass throughについて質問するユーザー 暗黙的パススルーを使用する方が良いか、明示的パススルーを使用するのが良いのか気になるかと思います。実はこのトピックは、SAS Communityでもよく見られ、SAS/ ACCESSを使用している全世界のユーザーにとっても気になる質問です。どちらを使用するかは、どこに基準を置くか、また、SASとデータストレージサービスの環境のスペックによって異なると思います。ですので、皆さんもこのような疑問が生じた場合は、SASに相談してみてはいかがでしょうか。 3. 暗黙的パススルーのデモ 3-1. データの紹介とデモの概要 今回のデモのために、「pets」と「owners」という名前で２つのテーブルをデータストレージサービス(今回は、Snowflake)側に事前に保存しておきました。 「pets」テーブルには、３つのカラムがあります。 Id: ペット固有のid Name: ペットの名前 Type: ペットの種類(犬、猫、その他) Id Name Type 1 オオビ 犬 2 ローザ 猫 3 ワンチャン その他 … … … もう１つのテーブル「owners」にも３つのカラムがあります。 Id: オーナー固有のid Name: オーナーの名前
What if you had a technology solution that creates a real-time link between the customer demand signal and what's happening on the ground? What if plans that are being steered centrally could finally be connected to every shipping lane, while simultaneously, creating cost saving carrier adjustments? The first-of-its kind integration
Gemeenten krijgen nogal wat kritiek te verduren. Er is geen twijfel dat sommige beter kunnen, maar vele zijn sterk gericht op het leveren van hoogwaardige diensten voor hun burgers. Echter, deze 'goed nieuws' verhalen komen zelden in de pers - zelfs niet in de lokale kranten in rustige weken. Zoals
Letzte Woche hatte ich das große Vergnügen, zum ersten Mal an einem Ideathon teilzunehmen (Winterhack). Wer das nicht kennt – diese Art der Veranstaltung ist vergleichbar mit einem Hackathon, nur dass hier weniger das Coden und technische Entwickeln von Prototypen im Vordergrund steht. Vielmehr geht es in der Hauptsache um
지난 글에서는 분석 모델을 배포하기까지 많은 시간이 소요되는 이유, 이를 극복하기 위한 방법으로서 운영계에 적용하는 ModelOps의 개념과 효과를 소개해드렸습니다. 하지만 통상적으로 기업의 의사결정이 분석의 결과만으로 이뤄지지는 않습니다. 분석 인사이트를 기반으로 하되 기업에서 설정한 비즈니스 룰을 확인해야 하며, 기업 안팎의 상황에 대한 검토도 필요합니다. 금융권을 예로 들면, 고객의 신용대출 요청에 따른
New and more prescriptive privacy and other data-related regulations are elevating data governance to a strategic asset for organizations in all sectors. Data governance can no longer remain confined to a back-end IT operation. As the data-rich financial services sector is now moving fast towards more profound digitization of financial
Learn why integrating EHR data with pharmacy and claims data improves patient care.
SAS' Leonid Batkhan explains the data cleansing task of removing unwanted repeated characters in SAS character variables.
기업에서는 하루에도 여러 차례 비즈니스에 중요한 의사결정을 내리고 있습니다. 최선의 선택을 하기 위해 많은 기업이 강력한 분석 모델을 개발하여 의사결정 프로세스에 분석 결과를 통합하고 있습니다. 하지만 의사결정에 결정적인 역할을 하는 대부분의 분석 모델은 빛을 보지 못합니다. 데이터 중심의 의사결정을 위한 실용화의 마지막 관문을 넘지 못하기 때문입니다. 본 글에서 데이터 중심의
Jim Harris examines coronavirus terms that are crucial to data-driven decisions in the pandemic.
A prima vista, potrebbe sembrare che data science e psicologia abbiano ben poco in comune. Tuttavia, di recente ho iniziato ad appassionarmi di psicologia e penso che tra le due ci siano molte più somiglianze di quanto si possa pensare. 1. Sia Data Science che psicologia ci aiutano a rispondere
A evolução do analytics e da ciência de dados gera constantes atualizações e transformações nas plataformas de análises. Este artigo tem o propósito de apresentar como o SAS tem acompanhado essa evolução. Ambiente Integrado: uma única plataforma, diversas tarefas O SAS oferece recursos que permitem acessar, explorar, transformar, analisar e
前回のブログでは、Microsoft AzureストレージサービスのブロックBlobストレージについて軽く紹介し、SASからBlobストレージ中の特定の一つのファイルにアクセスする方法を紹介しました。 第1回リンク：https://blogs.sas.com/content/sasjapan/2020/10/01/sas-azure-blob-1/ しかし、実際のビジネスシーンでは、特定の一つのファイルにだけアクセスする運用はやはり割合的には少ないと考えています。 そこで、今回のブログでは、より効率的に、複数データに同時にアクセスできる方法を紹介します。そしてこれは、Microsoft AzureのBlobストレージをファイルシステムとしてSASサーバにマウントし、SASサーバから便利にアクセスする方法です。 前回と同じように、下記の方法を使うためには、前提条件として、SAS ViyaサーバとBlobストレージがあるAzure間でネットワーク通信ができる必要がありますので、ネットワークセキュリティ条件を確認してから、下記の方法をお試しください。 方法②： BlobストレージをファイルシステムとしてSASサーバにマウントし、SASサーバからアクセスする方法。 Microsoft Azure側： 1．まず、Azureポータルに入り、「ストレージアカウント」をクリックします。（図2-1） 図2-1 2．その配下で、使用されている対象Blob用のストレージアカウントをクリックします。（図2-2） 図2-2 ３．そして、表示された左ペインの中で、「アクセスキー」というメニューをクリックします。（図2-3） 図2-3 4．該当ページでは、このストレージアカウントにアクセスするためのキーの情報が含まれているので、その中の、「ストレージアカウント名」と「キー」をメモしてください。あとで接続設定情報を作る時に使用します。（図2-4） 図2-4 5．一層上に戻り、同じくストレージアカウントの左ペインで、Blobサービスの中の「コンテナー」をクリックします。（図2-5）アクセス先のコンテナー名前（例：folderfirst）をメモしてください。あとで接続設定情報を作る時に使用します。 図2-5 以上で、Azure側の準備作業が終わります。次は、SASサーバ側の準備作業を進めていきます。 SAS Viyaサーバ側： 今回、Blobストレージをファイルシステムとしてマウントするには、Blobfuseという仮想ファイルシステムドライバー機能を使います。そのため、事前にSAS ViyaがインストールされているLinuxサーバ側に、そのツールをインストールする必要があります。 このブログで使用しているSAS ViyaサーバはRHEL/CentOS 7.x系のLinuxサーバであるため、Blobfuseのインストールを含めた手順は下記となります。 6．使用するSASユーザで、SASサーバ側にMicrosoftパッケージリポジトリをインストールします。 sudo rpm -Uvh https://packages.microsoft.com/config/rhel/7/packages-microsoft-prod.rpm 7．BlobfuseをSASサーバ側にインストールします。 sudo yum install blobfuse ８．Azureでは、低いレイテンシーとパフォーマンスのため、SSDが提供され、今回はそれを使って、ディレクトリーを作成します。（SSD使わないことも可能ですので、その場合、別ディレクトリーで作成して頂いてかまいません。） sudo mkdir /mnt/resource/blobfusetmp -p sudo chown #YourUserName#:sas /mnt/resource/blobfusetmp
近年、クラウドベンダーが提供するサービスが充実し、より多くのクラウドサービスが誕生してきました。しかし、一つのニーズに対して、複数のサービスを選択できるようになってきているものの、どのサービスが最適なのかを判断することは逆に難しくなってきていると考えられます。最近、SASを活用しているお客様から、「Microsoft社のAzureを使っていますが、これからクラウドにデータを移行して、安くて使い勝手なストレージサービスは何かありませんか」と聞かれたこともありました。 このブログシリーズでは、クラウド上のストレージサービスの一種であるMicrosoft Azure CloudのBlobストレージサービスの概要を紹介した上で、SAS ViyaからそのBlock Blobストレージに格納されているデータへアクセスする方法をご紹介させていただきます。 このブログシリーズは合計2回です。今回のブログでは、まず特定の一つファイルへのアクセス方法をご紹介します。次回のブログでは、より汎用的なアクセス方法、つまり、Blobストレージを一つのファイルシステムとして、SASサーバと連携し、一度に複数のデータにアクセスする方法をご紹介します。ぜひ最後まで、お付き合いいただければと思います。 第1回：https://blogs.sas.com/content/sasjapan/2020/10/01/sas-azure-blob-1/ 第2回：https://blogs.sas.com/content/sasjapan/2020/10/05/sas-azure-blob-2/ Blobストレージとは何か？ まず、Blobストレージとは何かを紹介する前に、Blobって何でしょうか、から始めます。聞きなれない方もいらっしゃるかと思いますので。実際、BlobはBinary Large OBjectの略称です。本来はデータベースで用いられているデータタイプの種類で、メディアファイルや、圧縮ファイル、実行ファイルなどのデータを格納する時に使用されているものです。 では、Blobストレージとは何か？Microsoft社の紹介では、こう書かれています。 「Blob Storage は、テキスト・データやバイナリ・データなどの大量の非構造化データを格納するために最適化されています。非構造化データとは、特定のデータ・モデルや定義に従っていないデータであり、テキスト・データやバイナリ・データなどがあります。」 少し言い換えますと、Blobストレージは、ログファイルから、画像ファイルやビデオ・オーディオファイルまで格納できます。もちろん、通常目的でのデータ利用にも対応しているため、データの格納場所として使っても問題ありません。（Microsoft Azureの資料によりますと、4.75 TiBまで可能です。） なぜBlobストレージなのか 前文で少し申し上げたSASのお客様から頂いた質問の中で、「安くて使い勝手の良いストレージサービスは」と聞かれた事に関して、安いというポイントに関しては、下記の図をご覧ください。 ソース：https://azure.microsoft.com/ja-jp/pricing/details/storage/（2020/09/09アクセス時点） ご覧のように、ブロックBlobのストレージサービスは、安価で、かつ非構造化データに対応し、一般目的でのデータストレージとして、非常に向いています。 もちろん、ビジネスケースによっては、様々考慮すべき点（既存環境にHadoop環境があるかどうか、スループット、ビッグデータ等々）もありますが、今回は、主にこのブロックBlobストレージを例として紹介します。 SAS ViyaからBlobストレージにアクセスする方法 ここからは、SAS ViyaからBlobストレージにアクセスする方法をご紹介します。下記の方法を使うために、前提条件として、SAS ViyaサーバとBlobストレージがあるAzure間でネットワーク通信ができる必要がありますので、ネットワークセキュリティ条件を確認してから、下記の方法をお試しください。 方法①： SASのPROC HTTPプロシージャを使って、Blobストレージ内の特定の一つのデータにアクセスする方法。 Microsoft Azure側： １．まず、Azureポータルに入り、「すべてのリソース」をクリックします。（図1-1） 図1-1 2．その配下で、利用されているストレージアカウントをクリックします。（図1-2） 図1-2 ３．次に、表示された左側のメニューの中で、「Blob Service」配下のコンテナーをクリックします。（図1-3） 図1-3 *豆知識: ここで、いきなりコンテナーが出てくることに関して、混乱している方もいらっしゃるかもしれないので、少し解説します。こちらのコンテナーとは、Dockerコンテナーの意味ではありません。Blobストレージサービス配下のデータ格納用のサブ階層のことであり、フォルダーのようなものとイメージしてください。（図1-4） 図1-4 ４．上記図1-3のように、その中に一つ「folderfirst」というコンテナーが存在しており、それをクリックすると、中に保管されているデータが見えるようになります。（図1-5） 図1-5 ５．ここからが重要なポイントです。特定のデータ、例えば、「sas7bdat」データにSAS Viyaからアクセスしたい場合は、該当ファイルの名前をクリックして、下記のようなプロパティ情報を表示させます。（図1-6） 図1-6
SAS' Leonid Batkhan reviews SAS functionality related to the character strings quoting/unquoting, then dives deep into unquoting SAS character variables.
In the third post of his series, Jim Harris looks at types, terms and timing of coronavirus tests.
¿Por qué es hoy el mejor momento para migrar a la nube? Porque su conveniencia, ubicuidad y flexibilidad permiten que una organización siga operando sin interrupción en situaciones normales y extraordinarias, ya sea una crisis económica, política, natural o sanitaria como la actual. Pero también porque la nube ha alcanzado
Los días de compras diferenciadas -como los días sin IVA llevados a cabo en varios países latinoamericanos y los que aún hay programados por ejemplo en Colombia para septiembre- deben dejarnos experiencias y aprendizajes. Es cierto que hay que seguir reforzando los controles de bioseguridad y que cuidar la salud
Meet Alfred Mukudu in this third post of the Humans of SAS Services series.
Meet Mario Weitenbacher in this second post of the Humans of SAS Services series.
Could you pass a test on coronavirus testing terms? Jim Harris can help.
SAS' Leonid Batkhan reveals how to change lengths for all character variables in a data set and all data sets in a data library to facilitate data migration to Unicode encoding environment.
