Data Management

Blend, cleanse and prepare data for analytics, reporting or data modernization efforts

Advanced Analytics | Analytics | Data Management
Estelle Wang 0
Find duplicates and near-duplicates in a corpus with Natural Language Processing

To find exact duplicates, matching all string pairs is the simplest approach, but it is not a very efficient or sufficient technique. Using the MD5 or SHA-1 hash algorithms can get us a correct outcome with a faster speed, yet near-duplicates would still not be on the radar. Text similarity is useful for finding files that look alike. There are various approaches to this and each of them has its own way to define documents that are considered duplicates. Furthermore, the definition of duplicate documents has implications for the type of processing and the results produced. Below are some of the options. Using SAS Visual Text Analytics, you can customize and accomplish this task during your corpus analysis journey either with Python SWAT package or with PROC SQL in SAS.

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Internet of Things
Andrés Mauricio Torres 0
Tecnologías basadas en datos que propiciarán la reinvención de las las telcos

El sector de las telecomunicaciones no solamente es protagonista de la Transformación Digital por los procesos que se adelantan dentro de sus mismas empresas para evolucionar y apoyar a sus clientes, sino precisamente por la influencia que tienen para apoyar esa transformación en compañías de otras industrias. Se trata de

Advanced Analytics | Analytics | Data Management | Data Visualization
Marcos Garcia 0
Data observability generates benefits well beyond migration management

My recent work has focused heavily on migration, especially onto the SAS Viya platform and cloud more generally. Rather unexpectedly during this process, we have found that data observability is becoming increasingly important to customers. They start simply by looking at tracing files, but soon find that it has a

Advanced Analytics | Analytics | Data Management | Data Visualization
Ernesto Cantu 0
Acelerando un futuro analítico para manufactura en América Latina

A medida que nos acercamos a un nuevo año, los temas de productividad y optimización para operar en un  contexto volátil e incierto seguirán siendo una prioridad para los ejecutivos de todos los sectores de la industria, y manufactura no es la excepción. Los datos son un aliado importante para garantizar la resiliencia

Advanced Analytics | Analytics | Artificial Intelligence | Cloud | Data Management | Data Visualization | Machine Learning
Charlie Chase 0
How life science and health care supply chains can adapt to disruption

Robert Handfield, PhD, is a distinguished professor of Supply Chain Management at North Carolina State University and Director of the Supply Chain Resource Cooperative. In an episode of the Health Pulse Podcast, Handfield gave his views regarding the challenges health care and life science companies have encountered over the past two years

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Students & Educators
Adriana Rojas 0
Por qué los programas en ciencia de datos son un éxito

Hace unas semanas, anunciamos el convenio de colaboración entre el SAS Institute y la Universidad Europea con el objetivo de formar perfiles analíticos gracias a nuestras certificaciones SAS para docencia. En particular, los estudiantes del Doble Grado en Business Analytics + Administración y Dirección de Empresas, así como de los

Analytics | Data for Good | Data Management
Georgia Mariani 0
5 tips for implementing a data and analytics culture in higher education

Building a data and analytics culture in higher education means equipping key stakeholders with the skills necessary to analyze and leverage insights extracted from data. Doing so can drive faster, more accurate decision-making. When I hear “data and analytics culture,” I immediately think of the work Jason Simon and his team

Analytics | Artificial Intelligence | Data Management
Marinela Profi 0
The social impact of data science: improving the mental health for cancer patients with AI

A cancer journey affects both physical and mental health. This often results in feelings of social isolation, loss of identity, clinical depression and even PTSD. This often goes unrecognized and undiagnosed due in part to lack of resources, tools and time. Swedish startup War On Cancer wondered whether they could

Advanced Analytics | Analytics | Artificial Intelligence | Data Management
Olivier Penel 0
The 5 characteristics of a future-fit, data-driven organisation

Change is the only constant, and it doesn’t happen overnight. This is particularly true in the world of data analytics. As organizations are looking to become more digital, resilient and profitable, executives are going back to the whiteboard to reconsider how they’re using data and analytics to transform their business.

Advanced Analytics | Analytics | Data Management | Data Visualization
Charlie Chase 0
Misnomers regarding outliers and their usefulness in statistical modeling

Outliers provide much-needed insights into the actual relationships that influence the demand for products in the marketplace. They are particularly useful when modeling consumer behavior where abnormalities are common occurrences or unforeseen disruptions that impact consumer demand. But why do demand planners cleanse out outliers, when many are not really

Analytics | Data for Good | Data Management
Josh Morgan 0
LA County's Whole Person Care analytics program offers crucial flexibility  

When Los Angeles County invested in Whole Person Care (WPC) it could not have known just how important the system’s flexibility would be. Anyone who has had an interface with health care delivery, policy, oversight and management know things change quickly. As data becomes a priority, expectations of the use

Advanced Analytics | Analytics | Data Management
Lindsay Hart 0
"Hack the Case" competition challenges students to solve real business analytics problems

"Exhausting, but exhilarating," said participants in Hack the Case – a unique, 10-day competition hosted by Ivey Business School, SAS, Deloitte and Scotiabank, with the assistance of the Centre for Advanced Computing, Queen’s University. Students from Ivey Business School’s Master of Science (MSc) in Management, Business Analytics start with a

Advanced Analytics | Data Management | SAS Administrators
SAS Viya Blog ~Azure Fileを利用したWindowsとSAS Viya間のデータ共有方法の紹介~

背景の紹介 これまでのSAS製品は、SAS 9でもSAS Viya 3.5でも、ほとんどがWindowsやLinuxのプラットフォームで動作していました。 そのため、Windowsクライアントを持つユーザーは、SMBサービスやWindowsのファイル共有機能を介して、これらのプラットフォームに保存されたファイルに簡単にアクセスすることができていたのです。 SASが開発した最新のクラウドネイティブ・データアナリティクス・プラットフォーム「SAS Viya」は、WindowsやLinuxなどのOS上で直接動作するのではなく、コンテナ/ポッドの形でKubernetes(以下、K8s)上で動作し、従来の製品とはアーキテクチャが大きく変わっています。K8s上で動作するサービスのコンテナ内のデータは一時的なものなので消えてしまう特徴があります。この点に対して、お客様は最新の製品を使用する際に、K8sに保存したデータをローカルのWindowsシステムからどのようにアクセスするのか、SASで作成したレポートなどのデータをどこに保存するのかという疑問を持つことが多いようです。 今回は、下記の図の構造のような、K8sに保存されているファイルを、比較的簡単な方法でWindowsクライアントと共有する方法をご紹介したいと思います。 本記事の内容は、Microsoft Azure上にデプロイされたSAS Viya Stable 2021.2.3に基づいています。centos 7.9上で、kubectl、kustomization、azure cliなどのコマンドラインツールを利用する作業が含まれているので、Linux、Kubernetes、SAS ViyaのデプロイメントとAzureに関する一定の知識が必要です。また、お使いのクラウドベンダーや製品のバージョンによって、設定方法が異なる場合もありますので、詳細は各ドキュメントをご確認ください。 SAS Viya on Kubernetesが利用するストレージの紹介 まず、K8s上にデプロイされたSAS Viyaサービスを使用した場合のデータの保存方法について簡単に説明します。 例えば、SAS Studioを利用する場合、ユーザーがセッションを作成するたびに、SAS ViyaはK8s上に一つのコンテナを作成します。これは、ユーザーがセッションで実行したすべてのコードや操作がこのコンテナに入っているミニLinux内で実行されます。 ご存知のように、コンテナの最大の利点は、インストール作業や設定などが一切いらず、配置したらすぐに使えることです。コンテナが提供するサービスや機能を使用するために設定を行う必要はありませんが、同時に、コンテナ内のデータに加えた変更も保存されず、新しいセッションを作成するたびに、まったく同じ設定を持つまったく新しいコンテナが作成されます。 そのため、SAS Studioで作成した新しいデータを保存したい場合は、コンテナの外部にあるストレージに保存する必要があります。K8sではこの外部ストレージは永続ボリュームと呼びます。 永続ボリュームを利用することにより、SAS Studioのセッションが終了しても、作業中にユーザーが作成した新しいデータはちゃんと保存されています。次にユーザーが新しいセッションを作成する時、以前使用していた永続ボリュームが新しいセッションに自動的にマウントされ、ユーザーが永続ボリュームに保存されていたデータを使って引き続き作業できます。この記事で紹介するデータ共有方法も、こちらの永続ボリュームを利用しています。 データ共有するための設定方法 次に、K8sで作成したファイルをWindowsと共有する方法を紹介します。前述したように、作業中に発生したデータを永続ボリュームに保存することができるので、永続ボリュームをWindowsにマウントするだけで、作業用PCとK8sの間でデータを共有することができますが、実現方法は使用する永続ボリュームの外部ストレージの種類によって異なります。 AzureのK8sサービス上でSAS Viyaを利用する場合、使用する外部ストレージは、大体以下の3種類です。Azure Fileを共有ストレージとして使用する場合、追加のサーバは必要なく、使い方も比較的簡単なので、本記事ではAzure Fileを外部ストレージとして使用する場合の共有方法を紹介します。 - ネットワークファイルシステム(以下NFS) - Azure Disk - Azure File(本記事で紹介する方法) データを共有するためには、次のような手順が必要です。 これらの手順には、AzureとK8sの管理者権限と関連する知識が必要なため、一般的にはサーバ管理者やSAS Viya導入の担当者が行うことになることに注意してください。 1.ストレージクラスの作成 2.永続ボリューム要求の作成

1 2 3 34

Back to Top