Machine Learning

Get the latest machine learning algorithms and techniques

Machine Learning
Marinela Profi 0
4 strategies to optimize costs of large language model deployment

While large language models (LLMs) have become synonymous with advanced AI capabilities, their integration into various business and technological domains is often accompanied by significant costs. These costs arise from the extensive computational resources required for training and running these models. However, traditional natural language processing (NLP) techniques offer a

Innovation | Internet of Things | Machine Learning
Bryan Saunders 0
The strategic importance of predictive maintenance in industrial operations

Organizations with a passion for quality, reliability, efficiency and safety are using real-time insights generated from AI-powered predictive maintenance programs to anticipate and avoid potential issues while mitigating negative impact. A shift from reactive maintenance, or handling issues in real-time, is not just a technological evolution; it's a strategic decision.

Learn SAS | Machine Learning
Sharad Saxena 0
New SAS Training Course: Statistics You Need to Know for Machine Learning

Developing an accurate understanding of statistics will help you build robust machine learning models that are optimized for a given business problem. SAS launched a new course that provides a comprehensive overview of the fundamentals of statistics that you'll need to start your data science journey. This course is also a prerequisite to many courses in the SAS data science curriculum.

Advanced Analytics | Analytics | Artificial Intelligence | Data Management | Data Visualization | Machine Learning | SAS Administrators
小林 泉 0
データ分析プロセス全体を管理~自己組織的に育てるナレッジのカタログ化とは

自己組織化とは、自然界において個体が全体を見渡すことなく個々の自律的なふるまいをした結果、秩序だった全体を作り出すこと 2010年から存在した解決アイディアがついに実現可能に 今から遡ること十数年前の2010年頃、支援をしていた大手製造業の会社ではすでにデータ分析スキルの社員間でのばらつきと組織全体のスキルの向上、データ分析作業の生産性の向上、人材のモビリティへの耐性としてのデータ分析業務の標準化が課題となっていました。 当時ご相談をいただいた私を含むSASの提案チームは、SASが提供するアナリティクス•ライフサイクル•プラットフォームを活用することで、その問題を支援できることがすぐにわかりました。つまり、ビジネス課題から始まり、利用データ、データ探索による洞察、データ加工プロセス、予測モデリングプロセス、モデル、そしてそれをアプリケーションに組み込むディシジョンプロセスという、一連のアナリティクス•ライフサイクルにまたがるすべての作業を電子的に記録し、全体のプロセスそのものをモデリングし、利活用することで、自己組織的にナレッジが蓄積され、且つ活用されるということです。 しかし、当時のSASだけではない周辺のIT環境、すなわちPCやアプリケーションアーキテクチャなどのインフラ、データの所在、セキュリティ管理などがサイロ化していること、またSAS以外のModelOps環境もシステムごとにアーキテクチャがバラバラすぎたこと、また、お客様社内のデータリテラシーそのものもまだ課題が多かったため、SASを中心としても、実現にはあまりにも周辺の開発コストがかかりすぎたために、提案を断念しました。 時代は変わり昨今、クラウド技術の採用およびそれに伴うビジネスプロセスの変革と標準化が急速に進んでいます。それに歩調を合わせるように、SASの製品も、上記の当時から市場をリードしてきたMLOpsフレームワークをDecisionOpsへと昇華させ、クラウド技術を最大活用すべく、クラウドネイティブなアーキテクチャおよび、プラットフォームとしての一貫性と俊敏性を高めてきました。そしてついに最新版のSAS Viyaでは、アナリティクスライフサイクル全体にわたり、データからデータ分析プロセス全体の作業を電子的に記録し、管理し、活用することが可能となりました。 自己組織的にナレッジを蓄積活用するデータ分析資産のガバナンス 昨今のデータマネージメントの取り組みの課題 詳しくはこちらのブログをご参照いただきたいのですが、多くのケースで過去と同じ過ちを繰り返しています。要約すると、データ分析文化を醸成したい、セルフサービス化を広めたいという目的に対しては、ある1時点のスナップショットでの完成を目的としたデータカタログやDWH/DMのデータモデル設計は問題の解決にはならないということです。必ず5年後にまた別の担当者やプロジェクトが「これではデータ分析しようにもどのデータを使えばわからない、問題だ、整備しよう」となります。 では解決策はなんでしょうか。 静的な情報を管理したり整備するのではなく、日々変わりゆく、どんどん蓄積され、評価され、改善、進化し続ける、データ分析業務に関わるすべての情報を記録統制することです。つまり、以下の三つのポイントを実現することです。各ポイントの詳細は後段でご紹介しています。 ポイント①あらゆるデータ分析資産(ナレッジ)を管理 ポイント②データ品質管理の自動化・省力化とガバナンス ポイント③社内ソーシャルの力による自己組織的情報の蓄積 まずは、それぞれが何を意味しているかを説明する前に、これらを実現するとどのような世界になるのかをユーザーの声によって示してみたいと思います。   個々の自由にデータ分析をしているユーザーによる行動を記録することで、全体を見渡している誰かがヒアリングや調査をして情報を管理することなく、データ分析がどのように行われているかを管理・共有・再利用が可能となるのです。 誰が、どのような目的で、どのデータを、どのように使用したのか、そしてその結果はどうだったのか? このアプリケーションの出した判定結果の説明をする必要がある。このモデルは誰が作ったのか?どのような学習データを使用したのか?どのようなモデリングプロセスだったのか? よく使用されるデータはどれか? そのデータはどのように使用すれば良いのか?注意事項はなにか? データ分析に長けた人は誰か?誰が助けになってくれそうか? 企業全体のデータ品質はどのようになっているか? データ品質と利用パターンのバランスは適切か?誤った使い方をしているユーザーはいないか? など従来、社内勉強会を開催したり、詳しい人を探し出してノウハウを聞いたり、正しくないことも多い仕様書をひっくり返してみたり、そのようにして時間と労力をかけて得られていたデータ分析を自律的に行う際に重要となる社内ナレッジが、自己組織的に形成されるということです。 「情報資産カタログ」とは~一般的な「データカタログ」との違い このような世界を実現する機能をSASでは、「情報資産カタログ」と呼んでいます。データ分析プロセス全体を管理・検索・関連付け・レポートできるようにするテクノロジーです。一般的に言われる、また多くの失敗の原因になる、「データカタログ」と対比するとその大きな違いが見えてきます。 こちらのブログでも述べましたが、データ分析者がセルフサービスでデータ分析を実践したり、初学者がなるべく自分自身で情報収集して、まずは標準的なデータ分析作業をマスターしたりするためには、既存ナレッジを活用する必要があります。一方で、そのようなナレッジは従来一部の優秀なデータ分析者に聞かないとわからなかったり、あるいはITシステム部門に質問して回答までに長い時間を要してビジネス機会を逸してしまう、という結果を招いていました。 既存ナレッジとは、どのようなデータを、どのような意図で、どのような目的で、どのように使い、どのようなアウトプットを得たかという一連の「考え方とやり方」であり、これは管理者が一時的にデータ分析者にヒアリングして「データカタログ」を整備して終わり、というものではなく、日々データ分析者たちの中で自律的に情報が作られていくものです。 ポイント①あらゆるデータ分析資産(ナレッジ)を管理 SAS Viyaでは、上述のアナリティクスライフサイクル各ステップのオブジェクトがすべて一元的に記録・管理されます。日々、新しく作られるレポート、データ加工プロセス、作成されるデータマートの情報が、自動的に管理され検索対象になっていきます。このようにアナリティクス・ライフサイクルの各ステップをすべて管理することで、データ、そのデータを使用しているレポート、そのデータを使用しているデータ加工フロー、その出力データ、さらにはそれを学習データとして使用している予測モデリングプロセスと作成されたモデル、これらを関連付けて見ることが可能となります。それにより例えば、ある目的に使用するデータを探している場合、参考にする業務名やプロジェクト名で検索をすることで、関連するレポートや、データ加工プロセスにたどり着き、そこから使用データやそのデータの使い方にたどり着くという効率的な情報の探し方が可能となります。 もちろん、この機能は昔からあるインパクト・アナリシス機能として、ITシステム部門が、データへの変更の影響調査ツールとして使用することも可能です。 ポイント②データ品質管理の自動化・省力化とガバナンス データ分析を組織的に行う際に気にすべきポイントの一つは、その正確性です。正しいマスターデータを使用しているか、適切な品質のデータを使用しているかは、最終的なアクションや意思決定の精度すなわち収益に影響します。また、結果に対する説明責任を果たすうえでもアクションに使用したデータの品質は属人的ではなく、組織的に管理されている必要があります。またデータ品質を組織的に管理することにより、データ分析の最初に行っていた品質確認という作業が省力化できます。また、属人的に行っていた品質確認作業も標準化されるため、組織全体のデータ分析作業の品質が向上します。 あるお客様では、DWHに格納するデータのETL処理において施すべき処理が実施されていないというミスがあるものの、データの数やETL処理があまりにも多いためそのミスを発見することが困難であるという状況にありました。網羅的な品質管理および品質レポートによってそのようなミスの発見が容易になります。 ポイント③社内ソーシャルの力による自己組織的情報の蓄積 前述のポイント①により基本的にはデータ分析者個人個人の自律的な活動が自動的に記録され、自己組織的に組織全体のナレッジとて蓄積され共有・再利用可能な状態が作られます。これは、データ分析者個人個人が特に意識しなくても自動的に実現できます。それに加えて、さらに意識的にこのプラットフォームを利用することで、蓄積されるナレッジに深みが増します。 例えば、あるビジネス課題をデータ分析で解決使用する場合のスタートは、「問い」です。上述のアナリティクス・ライフサイクルの一番左のスタートにあるものです。その際には、仮説設定をするためや仮説を検証する目的で、様々な角度から「データ探索」を行います。この初期のデータ探索プロセスは、その後のデータ加工やモデリングの根拠になっているため、ナレッジとしてまた説明責任の材料としてはとても重要になります。必ずしも最終的に使用したデータと同じデータを使うとも限らないので、自動的には他のデータ分析資産とは関連づきません。そのような探索プロセスも下記の図のように、同じプロジェクトフォルダに保存しておくことで、関連オブジェクトとして活用することが可能となります。また、プロアクティブに自信が使用したデータやレポートにコメントや評価を付与することで、より価値の高いナレッジへと育つことになります。 昨今企業内SNSなどで、オフィスツールの使い方などノウハウを共有をされている企業・組織もあるかと思います。それを全社規模のアナリティクス・プラットフォームで行うことで、データ分析に関わるナレッジをユーザー同士で培っていくイメージです。 まとめ 「このデータはこの目的に使えますか?」「あ、それはこの情報がないので使えないんですよ。こちらのデータを私は使ってますよ」データ分析者の間でよく交わされる会話です。この問いにいかに迅速に答えられるかが、データ分析の効率性と正確性を高めます。「情報資産カタログ」はまさにこの問いに答えるための機能なのです。

Analytics | Data Management | Machine Learning
Ernesto Cantu 0
La manufactura necesita del análisis de datos para optimizar y mejorar sus procesos: SAS

En el último año se ha observado la llegada de nuevos inversores extranjeros a México, sobre todo por la parte de la industria manufacturera, que ha traído consigo crecimiento económico para el país. De acuerdo con datos de la Asociación para la Tecnología de Manufactura (AMT, por sus siglas en

Analytics | Machine Learning
Junhyuk Jeong 0
컴퓨터가 사물을 보는 방법, CNN 이론 - 2편

지난 포스팅에서 컴퓨터 비전의 과거와 CNN(Convolution Neural Network)의 구성 요소, 퍼셉트론, 합성곱층에 대해 알아보았습니다. 합성곱층과 함께 풀링, 활성화 함수, 드랍아웃 등 다양한 요소를 활용한다면 모델의 성능을 더욱 향상시킬 수 있습니다. 오늘 포스팅에서는 CNN에서 사용될 수 있는 다양한 기법들과 함께 CNN의 학습이 어떤 방식으로 이루어지는지 살펴보도록 하겠습니다. 1. CNN의 구성요소 <그림

Advanced Analytics | Analytics | Artificial Intelligence | Machine Learning
Rubén Valdovinos 0
Modernización, un impulsor del cambio y la innovación en las empresas

Las organizaciones saben que modernizarse es una tarea continua y una condición para seguir compitiendo y creciendo en sus respectivos mercados. Cómo abordar el proceso de modernización, sin embargo, requiere una planeación minuciosa, y no está exento de desafíos. Más aún cuando involucra la adopción de tecnologías y procesos de

Analytics | Artificial Intelligence | Machine Learning
Junhyuk Jeong 0
컴퓨터가 사물을 보는 방법, CNN 이론 - 1편

컴퓨터가 인간보다 잘 하는 몇 가지 분야가 있는데, 그 중 하나가 바로 이미지 인식입니다. 2012년 알렉스넷이 개발된 이후 컴퓨터 비전 분야는 급속도로 성장하여 우리 일상에 자연스럽게 스며들었습니다. 오늘 포스팅에서는 컴퓨터가 이미지를 어떻게 인식할 수 있는지 이론을 중심으로 살펴보도록 하겠습니다. 1. 컴퓨터 비전의 과거 우리가 모니터를 통해 바라보는 이미지의 구조부터 알아보겠습니다.

Advanced Analytics | Artificial Intelligence | Machine Learning
Sophia Rowland 0
MLOps for Pirates and Snakes: The Sasctl Packages for R and Python

SAS Model Manager and the sasctl packages aim to create a seamless ModelOps and MLOps process for Python and R models. Python and R models are not second-class citizens within SAS Model Manager. SAS, Python, and R models can be easily managed using our no-code/low-code interface. This is an interface that can be extended to support a variety of use cases.

Analytics | Machine Learning
0
SAS Viya로 시민 데이터 사이언티스트 도전하기!

데이터 문해력과 SAS Viya 플랫폼 ‘데이터 문해력과 시민 데이터 사이언티스트(이하 CDS)의 필요 역량’이라는 지난번 블로그 포스팅에 이어, 이번에는 데이터 문해력을 기반으로 CDS를 지원하는 기반 플랫폼 ‘SAS Viya’(쌔스 바이야)의 주요 특징들을 살펴보겠습니다. SAS Viya는 인 메모리, MPP 환경과 Cloud Native 등 최신 기술을 기반으로, 분석의 생애 주기인 데이터 접근, 전 처리,

Customer Intelligence | Machine Learning
Lyse Nogueira 0
Machine Learning: a chave na promoção da melhor experiência do cliente

No mundo hiperconectado em que vivemos, os consumidores podem ter múltiplas jornadas de compras, com interações por sites, aplicativos, redes sociais ou até mesmo por uma ligação telefônica. Apesar das muitas opções de canais de contato disponíveis, o mais relevante para o cliente é a qualidade e o nível de

Advanced Analytics | Data Management | Machine Learning
Sandra Hernandez 0
Simplicidad, flexibilidad y accesibilidad + tecnología: claves del marketing moderno para mejorar la experiencia del cliente

El objetivo es siempre el mismo: poder desarrollar estrategias de marketing efectivas utilizando las tecnologías correctas para mejorar las experiencias de los clientes y cumplir con sus expectativas. Al hablar de estrategias de marketing efectivas necesariamente estamos haciendo alusión a conceptos como simplicidad, flexibilidad y accesibilidad. Hablamos de simplicidad para

Analytics | Artificial Intelligence | Customer Intelligence | Machine Learning
Fernanda Benhami 0
Hiperpersonalización, la experiencia del cliente se lleva a nuevos niveles

Crear mejores experiencias para los consumidores, llevarlas a nuevos niveles y conectar estrechamente con ellos son las principales premisas sobre las que se fundamenta la hiperpersonalización, un término que hoy domina las sesiones de trabajo de las áreas de marketing. Su objetivo principal es combinar datos sobre el comportamiento histórico

Advanced Analytics | Analytics | Internet of Things | Machine Learning
Ernesto Cantu 0
Digital twins, simulaciones de la realidad en la que opera la industria de manufactura

La ciencia ficción ha utilizado la premisa de que existen universos paralelos en los que se viven realidades distintas, detonadas por decisiones o eventos excepcionales. En uno de ellos, los personajes estarían experimentando cosas únicas y distintas a las de otra dimensión que corre a la par. Los protagonistas de

Advanced Analytics | Data for Good | Machine Learning
Cristina Pérez 0
Analítica de textos e IA para identificar patrones de trata de seres humanos en la documentación policial

La información que los organismos policiales almacenan sobre detenciones o incidentes delictivos, así como los avisos a los departamentos de policía, tienen un valor enorme para resolver futuros casos que se pueden plantear. Analizar manualmente esta gran cantidad de datos en busca de patrones puede llevar mucho tiempo y sus

Advanced Analytics | Analytics | Artificial Intelligence | Machine Learning
Héctor Cobo 0
Detección y prevención, el mecanismo para reducir los riesgos en el sector gobierno y la banca

Las organizaciones de todos los sectores iniciaron un año 2023 más conscientes de que el entorno económico, político y social no permanece estático, y que las condiciones bajo las que operan a diario pueden cambiar con relativa frecuencia. Han aprendido a ser resilientes y prestar atención a lo que sucede

Analytics | Artificial Intelligence | Machine Learning
Olivia Ojeda 0
Use-based insurance helps fleet operators obtain better rates

SAS Hackathon team, Data Hack Freaks, created an artificial intelligence (AI) and machine learning (ML) based dynamic pricing approach that allows insurance providers to adjust pricing based on the changing nature of the risk behavior of their customers. This solution has three major components: The loss ratio score, telematics score

Advanced Analytics | Analytics | Cloud | Machine Learning
Rubén Valdovinos 0
Modernización, un impulsor del cambio y la innovación en las empresas

Las organizaciones saben que este proceso es una tarea continua y una condición para seguir compitiendo y creciendo en sus respectivos mercados. Cómo abordar el proceso de modernización, sin embargo, requiere una planeación minuciosa, y no está exento de desafíos. Más aún, cuando involucra la adopción de tecnologías y procesos

Analytics | Artificial Intelligence | Innovation | Machine Learning | Risk Management
Joe Nyangon 0
Managing stranded asset risks in the energy sector with analytics

As the world moves toward a low-carbon future, the power and utilities industry faces significant financial and reputational risks due to the potential stranding of resources and assets. This transition to carbon-free energy sources could render carbon-intensive assets – such as coal- and gas-fired power plants, coal mines and hydrocarbon

1 2 3 18

Back to Top