생성형 AI에 대한 전세계 기업들의 투자와 활용이 계속되는 가운데, 이와 관련된 흥미로운 조사 결과가 발표되었습니다. SAS가 최근 콜먼 파크스 리서치(Coleman Parkes Research Ltd.)에 의뢰한 전세계 조사에 따르면 생성형 AI를 가장 적극적으로 사용하고 있는 나라는 중국인 것으로 나타났습니다. 중국의 비즈니스 의사 결정자들은 자사 조직의 83%가 이 기술을 이용하고 있다고 응답했습니다. 이는
Uncategorized
A recent article came out with an updated list of necessary components for MLOps and LLMOps. And while this list may seem long, reading through the capabilities and components, I realized that SAS Viya already covers most of the required functionality. Organizations can have a hodgepodge of tools that they
Isotonic regression (also called monotonic regression) is a type of regression model that assumes that the response variable is a monotonic function of the explanatory variable(s). The model can be nondecreasing or nonincreasing. Certain physical and biological processes can be analyzed by using an isotonic regression model. For example, a
Emojis are showing up in our data. Here's what you need to know when working with emojis in your SAS code.
この時期の私の楽しみは、散歩の途中でかわいらしい色とりどりのアジサイの花を眺めることだ。アジサイは、「集まる」や「寄せ集める」という意味があり、花弁がいくつも集まっている咲き姿に由来しているそうだ。別名「七変化」とも呼ばれており、土の性質によって花色が変わるのが特徴。土が酸性だとブルー系、中性からアルカリ性だとピンク系になるそうだ。面白いことに、ブルーのアジサイをアルカリ性の土に植え替えると薄紫色のアジサイに変化するそうだ。 「統計学と機械学習の違いは何か」という質問を受けることがある。土の性質で色が変わるアジサイのように、機械学習と統計学も同じような関係ではないかと思う。両者の目的は似ているが、ビッグデータと高度な計算能力という土俵の違いが機械学習の発展に大きく寄与したのは間違いない。ただ、機械学習の歴史は比較的新しいが、統計学がなければその発展は考えにくい。例えば、決定木分析は機械学習が流行る前から統計学の手法の一つだったが、機械学習の進展とともに進化してきた。ちなみに決定木分析は樹形図の形式で結果を出力し、そのため初心者でも理解しやすい分析手法の一つ。SASでは、機械学習をはじめとして、ニューラルネットワーク、AI関連のトレーニングコースが年に数回開催されている(SASトレーニングコース)。 ※Google Trendによると日本での検索数は、2016年当りから交差する形で機械学習が統計学を上回るようになった。機械学習が統計学より広まったのは、ビジネスパーソンであろうが消費者であろうが、意思決定の場面で使われる頻度や処理速度に関連があると思う。 2024年7月初旬 相吉
A previous article discusses the fact that there are often multiple ways in SAS to obtain the same result. This fact results in many vigorous discussions on online programming forums as people propose different (but equivalent) methods for solving someone's problem then argue why their preferred method is better than
Adding linguistic techniques in SAS NLP with LLMs not only help address quality issues in text data, but since they can incorporate subject matter expertise, they give organizations a tremendous amount of control over their corpora.
As announced and demonstrated at SAS Innovate 2024, SAS plans to include a generative AI assistant called SAS Viya Copilot in the forthcoming SAS Viya Workbench. You can submit a text prompt (by putting it in a comment string) and the Copilot will generate SAS code for you. My colleagues
While reviewing a book on numerical analysis, I was reminded of a classic interpolation problem. Suppose you have n pairs of points in the plane: (x1,y1), (x2,y2), ..., (xn,yn), where the first coordinates are distinct. Then you can construct a unique polynomial of degree (at most) n-1 that passes through
SAS' Greg Massey describes a real-world example of digital transformation for a large customer grappling with manually reviewing patient medical records.
One of the most exciting features of SAS Viya Workbench is that the code editor includes a generative AI component called SAS Viya Copilot. This feature was announced and demonstrated at SAS Innovate 2024. With the Copilot, you can specify a text prompt that generates SAS code. For example, you
공공 고객 세미나 통해 공중보건과 공공사회서비스 개선을 위한 해법 제시 SAS코리아는 지난 5월 23일과 24일 양일간 공공 부문 고객들을 대상으로 ‘공중보건 전문가를 위한 SAS Public Health 세미나’와 ‘공공사회서비스 전문가를 위한 SAS Social Services 세미나’를 JW메리어트 호텔에서 개최했습니다. [사진1] 공중보건 전문가를 위한 SAS Public Health 세미나 장면 소외 계층 없이 전
This article discusses how to scale a probability density curve so that it fits appropriately on a histogram, as shown in the graph to the right. By definition, a probability density curve is scaled so that the area under the curve equals 1. However, a histogram might show counts or
In a previous blog post, we discussed how generative AI (GenAI) is experiencing unprecedented popularity, with organizations across various industries eager to unlock its immense potential. We also highlighted potential use cases organizations must identify to unlock GenAI's full potential with credit customer journeys. These can include using chatbots for
SAS Hackathon Boot Camp が SAS Innovate Tokyo に登場 2024年7月18日からSAS Innovate Tokyoが東京丸の内で開催されます。参加される皆さんは、SAS Hackathon Boot Campにもぜひご参加ください。参加は無料です。この Boot Campは、提供されるダイナミックなAI環境の中で、"経験豊富な問題解決者" である皆さんが一丸となって課題に取り組むことができるプログラムとなっています。多様な専門的バッグラウンドを持つ皆さんのご参加をお待ちしてます。このプログラムは、与えられた課題に取り組む中で、融資業務の評価を実際に体験することができるものとなっています。金融業界でのバックグラウンドの有無にかかわらず参加いただけます。 プログラム Boot Campのプログラムは、信用審査モデルにおいて、特に性別、年齢、人種、場所、その他の潜在的な要因に関連する、"隠れたバイアスの蔓延"という問題に対して取り組む内容となっています。参加者には、そのようなバイアスが存在する可能性のある現実世界のシナリオをシミュレートするデータセットが提供されます。ゴールは、そのような既存のバイアスを持ち続けず、これ以上増やさないためにも、フェアな信用審査モデルを新たに作成することにあります。利害関係者とのコミュニケーションを可能にするための、データセット内の潜在的な問題の評価を支援するダッシュボードの作成ももう一つのゴールです。 オプション 参加者はローコード、ノーコード開発のどちらかを選択することができます。また、プログラムの課題を通して、SAS Viya 上での、AI、アナリティクス、オープンソースツールの組み合わせを体験していただけます。 ユースケースオプション: 信用審査モデリングデータのバイアスの検出 (ローコード) 一度に 1 つのダッシュボードで信頼性の確認ができる: 倫理的なデータ可視化の課題 (ノーコード) 必要な準備 インターネット環境に接続可能なご自身のPCをご持参ください。 サポート SASから提供されるものは以下です。 Azure上で実行され、Intelによって高速化されたSAS CloudでのSAS Viyaへのアクセス 問題の説明とデータ SASのメンターによる課題取組み中のコーチング 会場でのWi-Fi チーム チームは2〜4人で編成されます。歓迎されるスキルは以下です。 公平性を判断するための批判的思考 データに存在するさまざまなタイプのバイアスに関する認識 データインサイトを解釈して伝達する能力 複雑なコンセプトを伝えるための強力なコミュニケーションスキル
A previous article discusses a formula for a confidence interval for R-square in a linear regression model (Olkin and Finn (1995) "Correlations redux", Psychological Bulletin) The formula is useful for large data sets, but should be used with caution for small samples. At the end of the previous article, I
A SAS analyst ran a linear regression model and obtained an R-square statistic for the fit. However, he wanted a confidence interval, so he posted a question to a discussion forum asking how to obtain a confidence interval for the R-square parameter. Someone suggested a formula from a textbook (Cohen,
SAS' Bahar Biller guides you through an asset lifetime prediction scenario using a synthetically generated historical data set and a solution built on SAS reliability modeling.
전문가들과 소통하며 창의적인 아이디어로 세상을 변화시킬 수 있는 기회! 새로운 도전과 혁신을 위한 ‘SAS 해커톤 대회’가 올해도 그 막을 열었습니다. 데이터 및 AI 부문 선도기업 SAS가 5월 30일부터 8월 30일까지 SAS 해커톤 참가자를 모집합니다. SAS 해커톤 대회는 개발자, 데이터 과학자, 학생, 스타트업, SAS 고객 및 파트너 등이 참여하여 클라우드 환경의
タンポポは、生き生きとしたかつとても響きの良い、好きな日本語の一つである。 語源は、江戸時代頃までは「鼓草(ツヅミグサ)」と呼ばれていたものの、花のかたちが太鼓に似ている、または太鼓を叩くポンポンという音を連想させるとかで、たんぽぽになったという説が有力らしい。英語では「dandelion」と、たんぽぽの花の形がライオンのタテガミに似ているからかと思いきや、ギザギザの葉をライオンの歯に見立てたことから由来しているそう。 タンポポは、春に花を咲かせて夏には枯れてしまう短命のイメージがあるが、実はとても長生きする草本だそうだ。花が散った後、綿毛のタネを飛ばして(あのひらひらとした傘の形の綿毛で運が良ければ100キロ先まで飛ぶそうなので驚く。もちろん大概は数メートルのはずだが)、葉を枯らしてしまうが、しっかり根は残っていて(だからうちの庭の草むしりが大変だった)、そして翌年の春になるとまた茎を立ち上げて葉を伸ばし、花をつける。毎年それを繰り返し、根株が死なない限り何年でも生き続け、寿命は、10年から15年程度だそうなのでこれまた驚きである。 話が変わるが、統計学には生存分析、あるいは生存時間解析というのがあり、生物の死亡や機械の故障など寿命が分析対象で、医学や社会科学の多くの分野に利用されている。医学研究の例を挙げると、ある時間を過ぎて生存する人々の割合はどの程度か、生き残った人々はどの程度の割合で死亡するのか、特定の状況または特性が生存確率にどのような影響を与えるのか、などが挙げられる。SASでは6〜8月に生存時間解析、予測分析、といった講座が開設されているので(SASトレーニングコース )、「寿命」に興味関心がある方はぜひ受講してみて頂きたい。 2024年6月初旬 相吉
4月16日-19日に開催されたSAS Innovate in Las Vegasにて、SAS Hackathon Boot Campが行われました。 日本からは塩野義製薬様が参加され、見事3位入賞いたしました。🎉 本記事では塩野義製薬様のチャレンジの様子や、いち早くSAS Viya Workbenchを利用した感想をお伝えします。 また、7月17-18日に開催予定のSAS Innovate in Tokyoでは、2日目にHackathon Boot Campが行われます。 ぜひこの記事を参考にし、皆様のチャレンジをお待ちしています。 SAS Hackathon、SAS Viya Workbenchに関する各種リンクは以下をご覧下さい: SAS Hackathon Boot Camp in Tokyo (SAS Innovate Day2):Here ※参加登録時、ハッカソン参加希望をチェックください。 SAS Hackathon:Here SAS Viya Workbench:Here チーム SHIONOGI ? 今回SAS Hackathon Boot Campへ参加したのは、データサイエンス部の4名です。 参加された4名は、医薬品の有効性・安全性を確かめる臨床開発をはじめ、医薬品の研究~販売のすべてのバリューチェーンにおいて、データサイエンスの側面から業務プロセスの改革へ取り組まれています。 塩野義製薬様エントリーの背景 日頃から仮説(臨床試験/ビジネス)に対しデータサイエンスを使い向き合っていますが、3時間という限られた時間の中で普段扱わない業界・テーマへ向き合うことは、我々の実力試しが出来るいい機会と考えていました。 日々様々な業務テーマ/データと向き合い、高度なデータ活用へ取り組まれている皆さんにとって、Hackathon Boot Campはそれらの総合力と向き合う機会だったと言えます。
Government employees charged with monitoring environmental compliance face a downpour of information, wading through countless reports and stacks of paperwork to accomplish their mission. To help these dedicated public servants increase productivity, agencies should consider a broader set of tools to control pollution, enforce regulations and improve compliance. Although foundational
A SAS analyst read my previous article about visualizing the predicted values for a regression model that uses spline effects. Because the original explanatory variable does not appear in the model, the analyst had several questions: How do you score the model on new data? The previous example has only
생성형 AI는 우리의 업무 환경과 사회를 변화시키고 있습니다. 사람과 기술이 상호작용할 새로운 방법을 제시하며 상상을 능가하는 속도로 영향을 끼치고 있죠. 최근 실시한 조사 결과는 생성형 AI에 대한 흥미로운 시각을 제시하고 있는데요, 기업 의사결정자들이 체감하는 생성형 AI의 해결 과제와 기회를 동시에 확인하실 수 있습니다. 대다수의 응답자는 GenAI를 통해 직원 만족도가 향상되었고(82%),
Sometimes labels for variables get "dropped" during data preparation and cleaning. One example is when data are transposed from "wide form" to "long form." For example, suppose a data set has three variables, X, Y, and Z, each with labels. If you transpose the data to long form, the new
Batch manufacturing involves producing goods in batches rather than in a continuous stream. This approach is common in industries such as pharmaceuticals, chemicals, and materials processing, where precise control over the production process is essential to ensure product quality and consistency. One critical aspect of batch manufacturing is the need to manage and understand inherent time delays that occur at various stages of the process.
A SAS programmer wanted to visualize density estimate for some univariate data. The data had several groups, so he wanted to create a panel of density estimate, which you can easily do by using PROC SGPANEL in SAS. However, the programmer's boss wanted to see filled density estimates, such as
Generative AI (GenAI) is in its most popular era and many organisations across industry are looking for ways to unlock its potential value. McKinsey's projections suggest that GenAI could add a staggering $2.6 to $4.4 trillion in value to the global economy. In fact, banking is the number one industry
After writing a program that simulates data, it is important to check that the statistical properties of the simulated (synthetic) data match the properties of the model. As a first step, you can generate a large random sample from the model distribution and compare the sample statistics to the expected
桜が散ったと思うと、いつの間にかツツジの季節がやってきた。ツツジは、4月中旬から5月中旬にかけて咲く、日本で最も親しまれている植物の一つであり、桜の散る頃から北海道から沖縄まで全国各地の様々な場所で楽しめる花でもある。歴史的には、徳川家のツツジ好きもあって江戸幕府が植栽に力を入れ、大名たちの間で庭園づくりブームが起きたとか。 さて、統計学のコースだが、多くの良質な書籍やコンテンツがあり、感心するものも多いが、しかし、入門としては物足りなさを否めない。特に、「社会人のための・・・」をうたったコースにおいては、統計学を長年体系的に勉強した者として、大学(統計学部)の授業のようなものが多く一般人にはレベルが高い印象を受ける。また、日本独自の事情やニーズに合った教材が必要ではないかと思う。 前述したツツジのように統計学が日本中に広まってほしい、データリテラシーの底上げに貢献したいという気持ちから、「統計学入門」コースを新設した。このコースは、統計の勉強をしたことがない社会人向けに分かりやすく統計の基礎を解説し、かつ実務へのつながりを意識した質問、例を盛り込むことで、統計学の概念の定着につながるように構成している。実務に統計学がどのように活用されているのかなどをより意識したコース内容となっている。また、本コースはSAS製品を使用していない方でも受講可能である。この機会にぜひ受講を検討いただきたい。 2024年5月初旬 相吉