活學活用

活學活用

SAS Taiwan 0
活學活用決策樹(三):運用SAS EM決策樹進行CHAID及CART分析

決策樹結果重在商業邏輯的解釋 決策樹不似其他預測模型方法,依照每一觀察者的不同的特徵屬性值,計算出各自的發生機率值,它則是某一區間內的特徵屬性給定一個分數,歸屬在同一條預測規則下的觀測點,都會給定同一個值,發生機率都會判定相同,所以會有一定的誤差值。也就造成決策樹的準確度雖然不是最佳,但由於其容易表達、方便解讀,對於入門data mining的初階miner,賽博士卻是大大推薦決策樹一定要好好學習。模型的準確度在初學時,常會被我們認為是分析結果的重點。事實上,模型結果具有商業解釋性才更勝於一切,模型看似準確高,但產出的模型結果卻是分析人員或產業專家無法解釋,其實就等於是無用的模型。而模型準確度也可透過資料的處理或重要衍生變數的投入,提升模型的準度。準度也必需要禁得起時間的考驗,也就是每定期的模型驗證,來確定模型的穩定性。過度配適(model over-fitting)也可能造成一時的模型預測正確率很高,但幾期的時間觀察下來,卻發現模型越來越失準。(模型評估的方法,我們可以另闢一期來特別說明)。

SAS Taiwan 0
活學活用關聯分析--如何運用SAS EM進行購物籃分析(2)

介紹完如何運用SAS EM的關聯分析節點進行購物籃分析,是不是覺得運用EM進行購物籃分析不是件難事? 此外,關聯分析容易產生大量的關聯規則,但並不一定每一個都是有用的,有些關聯規則是業務老手早已知道的規則,有些則無法解釋,都必須一一剔除。所以這些資料解讀與處理程序,也是購物籃分析的重點之一。

SAS Taiwan 0
如何運用SAS EM進行階層分類購物籃分析(1)

購物籃分析不僅單純地可拿來做零售商品的產品購買關聯,在SAS EM裡關聯節點或購物籃節點被歸屬在SEMMA循環裡的Explore工具池裡,所以這兩個節點可以拿來當作建置預測模型時的資料瀏覽工具,更進一步可將節點結果的產出匯出當作預測模型的新衍生變數。另外,購物籃分析也可以連結分群分析,協助行銷人員做更精準的行銷設計規劃(詳細內容可參考前兩期的專欄內容)。

SAS Taiwan 0
活學活用決策樹(二):運用SAS EM決策樹進行分群分析

決策樹的應用 決策樹的應用多是建立預測分類模型,應用產業層面包含:資料庫行銷的回應模型,找出對行銷活動有回應的客戶特徵與回應名單、交叉銷售尋找潛力客群、流失預測模型,找出客戶可能流失的原因與型態(pattern),提前進行客戶挽留、信用風險危機預警模型、詐欺偵測、製造業生產線良率的監控、在雷達信號分析、遠距感應、醫學診斷、專家系統、語音辨識,生物資訊及許多其它的領域。

SAS Taiwan 0
活學活用類神經網路 --如何運用SAS EM提升類神經網路模型的實用性(1)

類神經網路一度曾是最有名,但卻被了解最少的資料探勘演算方法。類神經網路也被大量應用在各個產業上,原因在於類神經網路可以解決非線性複雜模型的建構、本身沒有太多模型假設限制,以及模型產出有很好的預測能力,但唯一在應用上令人詬病的即是模型結果難以解釋。舉例而言,透由類神經網路模型,我們可以找到一組郵購商品回應率很高的客戶名單,但是模型卻無法直接告訴我們,客戶會願意郵購這組商品的主要影響因子為何,因而大大降低了模型的實用性。

SAS Taiwan 0
活學活用決策樹(五): 如何運用SAS EM決策樹產生系統最佳與專家調整的混合模型(1)

連續幾期介紹SAS EM決策樹的進階應用與分析處理,本期Dr.SAS回到SAS EM決策樹底層主要分析功能的介紹上。SAS EM決策樹提供兩種建立預測模型的模式,一為互動式建模環境(Interactive mode),另一為自動建模環境(Automatic mode)。兩種分析模式環境各自有其分析使用上的優點,同時SAS EM在SAS EM 7版本以後,也同時將兩個建模環境模式做了整合,讓建模分析人員可以針對系統最適推薦模型,進行專家調整,提供給分析者更佳彈性與實務考量的建模平台。

SAS Taiwan 0
活學活用決策樹(六): 如何運用SAS EM決策樹產生系統最佳與專家調整的混合模型(2)

上期介紹一SAS EM決策樹互動式建模(Interactive mode),這期接續介紹如何利用決策樹自動建模環境(Automatic mode)產生系統最佳模型。Dr.SAS則建議初階資料探勘分析人員在建立決策樹預測模型時,先從互動式決策樹開始分析,分析者可透過一層層決策樹的開展與預測規則的解釋,了解投入變數間的先後重要解釋關係,嘗試選擇較具業務代表性的解釋變數,並可透過解讀預測規則的合理性,來檢視資料的品質。

SAS Taiwan 0
活學活用迴歸分析 --如何運用SAS EM進行迴歸模式最佳實務分析流程(1)

迴歸模型 (Linear Regression Model) 是非常流行的統計模式,分析的結果也被大量地應用在各個產業上,然而,迴歸分析雖也屬於資料探勘裡常用的演算方法,但它主要的演算方法卻是來自於統計分析的推估,因此須在正式進入迴歸分析之前,必須先確認各項資料條件滿足迴歸模型的基本假設,才適宜選用迴歸模式進行分析。否則,會造成資料本身不配適迴歸,但卻強迫進行迴歸模型建置,最終結果會造成模型解釋力始終無法被提升。

SAS Taiwan 0
活學活用迴歸分析 --如何運用SAS EM進行迴歸模式最佳實務分析流程(2)

 接續上期專欄Dr.SAS介紹的迴歸模式最佳實務分析流程,Dr.SAS建議讀者在進行迴歸分析之前,先透過SAS EM的Graph Explore節點做資料散布圖形看資料分布的趨勢,或者最佳建議則是整合SAS EG下工作程序下Describe>> Distribution Analysis,選擇Normal Distribution來進行迴歸假設的檢驗程序。確認觀察資料滿足迴歸模型假設後,才能進行接續的迴歸分析程序。若資料不滿足迴歸模型假設時,則需進行適當的資料轉換工作。

SAS Taiwan 0
活學活用分群分析--如何運用SAS EM Cluster node進行客群分析(2)

分群結果重在行銷命名與應用 分群分析的結果產出通常不會一次就滿足分析者的需求,往往會透過多次的產出結果的解讀與群集的調整,來找到最適合的群集結果。 分群的結果追求的不是模型的準度而是它的應用性,哪一個群集結果的產出最能讓行銷人員解讀與進一步應用,才是適切的分群結果。因此如何快速的調整或找到適合的分群結果,才是學習分群的重點之一。

SAS Taiwan 0
如何運用SAS EM進行階層分類購物籃分析(2)

階層分類購物籃分析首要的第一步就是產品分類資料集的準備,當產品的品項繁複時,直接透由關聯節點(Association Node)來進行購物籃分析,關聯分析所得的關聯規則會是細項產品間的交易關聯,甚至可能細到不同品牌,反而不容易看出消費者的整體的消費趨勢。因此透由SAS EM的購物籃節點(Market Basket Node)來進行分析則可以解決傳統購物籃分析的問題,購物籃節點透過商品間的階層關係事先建立,再進行關聯分析時則可以解決上述分析解讀的問題。

Back to Top