Author

SAS Taiwan
RSS

SAS 學習資源 : https://blogs.sas.com/content/sastaiwan/

SAS Taiwan 0
文字剖析與篩選

當資料匯入後,接下來需要對文章的字詞做剖析以及一些轉換的動作,這個章節將會介紹「文字剖析」和「文字篩選」兩個節點如何達成這些事情。

SAS Taiwan 0
開始進行文字分析

SAS Text Miner在處理文字時是以資料集中的一欄「文字」作為分析對象,若有多欄的角色都是文字,SAS Text Miner會自動判斷字數最多的那欄作為分析對象。若要修改,可在變數選項修改。

SAS Taiwan 0
文字歸類 - PTT網路論壇討論主題勘查

在現今網路資訊爆炸的時代,每天都有很多新的資訊湧入,PTT是台灣一個網路論壇,也是大學生常常發文討論的地方。Gossiping Board八卦板是PTT最熱門的看板,每天有將近2000篇的新文章,怎麼快速從這麼多的文章中看出大家在討論的主題?在此章節中將介紹SAS Text Miner「文字歸類」節點,這個模組可以將文章分成不同主題,且不同於「文字群集」節點每篇文章只能分到一群,同一篇文章是可能討論很多種不同主題的。 此範例資料是採用2014中華民國九合一選舉前一個禮拜 ( 2014/11/24~2014/11/28 ) 發文的文章,總計共7275篇文章。若想要快速將7275濃縮成25個主題,看哪些文章在討論哪些主題,透過「文字歸類」節點,可看出有1033篇文章在討論「吃、買、去、八卦、賣」這個主題;782篇在討論「連勝、文、哲、柯、票」這個主題...。

SAS Taiwan 0
Text Miner是什麼

SAS Text Miner可探索隱藏在大量文字中的資訊。支援多種語言及檔案格式,並且提供豐富的語言與分析模型工具。將不同的非結構化文字片段、文件檔案庫及網頁下載內容,透過演算法自動識別出模式的各種主題,找出詞彙與片語間的顯著關聯。此軟體提供監督、無監督及半監督的方法來探索大量文件中過去未知的模式。

SAS Taiwan 0
【附錄】匯出的資料匯存在電腦的哪裡

當TM跑出來的結果需要與SAS的其他軟體如EG、VA結合時,需要跑出來的結果表格,此時就需要知道表格在電腦中存放的位置。在下範例中,想知道文字群集節點的結果表格時,點選節點左側選項「匯出的資料」後會看到「表格」欄位,如下圖中的TRAIN表格,該表格就存在

SAS Taiwan 0
【附錄】利用文字剖析結果以利製作blacklist

如附錄1提到的檔案存放路徑,文字剖析的文字結果會存在: [ 專檔資料夾 ] / Workspaces / EMWS1(對應的流程圖) / textparsing_terms.sas7bdat 可藉由此表做一些篩選的動作篩選出blacklist的字詞,以下為幾個可能用到的函數: -         KCOUNT(string):算string雙位元組字元的個數,可以看做算「中文」的字數 -         LENGTH(string) :算string的長度 (含中英文符號等) -         COUNT(string, substring):string裡包含substring的個數, ex: COUNT('基金贖回,「貝萊德中國基金」', '基金')=2

SAS Taiwan 0
如何運用SAS EM進行各式抽樣及過度抽樣(上)

本期開始Dr. SAS將會系列介紹如何運用SAS EM進行模型建置前的各項資料處理,首先將介紹Sample node的使用方法。在SAS EM建模方法論SEMMA的工作循環裡,SAS EM告訴我們分析的第一步驟即為進行Sample,這裡的sample代表著樣本資料與抽樣方法。在模型建置程序裡須取用的資料為樣本資料(sample data),而非母體的全體資料,同時取樣的樣本集必須具有母體代表性,如此模型才具有解釋意義,也才能真實被應用。

SAS Taiwan 0
如何運用SAS EM進行各式抽樣及過度抽樣(下)

抽樣的適當與否對於模型的準確性與可解釋性有很大的影響,因此抽樣設計在模型建置程序裡是很重要的研究議題,也因此Dr.SAS特闢系列專欄來詳細介紹抽樣方法與SAS EM sample node的各種抽樣方法的參數設定使用,希望各位讀者在詳加了解各種抽樣方法後,能適當的運用並將模型調整的更精緻。

SAS Taiwan 0
如何運用SAS EM進行遺失值處理(下)

Impute node遺失值補值的方法 本期將針對 Impute node 的各種方法的使用建議再做詳細說明: ■  母體的統計量補值方法: 平均數(Mean)為最常用來做連續變數的補值方法,然而,平均數適用於對稱的鐘型分布(常態分布),若資料極右偏或左偏分布則不適用,平均數易受極值影響,可考慮用分群平均數來取代整體平均數。如以所得為例,資料有極值時,以區域別及年齡層進行群集區隔,以各群的所得平均來進行補值,相對整體平均值更具有參考解釋性。 考量平均數易受極端值影響的特性,除了分群平均數的方法處理外,亦可選擇使用Median(中位數)、Mid-Range(最大最小值平均值) 、截頭去尾平均值(Mid-Minimum Spacing)等方法來進行補值。其中,最大最小值平均值法為(最大值+最小值)/2,截頭去尾平均值法則為去除兩端n%的觀測值後,再取用Mid-Range。 另外,眾數法(Count)則以變數類別水準出現頻率最高的來補值,眾數法適用於類別資料的遺失值補值。 ■  母體分布(Distribution): 依據母體真實資料分布的均數 μ 來進行補值。 ■  利用資料探勘模型進行補值: 較精準的補值方法為採用資料探勘模型的方法來進行補值,EM提供決策樹(Tree)的方法,將遺失值欄位設定為目標變數,進行值的預測。通常針對重要具有模型影響性的變數,建議採用此法。 ■  使用者自訂(Constant): 使用者亦可給予缺失值一個指定值,連續數值常設定為「0」、「99999」,類別數值則設為「N/A」。 ■  不處理(None): 分析者可以選擇忽略遺漏值,不進行處理,交由後續模型演算方法來處理。   迴歸分析與類神經演算方法,遇到觀測值中欄位有缺失時,會自動忽略不計,所以無形之中會損失很多重要資訊,因此,缺失值的處理在迴歸分析或類神經相對重要,補值的方法就可以依上述所說的各種統計、資料探勘等方法來處理缺失值問題。決策樹則有自動處理的能力,遺失值可以獨立一個分支、或歸在最多分支、或最有相關的分支裡。   Impute node遺失值補值的案例說明       接續上期分析流程: (1) 準備群集分析資料集:SAMPSIO.HMEQ (2) 進行遺失值檢視 (3) 進行遺失值處理 至Modify工具頁籤下選取Impute Node與資料節點HMEQ串連,並進行對應參數設定。 圖一:Impute node的參數列   Impute node 針對類別變數(Class Variables)

SAS Taiwan 0
如何運用SAS EM進行變數處理與衍生變數產生 (上)

資料探勘分析是一種科學方法,然而在資料處理與流程設計卻是門藝術。同一份資料集,不同的分析人員即便選用同一種分析工具,都極可能會產生不同的模型分析結果與應用方向,差異在於分析者對各資料解讀的深度、變數的選擇能力以及進一步的對資料處理的能力,資料處理中尤其以變數處理與衍生變數的產出,優秀的資料科學家就是在剖析問題的邏輯性與重要的衍生變數上勝出,這一階段的處理程序往往造就模型的準度與模型的精細解釋度。

SAS Taiwan 0
如何運用SAS EM進行各式抽樣及過度抽樣(下)

抽樣的適當與否對於模型的準確性與可解釋性有很大的影響,因此抽樣設計在模型建置程序裡是很重要的研究議題,也因此Dr.SAS特闢系列專欄來詳細介紹抽樣方法與SAS EM sample node的各種抽樣方法的參數設定使用,希望各位讀者在詳加了解各種抽樣方法後,能適當的運用並將模型調整的更精緻。

SAS Taiwan 0
活學活用決策樹(二):運用SAS EM決策樹進行分群分析

決策樹的應用 決策樹的應用多是建立預測分類模型,應用產業層面包含:資料庫行銷的回應模型,找出對行銷活動有回應的客戶特徵與回應名單、交叉銷售尋找潛力客群、流失預測模型,找出客戶可能流失的原因與型態(pattern),提前進行客戶挽留、信用風險危機預警模型、詐欺偵測、製造業生產線良率的監控、在雷達信號分析、遠距感應、醫學診斷、專家系統、語音辨識,生物資訊及許多其它的領域。

SAS Taiwan 0
活學活用決策樹(五): 如何運用SAS EM決策樹產生系統最佳與專家調整的混合模型(1)

連續幾期介紹SAS EM決策樹的進階應用與分析處理,本期Dr.SAS回到SAS EM決策樹底層主要分析功能的介紹上。SAS EM決策樹提供兩種建立預測模型的模式,一為互動式建模環境(Interactive mode),另一為自動建模環境(Automatic mode)。兩種分析模式環境各自有其分析使用上的優點,同時SAS EM在SAS EM 7版本以後,也同時將兩個建模環境模式做了整合,讓建模分析人員可以針對系統最適推薦模型,進行專家調整,提供給分析者更佳彈性與實務考量的建模平台。

SAS Taiwan 0
活學活用決策樹(六): 如何運用SAS EM決策樹產生系統最佳與專家調整的混合模型(2)

上期介紹一SAS EM決策樹互動式建模(Interactive mode),這期接續介紹如何利用決策樹自動建模環境(Automatic mode)產生系統最佳模型。Dr.SAS則建議初階資料探勘分析人員在建立決策樹預測模型時,先從互動式決策樹開始分析,分析者可透過一層層決策樹的開展與預測規則的解釋,了解投入變數間的先後重要解釋關係,嘗試選擇較具業務代表性的解釋變數,並可透過解讀預測規則的合理性,來檢視資料的品質。

1 3 4 5 6 7 9