本期開始Dr. SAS將會系列介紹如何運用SAS EM進行模型建置前的各項資料處理，首先將介紹Sample node的使用方法。在SAS EM建模方法論SEMMA的工作循環裡，SAS EM告訴我們分析的第一步驟即為進行Sample,這裡的sample代表著樣本資料與抽樣方法。在模型建置程序裡須取用的資料為樣本資料(sample data)，而非母體的全體資料，同時取樣的樣本集必須具有母體代表性，如此模型才具有解釋意義，也才能真實被應用。

接續上期抽樣方法介紹，本期Dr.SAS將將繼續介紹在EM Sample node裡如何進行分群抽樣、分層抽樣，以及運用Sample node進行過度抽樣的方法。

抽樣的適當與否對於模型的準確性與可解釋性有很大的影響，因此抽樣設計在模型建置程序裡是很重要的研究議題，也因此Dr.SAS特闢系列專欄來詳細介紹抽樣方法與SAS EM sample node的各種抽樣方法的參數設定使用，希望各位讀者在詳加了解各種抽樣方法後，能適當的運用並將模型調整的更精緻。

在真實資料現況裡，分析資料並非完美無虞，往往會有許多資料品質上的問題，難以著手分析，尤其是 遺失值 (Missing value) 的問題在資料預處理階段更是常見處理議題。

Impute node遺失值補值的方法 本期將針對 Impute node 的各種方法的使用建議再做詳細說明： ■  母體的統計量補值方法： 平均數(Mean)為最常用來做連續變數的補值方法，然而，平均數適用於對稱的鐘型分布(常態分布)，若資料極右偏或左偏分布則不適用，平均數易受極值影響，可考慮用分群平均數來取代整體平均數。如以所得為例，資料有極值時，以區域別及年齡層進行群集區隔，以各群的所得平均來進行補值，相對整體平均值更具有參考解釋性。 考量平均數易受極端值影響的特性，除了分群平均數的方法處理外，亦可選擇使用Median(中位數)、Mid-Range(最大最小值平均值) 、截頭去尾平均值(Mid-Minimum Spacing)等方法來進行補值。其中，最大最小值平均值法為(最大值+最小值)/2，截頭去尾平均值法則為去除兩端n%的觀測值後，再取用Mid-Range。 另外，眾數法(Count)則以變數類別水準出現頻率最高的來補值，眾數法適用於類別資料的遺失值補值。 ■  母體分布(Distribution)： 依據母體真實資料分布的均數 μ 來進行補值。 ■  利用資料探勘模型進行補值： 較精準的補值方法為採用資料探勘模型的方法來進行補值，EM提供決策樹(Tree)的方法，將遺失值欄位設定為目標變數，進行值的預測。通常針對重要具有模型影響性的變數，建議採用此法。 ■  使用者自訂(Constant)： 使用者亦可給予缺失值一個指定值，連續數值常設定為「0」、「99999」，類別數值則設為「N/A」。 ■  不處理(None)： 分析者可以選擇忽略遺漏值，不進行處理，交由後續模型演算方法來處理。   迴歸分析與類神經演算方法，遇到觀測值中欄位有缺失時，會自動忽略不計，所以無形之中會損失很多重要資訊，因此，缺失值的處理在迴歸分析或類神經相對重要，補值的方法就可以依上述所說的各種統計、資料探勘等方法來處理缺失值問題。決策樹則有自動處理的能力，遺失值可以獨立一個分支、或歸在最多分支、或最有相關的分支裡。   Impute node遺失值補值的案例說明       接續上期分析流程： (1) 準備群集分析資料集：SAMPSIO.HMEQ (2) 進行遺失值檢視 (3) 進行遺失值處理 至Modify工具頁籤下選取Impute Node與資料節點HMEQ串連，並進行對應參數設定。 圖一：Impute node的參數列   Impute node 針對類別變數(Class Variables)

資料探勘分析是一種科學方法，然而在資料處理與流程設計卻是門藝術。同一份資料集，不同的分析人員即便選用同一種分析工具，都極可能會產生不同的模型分析結果與應用方向，差異在於分析者對各資料解讀的深度、變數的選擇能力以及進一步的對資料處理的能力，資料處理中尤其以變數處理與衍生變數的產出，優秀的資料科學家就是在剖析問題的邏輯性與重要的衍生變數上勝出，這一階段的處理程序往往造就模型的準度與模型的精細解釋度。

Transform Variables node變數轉換的案例情境說明 變數轉換的資料處理，若資料有遺漏，建議先透過 Impute node 處理缺失值問題，再進行變數轉換的資料處理程序。

抽樣的適當與否對於模型的準確性與可解釋性有很大的影響，因此抽樣設計在模型建置程序裡是很重要的研究議題，也因此Dr.SAS特闢系列專欄來詳細介紹抽樣方法與SAS EM sample node的各種抽樣方法的參數設定使用，希望各位讀者在詳加了解各種抽樣方法後，能適當的運用並將模型調整的更精緻。

延續『【資料處理篇】如何運用SAS EM 進行樣本預區隔與極值偵測(上)』文章說明

Variable Selection node案例情境說明 根據上篇的介紹，接下來將透過案例情境詳細展示 Variable Selection node 的變數篩選結果，輔助說明的資料集為 SAMPSIO.HMEQ (Home Equity資料集)。