如何運用SAS EM進行遺失值處理(下)

Impute node遺失值補值的方法 本期將針對 Impute node 的各種方法的使用建議再做詳細說明： ■  母體的統計量補值方法： 平均數(Mean)為最常用來做連續變數的補值方法，然而，平均數適用於對稱的鐘型分布(常態分布)，若資料極右偏或左偏分布則不適用，平均數易受極值影響，可考慮用分群平均數來取代整體平均數。如以所得為例，資料有極值時，以區域別及年齡層進行群集區隔，以各群的所得平均來進行補值，相對整體平均值更具有參考解釋性。 考量平均數易受極端值影響的特性，除了分群平均數的方法處理外，亦可選擇使用Median(中位數)、Mid-Range(最大最小值平均值) 、截頭去尾平均值(Mid-Minimum Spacing)等方法來進行補值。其中，最大最小值平均值法為(最大值+最小值)/2，截頭去尾平均值法則為去除兩端n%的觀測值後，再取用Mid-Range。 另外，眾數法(Count)則以變數類別水準出現頻率最高的來補值，眾數法適用於類別資料的遺失值補值。 ■  母體分布(Distribution)： 依據母體真實資料分布的均數 μ 來進行補值。 ■  利用資料探勘模型進行補值： 較精準的補值方法為採用資料探勘模型的方法來進行補值，EM提供決策樹(Tree)的方法，將遺失值欄位設定為目標變數，進行值的預測。通常針對重要具有模型影響性的變數，建議採用此法。 ■  使用者自訂(Constant)： 使用者亦可給予缺失值一個指定值，連續數值常設定為「0」、「99999」，類別數值則設為「N/A」。 ■  不處理(None)： 分析者可以選擇忽略遺漏值，不進行處理，交由後續模型演算方法來處理。   迴歸分析與類神經演算方法，遇到觀測值中欄位有缺失時，會自動忽略不計，所以無形之中會損失很多重要資訊，因此，缺失值的處理在迴歸分析或類神經相對重要，補值的方法就可以依上述所說的各種統計、資料探勘等方法來處理缺失值問題。決策樹則有自動處理的能力，遺失值可以獨立一個分支、或歸在最多分支、或最有相關的分支裡。   Impute node遺失值補值的案例說明       接續上期分析流程： (1) 準備群集分析資料集：SAMPSIO.HMEQ (2) 進行遺失值檢視 (3) 進行遺失值處理 至Modify工具頁籤下選取Impute Node與資料節點HMEQ串連，並進行對應參數設定。 圖一：Impute node的參數列   Impute node 針對類別變數(Class Variables) …