如何運用SAS EM 進行變數篩選(上)

擬定分析主題後，在正式進入分析之前，分析材料的準備是資料探勘中極重要的工作環節，分析者須針對欲研究主題列示一份的變數清單，應依分析目的與假設、研究對象與範圍等列式出研究主題可能的相關變數。 在大型的分析專案，初階資料準備過程，容易產出動輒上百個分析者認為可能相關的變數，這些變數有些可能重要，也可能大部分都無相關，需要進一步一一與目標變數進行分析與檢定，才能確認變數的重要性，描述性統計分析或透過圖形檢視的資料瀏覽程序是一種方法，但對於大量分析變數投入時，則會相對耗時。 針對大量資料的變數篩選，EM則提供 Variable Selection node 快速的鑑別哪些變數對預測模型是具有解釋能力的，協助進行變數化簡的資料處理工作，經過 Variable Selection node 的變數檢定程序，與目標變數無相關、相關性小或變數解釋能力小，變數角色會被設為拒絕(Reject)，被設為拒絕的變數仍會繼續帶入後續節點，但是不會帶入預測分析裡進行模型建置。 Variable Selection node 透過統計檢定的方法來快速找出解釋變數與目標變數間的關係，提供模型變數預篩選功能。 同時可用以進行分析假設的驗證，確認真實資料是否與分析假設相符，若與假設相符，則可進一步得知其重要程度，反之，可能確認該變數與目標變數無關。 但實務上有時我們會對假設認為應該顯著但分析結果卻拒絕的變數，重新進行資料檢視或進行適當的資料處理來改善它的模型解勢力，特別是業務經驗的重要規則，透過檢定卻產生不顯著的結果時，可能是變數資料結構的問題，建議可透過資料轉換，變數切等、或分群方法來強化變數的解釋能力。 因此，變數篩選節點也可以用來檢視變數資料的狀況，提供變數是否需要進行資料處理的參考資訊。 圖一、Variable Selection node參數列 R-Square 各項主要參數選項的說明如下： ● 最大投入變數門檻值設定 (Maximum Variable Number) —設定投入變數的最大門檻值，預設值為3000。 ● 最小相關係數平方值 (Minimum R-Square) —預設值為0.005，若小於預設值則變數角色會被設定為拒絕(Reject)。 ● R2增益門檻設定 (Stop R-Square) —除了利用R2預設值進行變數篩選外，亦可以透過R2增益門檻設定，進行篩選調整，若投入變數的R2增益值低於預設值，該變數的變數角色亦會被設為拒絕，預設值為 0.0005. ● AOV16數值資料類別化 (Use AOV16 Variables) — 將數值資料類別化，透過Use AOV16 Variables 參數設定，將連續變數切分成16等分，AOV16 …