如何運用SAS EM進行變數處理與衍生變數產生 (上)

資料探勘分析是一種科學方法，然而在資料處理與流程設計卻是門藝術。同一份資料集，不同的分析人員即便選用同一種分析工具，都極可能會產生不同的模型分析結果與應用方向，差異在於分析者對各資料解讀的深度、變數的選擇能力以及進一步的對資料處理的能力，資料處理中尤其以變數處理與衍生變數的產出，優秀的資料科學家就是在剖析問題的邏輯性與重要的衍生變數上勝出，這一階段的處理程序往往造就模型的準度與模型的精細解釋度。 變數處理與衍生變數並沒有固定的產出模式與標準答案，端賴資料探勘分析者的對資料本身意涵的了解，或客群的熟悉度，以及產業經驗與知識的豐厚程度。有時候它也是在資料觀察後產生的創意靈感，但正式的程序通常在正式分析與資料處理前，超過80%的衍生變數應在資料擷取前已經被規畫好了，後續生成的衍生變數，則隨著資料的檢視、透過適當報表對客群的深入了解後，以及為了擷取欲觀察某部分客群的特殊行為後，而產生衍生變數的創意發想，或者是來自於產出模型檢視後的衍生變數公式的調整。 在資料探勘建模初學階段，常常會將資料系統內可得的或可能相關的資料全部撈取下來，並將所有蒐集得到的原始資料全然投入模型內讓系統自動分析，資料探勘工具並非真的人工智慧，還是需要端賴分析者資料判讀與適度篩選，才能有正確的結果，否則極可能產出表面上模型準度看似極高，產出的規則卻無法解釋或是不合邏輯的錯誤模型。因此有效的變數選擇是很重要的，甚或是適當的變數處理，包含依據資料分布進行函數轉換，以及衍生變數的產生如：比率值的產生、將連續資料類別化、或多維度的混合公式來進行變數維度縮減等，都可以提高原始變數的重要解釋性或目標變數的影響力。 在 SAS EM 進行變數處理或衍生變數產出的分析節點即為Transform Variables node，歸屬於在SEMMA方法論裡的Modify工具頁籤下，也是資料前處理重要的分析節點之一。 接下來Dr.SAS將在本期詳細介紹 Transform Variables node變數轉換應用與衍生變數產出的方法。 Transform Variables node 有兩個重要功能：一為簡單函數轉換，一為衍生變數產生。下圖為各項參數功能列表。 圖一、Transform Variables參數列 █ 簡單函數轉換功能 Transform Variables node參數列下的Variables提供原始變數各種函數轉換的功能選擇。當檢視資料分布有發現'相對極值'的情況，又不能確認是真正的異常值時，建議不應任意將排除。因為實務上，資料分布上的「極值」往往是我們欲分析的對象，尤其是在進行稀有事件分析時，這些極值往往集中在吾人欲關注的目標客群上。既然不建議任意將這些可能的極值排除，但這些資料的極值分布的確會影響模型結果，尤其牽涉到期望值計算的演算方法，如：迴歸分析等，極值的影響特別顯著，因此建議讀者可透過EM 的Transform Variables node 進行資料變數的函數轉換，來消弭極值的影響效果。 此處的函數轉換為簡單函數的提供，原因在於過於複雜的變數轉換，縱使轉換後的變數與目標變數有強相關，但在資料解釋上失去了原本業務的解釋意義，反而降低真實應用的價值。例如：分析發現申請者的(所得3–100)的開根號與違約率呈正比，那真正的所得變數與違約率的關係應該怎麼解釋？所以EM 的Transform Variables node 提供簡單函數轉換的目的在此。 其中，函數轉換的方法又分成連續變數與類別變數的資料處理。 ● 連續變數—若未進行個別設定，就套用預設函數轉換方法(Default Methods)，連續變數轉換方法有： √ Best(系統自動化最佳選擇) —系統會自動選擇處理變數與目標變數間的何種轉換方法卡方檢定結果最佳者。 √ 函數轉換—包含Log(自然對數函數)、Log 10 (以10為底的對數函數)、Square Root (變數值平方根)、Inverse(倒數)、Square(平方)、Exponential(指數)等函數轉換方法。 √資料離散度—提供三種方法： (1) Centering (資料中央化)：(X – 平均數) (2) Standardize(資料標準化)：(X …