模型選取

0
在迴歸分析裡,我們有許多的方法來選擇我們的模型,如:向前選取法(Forward selection)、向後消去法(Backward elimination)、逐步選取法(Stepwise selection)、Mallows’ CP、R-平方(R-Square)、調整後R平方(adjust R-square)、Akaike information criterion(AIC)、Schwarz Bayesian Criterion(SBC)等。
分別介紹一下:

向前選取法一開始模型中沒有任何的變數,且須設定進入模型的條件,一般來說會假設進入模型的值以0.15為準,接著,針對各別的變數做檢定,檢定結果須滿足P-value小於0.15中最顯著的變數,則此變數將優先選入模型中,依此類推至沒有變數可選入模型為止。
向後消去法一開始把所有的變數放在模型中,且須假設離開模型的值(通常為0.15),接著對整個模型做檢定,選出所有p-value大於0.15中最不顯著的變數,將優先離開模型,依此類推至沒有變數離開模型。
逐步選取法是向前選取法與向後選取法的結合。一開始模型中沒有任何的變數,且須假設進出模型的值(通常進出模型的準則預設為0.15)。首先檢定所有的變數,接著須滿足p-value小於0.15中最顯著的變數優先放入模型,接著再選出第二顯著的變數進入,此時,模型中已有兩個變數,再將這兩個變數做檢定,如果符合標準則留在模型裡,若不符合標準則離開模型,反覆執行直到沒有任何的變數進出為止。
Mallows’ CPMallows’ CP的值與參數個數值愈近愈好。
R平方調整後R平方預測值為愈高愈好。
AICSBC值愈小愈好。
點選分析=>迴歸裡的「線性迴歸」=>資料:放入適當變數=>模型:先選取Mallows’ CP再勾選調整R平方、Akaike訊息準則、Mallows’ CP、SBC=>執行。
3-1
下表表示為擷取的模型(原始共有127個模型),依據上述的準則來做選取,我們將選擇第一個模型。
3-2
接著,我們再改成使用逐步選取法。在結果的地方點選「修改工作」à模型à模型選取法修改為「逐步選擇」=>執行=>尋問是否取代先前結果時可依各人喜好做決定。
3-3
其經過七次的逐步選取後,得到以下結果:
3-4
因此,我們得到的迴歸參數估計值為:
3-5
模型為:
3-6
此時,若以C(p)或是調整後的R平方為主來看,其「模型索引1」都是最佳的;雖然AIC與SBC的結果都不是最佳,但也不會差太多,所以我們還是選擇「模型索引1」。而在逐步迴歸選取裡,所選擇的變數與「模型索引1」內容一致,所以我們以此模型暫定為最終結果。
下節再接著將此模型結果做共線性的檢定。
Tags
Share

About Author

SAS Taiwan

SAS 學習資源 : https://blogs.sas.com/content/sastaiwan/

Comments are closed.

Back to Top