Chinese
在做迴歸分析前,我們須先了解兩數值型變數間是否有呈現線性相關,最簡單的方式就是觀察兩變數的散佈圖。以下面兩張圖為例,雖然兩者均呈現線性相關,但相較於左圖而言,右圖的資料分布與迴歸線較為離散,所以我們可以因此而認定右圖資料不適合做迴歸分析嗎?也由於散佈圖的解說是很主觀的,如果我們只靠圖形來判別資料適不適合做迴歸分析,可能每個人的解讀結果都不相同。這時我們就需要有一個客觀的判斷準則--統計量。
迴歸分析是統計學上常用的分析方法,主要在建立一個函數(最能夠代表變數間的所有觀測資料),並用此函數來代表應變數和自變數之間的數學模式,以便觀察特定的變數來預測我們所感興趣的變數。若特定的變數(X)和有興趣的變數(Y)的數目都為一個,則我們稱此模型(Y=Bo+B1X)為簡單線性迴歸分析。
本篇我們以SASHELP中的CARS檔案為例,討論汽車的引擎大小與那些因素有相關,在調查項目裡我們選取下列變數來討論:Invoice (售價;單位:美金)、Enginesize (引擎大小;單位:1000cc數)、Cylinders (汽缸數)、Horsepower (馬力)、MPG_city (每加侖可在市區行駛公哩數)、MPG_highway (每加侖可在高速公路上行駛公哩數)、Weight (車輛重量;單位:磅)、Wheelbase(車輛軸距;單位:吋)及Length (車輛長度;單位:吋)。資料存放在sashelp裡面:本機=>資料館=>SASHELP=>CARS。
最後,我們來介紹離群值與影響點。 一、離群值(Outlier):尋找觀察值Y是否有離群值,我們可用Student殘差來看,其準則為: 二、影響點(Influential): 1、DFFITS準則為: 2、DFBETAS準則為: 3、Cook’s Distance measure(Cook’s D)準則: 為了了解哪些筆資料有離群值或是影響點,我們再一次點「修改工作」=>選擇「預測」,先勾選「原始樣本」再勾選「診斷統計值」=>執行。 在分析資料時我們發現有兩筆資料(第178、179筆)在記錄時遺失氣缸數,故無法做任何的預測,所以我們將刪除。 首先我們先討論Cook’s D的情形,其圖形如下: 在圖示上,我們可以很明顯看到有似乎只有三筆影響點,配合上述Cook’s D的公式,當Cook’s D的值大於0.013時表示為影響點;因此,我們回到原始資料來查看是哪幾筆。在「結果-SAS報表」旁邊有「輸出資料」=>將資料拉至後方,我們可看到Cookd_EngineSize_log的值。 結果我們發現Cook’s D大於0.013的觀察值分別為:第6、12、47、65、103、105、108、109、149、295、208、297、298、303,共14筆。 接下來我們觀察DFFITS的情形,其圖形如下: 配合上述dffits的公式,當絕對值的diffits大於0.25時即為影響點,我們亦可以從原始資料來觀察。其影響點為:第6、12、47、58、65、93、103、105、108、109、147、149、242、260、295、208、297、298、303、313,共20筆。 透過兩種看影響點的方法,我們發現有14筆資料有重覆,而以DFFITS為標準則找出較多的影響點。 結論:根據迴歸式的估計結果可知當氣缸數較大、馬力較大、車身長度較長,而價格低一點、行走高速公路的油秏差一點,會得到較大的引擎CC數;但是我們將這些影響點列出發現有很明顯的不同。舉例來說,第109筆資料我們發現氣缸數非常的少(只有三個),且馬力也是最小的,但是在油秏上卻非常的出色。又例如第105筆資料有最多的氣缸數(八個),馬力非常好,而在油秏上卻表現的不差,在價格方面亦不是很高價…等。 根據上述的分析,除了有兩筆資料有遺失值我們刪除外,其他的觀測值雖為影響點(假設在建資料時沒有錯誤),但我們仍不應將資料刪除,以反應真實的情形。
「混合模型」工作會讓各種混合線性模型符合資料,可讓您使用這些符合的模型對資料進行統計推論。 混合線性模型是標準線性模型的概括,概括的內容是允許資料呈現相關及非常數變異性。混合線性模型非常靈活,不僅可以建立資料平均值的模型,也可以建立其變異數與共變異數的模型。
因子分析可執行各種公因子與成分分析及轉軸。輸入內容可以是多變量資料、相關矩陣、共變異數矩陣、因子模型或計分係數矩陣。 因子分析又稱因素分析,可以將一群彼此相關、較難解釋的變數,轉爲可概念化具解釋性的少數幾個因素,也可達到資料縮減與摘要的目的。每個變數由共同因素和獨特因素組成。 因素分析分爲兩種: 探索性因素分析 在因素個數、路徑都沒有限制下去尋找結構,一般來説,為研究量表或問卷建構效度,多屬於此分析 驗證性因素分析在已知研究方法或是有理論支持下去驗證假設是否適用 因素分析該怎麽做呢? 估算共同性:計算變數之間的相關矩陣或共變數矩陣,變數的相關係數越強,越有可能歸在同一因素內 抽取因素:萃取共同因素並估計因素負荷量。常見抽取方式包含主成分分析法、及主軸因素法與最大概似法等 轉軸:轉軸可以讓因素負荷量更易於判讀,旋轉方式可分爲: 直交:因素之間彼此獨立,軸間夾角為 90 度,如變異最大旋轉法、四方最大旋轉法 斜交:因素之間仍有相關,如 Promax 旋轉法 最後,決定因素個數,對其解釋與命名,可以參考因素負荷量較大來對因素命名。 因素分析講師說明與範例一:
Shewhart 圖表是Shewhart (1891-1967) 是貝爾實驗室的物理學家,於 1924 年發表了此方法。 管制圖的立論概念是,任何生產流程中的自然變異均可透過一組管制界限來量化,若變異超出這些界限,即表示流程中有所變化。是業界在研究生產流程的輸出變化時最常用的統計式品管法。 Shewhart 圖表是一種圖形化的分析工具,可用以判斷程序是否符合統計控制。「平均值與全距圖表」工作可建立子群組平均值與子群組全距的平均值與全距圖表。這些圖表可用以分析製程的集中趨勢與變化性。
迴歸分析是統計學上常用的分析方法,主要在建立一個函數(最能夠代表變數間的所有觀測資料),並用此函數來代表應變數和自變數之間的數學模式,以便觀察特定的變數來預測我們所感興趣的變數。若特定的變數(X)和有興趣的變數(Y)的數目都為一個,則我們稱此模型()為簡單線性迴歸分析。
SAS全程化的共同分析平台,是專為不同分析階段的分析者所設計,包括資料科學家、統計學家、資料分析師、商業分析師等,並提供SAS、Python、R等分析者使用SAS的分析套件及運算資源。為企業中不同風格的資料分析者,提供一個安全且友善的共同分析環境。同時,該平台提供統一的管理介面給子企業IT人員,以監管及維護分析平台。
看完本支影片您可以了解: Model Studio介面如何幫助分析者達到模型比較目標 冠軍模型的產生原因 如何比較各模型的執行與解釋結果 如何將模型的效度以視覺化表示
透過SAS機器學習,探索多種方法,充滿自信地找出最佳解決方案。分散式處理的卓越效能,以及功能豐富的建構區塊打造機器學習建構流程,可讓眾多使用者快速探索及比較多種方法。支援自動最佳化模型參數設定,以建立最佳的機器學習模型。
豐富的深度學習模型包括常用於影像辨識的卷積式類神經網路 (Convolutional Neural Networks)、常用於進階文字分析的回饋式類神經網路 (Recurrent Neural Networks)、Autoencoder、Seq2seq 等。
Visual Statistics 提供原生整合至 Python Pandas DataFrames。Python 程式設計人員可上傳DataFrames 至 CAS,並從 CAS 擷取結果作為DataFrames,與其他 Python 套件 (如 Pandas、matplotlib、Plotly 及 Bokeh 等) 互動。除了Python以外,使用者能夠自己選擇程式設計語言如Java、R 及 Lua 等語言,不必學習如何在 SAS 進行程式設計,就能體驗 SAS Visual Statistics 的強大功能。他們能由其他編碼環境,彈性存取深獲信任及通過測試的 SAS 機器學習和統計演算法。
SAS視覺資料探勘與機器學習,提供全方位的分析者操作介面,為使用者打造完整的資料分析流程。從資料前處理、資料探索、模型建置、評估、到模型佈署,所有分析者都在統一的共同分析平台發揮所長。高規模化且富彈性的分析流程將大幅加速企業求解最複雜的分析問題。擁有豐富的現代化機器學習技術,您將更具分析競爭力去探索結構化及非結構化資料的數據世界。