文字群集 – 將2013 KDD paper做分群分析

SAS Text Miner有一個主要功能就是能幫文章做分群，在這章節將介紹「文字群集」模組。 在此範例中資料是335個2013 KDD paper的PDF檔。ACM SIGKDD Conference on Knowledge Discovery and Data Mining是一個資料探勘領域有名的國際會議，每年會有不同的論文發表，每年內容也會隨這個領域發展而有所不同。若想快速看到某一年中的論文都是什麼內容，可以分成哪幾大群文章，便可使用「文字群集」這個節點。可看到有177篇文章是分在「networks values random algorithms full international…」這個群集；47篇是分在「social likely networks keywords…」內。 接下來將對2013年度會議的文章做分群的分析。 此章節流程圖： 在此處「文字匯入」節點的設定「文字大小」為30000，因此會匯入整篇論文，使用者可以自行選擇若是設定小一點，那就只會匯入論文中前面的內容，可以當作snippet來用，也能增加效率。 ( 文字匯入PDF檔，可能有文件編碼和當前環境不同或保全問題，可以參考FAQ的Q1和Q6 ) 在SAS Text Miner的文字群集中提供兩種群集演算法，一種是「期望值最大化」，另一種則是「階層式」。在結果方面會有以下幾個圖表，而Cluster Hierarchy以及Hierarchy Data兩個圖表是只有「階層式」演算法才會有的圖表。   1.     結果 群集：這個表格為分群的主要結果，有下列資訊 -         Descriptive Terms：每一群的代表詞語，詞語數目在參數中可調整 -         Frequency：這一群中有幾篇文章 -         Coordinate：SVD分解的結果 -         RMS Std：每一群的均方根差 -         X Y：轉到二維空間的X [...]