
SAS Text Miner可探索隱藏在大量文字中的資訊。支援多種語言及檔案格式,並且提供豐富的語言與分析模型工具。將不同的非結構化文字片段、文件檔案庫及網頁下載內容,透過演算法自動識別出模式的各種主題,找出詞彙與片語間的顯著關聯。此軟體提供監督、無監督及半監督的方法來探索大量文件中過去未知的模式。
SAS Text Miner可探索隱藏在大量文字中的資訊。支援多種語言及檔案格式,並且提供豐富的語言與分析模型工具。將不同的非結構化文字片段、文件檔案庫及網頁下載內容,透過演算法自動識別出模式的各種主題,找出詞彙與片語間的顯著關聯。此軟體提供監督、無監督及半監督的方法來探索大量文件中過去未知的模式。
在此章節中,會有SAS Text Miner每個模組概觀性的功能介紹,以及運作的流程; 在往後的章節中,將有每個模組的詳細操作介紹。
當每篇文章有目標或類別時,我們可以藉由SAS Text Mining「文字規則產生器」節點來看不同目標的文字有沒有什麼規則可言。
當文章有不同類別層級,透過SAS Text Mining的「文字設定檔」節點可以看見每個類別的代表詞語,以及類別與類別間的一些關聯。
當TM跑出來的結果需要與SAS的其他軟體如EG、VA結合時,需要跑出來的結果表格,此時就需要知道表格在電腦中存放的位置。在下範例中,想知道文字群集節點的結果表格時,點選節點左側選項「匯出的資料」後會看到「表格」欄位,如下圖中的TRAIN表格,該表格就存在
在「文字剖析」單元曾提到可加入「停用清單」讓那些詞在後續的分析中不要使用,若已經用excel編好字詞清單或是已存成csv檔,以下步驟說明怎麼將它轉成SAS DATASET用以匯入TM。
如附錄1提到的檔案存放路徑,文字剖析的文字結果會存在: [ 專檔資料夾 ] / Workspaces / EMWS1(對應的流程圖) / textparsing_terms.sas7bdat 可藉由此表做一些篩選的動作篩選出blacklist的字詞,以下為幾個可能用到的函數: - KCOUNT(string):算string雙位元組字元的個數,可以看做算「中文」的字數 - LENGTH(string) :算string的長度 (含中英文符號等) - COUNT(string, substring):string裡包含substring的個數, ex: COUNT('基金贖回,「貝萊德中國基金」', '基金')=2
SAS Text Miner演算法跑出來的結果,以「文字歸類」為例,會輸出每篇文章對應到主題的分數,以及每篇文章是否屬於某主題的0/1值,這兩者當作新的變數加入預測模型,都有機會讓預測效果提升。