Text Miner是什麼
SAS Text Miner可探索隱藏在大量文字中的資訊。支援多種語言及檔案格式,並且提供豐富的語言與分析模型工具。將不同的非結構化文字片段、文件檔案庫及網頁下載內容,透過演算法自動識別出模式的各種主題,找出詞彙與片語間的顯著關聯。此軟體提供監督、無監督及半監督的方法來探索大量文件中過去未知的模式。
SAS Text Miner可探索隱藏在大量文字中的資訊。支援多種語言及檔案格式,並且提供豐富的語言與分析模型工具。將不同的非結構化文字片段、文件檔案庫及網頁下載內容,透過演算法自動識別出模式的各種主題,找出詞彙與片語間的顯著關聯。此軟體提供監督、無監督及半監督的方法來探索大量文件中過去未知的模式。
在「文字剖析」單元曾提到可加入「停用清單」讓那些詞在後續的分析中不要使用,若已經用excel編好字詞清單或是已存成csv檔,以下步驟說明怎麼將它轉成SAS DATASET用以匯入TM。
如附錄1提到的檔案存放路徑,文字剖析的文字結果會存在: [ 專檔資料夾 ] / Workspaces / EMWS1(對應的流程圖) / textparsing_terms.sas7bdat 可藉由此表做一些篩選的動作篩選出blacklist的字詞,以下為幾個可能用到的函數: - KCOUNT(string):算string雙位元組字元的個數,可以看做算「中文」的字數 - LENGTH(string) :算string的長度 (含中英文符號等) - COUNT(string, substring):string裡包含substring的個數, ex: COUNT('基金贖回,「貝萊德中國基金」', '基金')=2