【附錄】blacklist製作 – 利用EG將csv或excel檔轉成SAS DATASET
在「文字剖析」單元曾提到可加入「停用清單」讓那些詞在後續的分析中不要使用,若已經用excel編好字詞清單或是已存成csv檔,以下步驟說明怎麼將它轉成SAS DATASET用以匯入TM。
在「文字剖析」單元曾提到可加入「停用清單」讓那些詞在後續的分析中不要使用,若已經用excel編好字詞清單或是已存成csv檔,以下步驟說明怎麼將它轉成SAS DATASET用以匯入TM。
如附錄1提到的檔案存放路徑,文字剖析的文字結果會存在: [ 專檔資料夾 ] / Workspaces / EMWS1(對應的流程圖) / textparsing_terms.sas7bdat 可藉由此表做一些篩選的動作篩選出blacklist的字詞,以下為幾個可能用到的函數: - KCOUNT(string):算string雙位元組字元的個數,可以看做算「中文」的字數 - LENGTH(string) :算string的長度 (含中英文符號等) - COUNT(string, substring):string裡包含substring的個數, ex: COUNT('基金贖回,「貝萊德中國基金」', '基金')=2
SAS Text Miner演算法跑出來的結果,以「文字歸類」為例,會輸出每篇文章對應到主題的分數,以及每篇文章是否屬於某主題的0/1值,這兩者當作新的變數加入預測模型,都有機會讓預測效果提升。