文字規則產生器 – 找尋垃圾郵件的文字規則

當每篇文章有目標或類別時，我們可以藉由SAS Text Mining「文字規則產生器」節點來看不同目標的文字有沒有什麼規則可言。 電子郵件中垃圾郵件充斥，垃圾郵件內容會有什麼規則？行銷？詐欺？色情？如果我們知道每篇文章是垃圾郵件與否，在此範例中我們使用「文字規則產生器」找到垃圾郵件有「email & ~enron & ~daren & mobile」、「sex」等規則，也就是說當郵件出現sex字詞，或是有出現email、mobile且沒有出現enron、daren字詞時很可能是垃圾信件。   此範例中，資料是來Enron-Spam datasets (http://nlp.cs.aueb.gr/software_and_datasets/Enron-Spam/index.html) 當中的Enron1資料，共5154筆Email的資料，其中包含1482筆spam的Email (垃圾郵件)以及3672筆ham的Email (非垃圾郵件)；以及另外spam/ham各300筆的測試資料，因此在流程圖中ENRON_MAIL_TES資料集的角色為「測試」。 此外文字規則產生器需要有目標角色的變數，作為要產生規則的依據，在此範例中信件若是SPAM則我們將Prediction欄位值設定為0，若是HAM則Prediction設定為1。 此章節流程圖： 1.     結果 Rules Obtained：系統找出來的規則 ( Precision、Recall為規則分類評估的指標，欲知詳情請參考http://en.wikipedia.org/wiki/Precision_and_recall )                                                 [...]