文字剖析與篩選

當資料匯入後，接下來需要對文章的字詞做剖析以及一些轉換的動作，這個章節將會介紹「文字剖析」和「文字篩選」兩個節點如何達成這些事情。 此章節流程圖： (資料為754篇PTT基金板文章) 1. 文字剖析 將文字剖析節點連接資料集，並選好要分析文章的語言後，就可以對文字剖析節點按右鍵「執行」 (1). 結果 詞語： 可看到詞語剖析後的資料，如表格「基金」這個詞語，它剖析結果是名詞，特性是Alpha，在所有文章中出現了1938次，有出現在511篇文章中，該詞語有被保留。有些詞語特性是混合，如「基金經理人」是「基金」和「經理人」合起來的名詞群組。 接下來以下四個圖形，都是根據以上「詞語」表格的欄位所做出來的統計圖 ZIPF圖： 「變數numdocs的排名」對上「文件數目」 文件數目 – 依次數： 「文件數目」對上「次數」 角色 – 依次數： 「角色」對上「次數(加總)」 特性 – 依次數： 「特性」對上「次數(加總)」 (2). 其它參數調整 「文字剖析」的結果如上所述，那麼它還能有哪些調整讓結果更好？以下是語言項目選擇英文及中文的預設選項： I. 偵測 i. 不同的詞性：例如「付出」有時當動詞用有時當名詞用，是否要將其視為不同的字詞 ii. 名詞群組：要不要剖析出名詞群組，例如剛剛提到的「基金經理人」是否要被偵測出來 iii. 多重文字詞語：這個選項只有在英文才能選擇，中文並不行，如「a lot of」的”a”, “lot”, “of”三個詞語合起來其實是一個意思 iv. 尋找實體：搭配SAS Concept Creation可以做到自定義新詞，如「胖達人」為一個名詞 II. 忽略 忽略一些指定類型的詞語，例如忽略「感嘆詞」、「助動詞」等 III. 同義詞 i. …