由《紅樓夢》到財經新聞 ， 描述： 楊良河 數裏見真章

natira

上期提及，近年由於電腦科技發達，大量金融資訊都被電子化儲存下來。當中除了儲存高頻交易和報價數據之外，還包括金融文字數據，例如電子新聞、公司財務報告、社交媒體資訊等。這一大堆文字資料，要怎樣作有效分析呢？
( U  {0 X9 _7 s& l& dwww2.tvboxnow.com用字頻率　揭作者誰屬
+ A( Y1 w9 c3 O一般的做法是，先計算在文字資料中不同的字彙所出現的頻率，然後再把這些頻率的分布進行分析。這種把文字先量化、後分析的方法，稱為「文本挖掘」（text mining）。
" O7 g8 j. L% a; ]% \TVBNOW 含有熱門話題，最新最快電視，軟體，遊戲，電影，動漫及日常生活及興趣交流等資訊。有不少的統計文獻就套用文本挖掘，嘗試解決中國四大名著之一《紅樓夢》作者誰屬的爭議。一般認為，前80回的作者是曹雪芹，而後40回的作者則另有其人。公仔箱論壇2 j$ ?# d: ^3 v3 W! m
其中一個分析方法，是先將120回分成12段，每段有連續10回的內容，然後找出《紅樓夢》中出現頻率最高的數百個單字（如「了」、「不」、「一」、「的」、「人」等） 。跟着統計每一段裏各個單字的出現次數，以此為數據並利用聚類分析法（cluster analysis）進行分類。www2.tvboxnow.com, a! B& r' X) u3 @$ }- L
結果顯示120回內容果然可分成兩類，即前80回一類及後40回一類。這證明後40回跟前80回在語法用字上存在不一致性，應不是出自同一人手筆。除了用單字，在去年底的一個「數位典藏與數位人文」國際研討會（International Conference of Digital Archives and Digital Humanities）中，一篇報告就利用雙字詞作分析，找到一些新證據。例如報告指出前80回共出現34個「嬤嬤」一詞而後40回就一個都沒有出現。
* v( N2 }  ?/ Q5 D1 ltvb now,tvbnow,bttvb報紙測市 探市場情緒TVBNOW 含有熱門話題，最新最快電視，軟體，遊戲，電影，動漫及日常生活及興趣交流等資訊。& s  y/ f8 P8 M$ e
《紅樓夢》的文本挖掘成功從文字中找出不同作者的用字偏好和文筆運用。近年，學界亦積極研究新聞媒體資訊如何影響金融市場。
/ I# D! @* Z2 _0 Y4 V2 G* b) s其中，量度每日市場情緒就可利用財經報章（如《華爾街日報》或《紐約時報》的財經評論）內的文字。做法是利用在金融上通常產生正面或負面影響的單字字典，然後計算每日對有關某隻股票的新聞內出現正面字和負面字的百分比，來量度市場對該股票的情緒高低。
9 b' N8 ~# K$ x" j9 G  S- }3 r2 p9 n) PTVBNOW 含有熱門話題，最新最快電視，軟體，遊戲，電影，動漫及日常生活及興趣交流等資訊。Loughran和McDonald就提供一個金融市場的正面（354個）和負面（2349個）字字典，例如boom（繁榮）、enhance（提升）及improve（改善）是代表金融氣氛正面的字；而bailout（救市）、closed（關閉）及suffer（遭受）是代表金融氣氛負面的字。有興趣的讀者，可到這網址下載：www.nd.edu/~mcdonald/Word_Lists.html。
% N5 w1 G( H0 \& ~一份即將在Journal of Finance刊登的文章中，作者Garcia利用1905年至2005年在《紐約時報》中的兩個財經新聞版來量度每日市場情緒，發現市場情緒能幫助預測每日道指的回報率，特別是在經濟衰退的時候。tvb now,tvbnow,bttvb) [; u" K% [! @& W+ x
有一點讀者要留意，由於今天發行的報紙內的財經評論是昨天寫的，亦即是代表昨天市場的情緒。所以量度今天的市場情緒就需要用明天的新聞！要及時地預測市場走勢，就非用網上新聞不可。TVBNOW 含有熱門話題，最新最快電視，軟體，遊戲，電影，動漫及日常生活及興趣交流等資訊。" d5 @$ ~2 I3 i: n4 ~9 ~. f
觀負面字 測大市走勢
/ i9 L: D; }0 v7 d5 U" F  j筆者也在這裏趁一趁熱鬧，利用美國市場收市後至下一天開市前的電子新聞來嘗試能否預測標準普爾500指數開市後的變化。首先，在Factiva下載由2007年至2010年所有在非交易時段內路透發表有關美國股票市場的熱門網上新聞，共約10萬則新聞。7 t6 G! {/ u0 ?% i( \4 t4 ^) t
接着利用Loughran和McDonald所提供的負面字字典，計算出每天在非交易時段新聞內出現每個負面字的百份比。www2.tvboxnow.com7 U) ]- P" E. z
由於在二千多個負面字當中，不是每一個字都有預測能力。所以，我們再運用複雜的數據投影方法去降低負面字數據的維數。最後用逐步回歸法找出對下一天標準普爾500指數開市後的跌幅有顯著預測能力的因素。+ P9 k7 Y8 z, F" ^$ U5 t1 d
結果發現，有2個（降維後）文字指標有統計性顯著的預測能力。而從這2個文字指標當中，我們發現新聞中會比較多出現負面字包括「loss」、「crisis」、「late」、「against」、「slow」 等。例如在2008年10月8日晚上的新聞講及IMF發出全球經濟衰退警號與及歐美將處於衰退的邊緣。之後，標準普爾500指數在跟着的那一天（即2008年10月9日）大跌8%。這反映新聞消息對金融市場是有預測性的。
* k! C5 u: j9 m) e/ g! LTVBNOW 含有熱門話題，最新最快電視，軟體，遊戲，電影，動漫及日常生活及興趣交流等資訊。讀者可以利用財經新聞挖掘工具，自製一個投資交易策略，看看能否從中獲利。
. M. Q6 n& G% s* M7 `作者為香港大學統計及精算學系副教授
% y6 ?4 c* @( O$ N3 b; y公仔箱論壇
# g! c5 m3 L9 }2 V0 `tvb now,tvbnow,bttvb 放大圖片