1.0Fortune Insighthttps://prime.fortuneinsight.com/web曾國平教授https://prime.fortuneinsight.com/web/posts/author/byrontkprich600338<blockquote class="wp-embedded-content"><a href="https://prime.fortuneinsight.com/web/posts/493642">如何用回歸分析騙人 (回歸分析的實際應用與流行陷阱之四)</a></blockquote> <script type='text/javascript'> <!--//--><![CDATA[//><!-- !function(c,d){"use strict";var e=!1,n=!1;if(d.querySelector)if(c.addEventListener)e=!0;if(c.wp=c.wp||{},!c.wp.receiveEmbedMessage)if(c.wp.receiveEmbedMessage=function(e){var t=e.data;if(t)if(t.secret||t.message||t.value)if(!/[^a-zA-Z0-9]/.test(t.secret)){for(var r,a,i,s=d.querySelectorAll('iframe[data-secret="'+t.secret+'"]'),n=d.querySelectorAll('blockquote[data-secret="'+t.secret+'"]'),o=0;o<n.length;o++)n[o].style.display="none";for(o=0;o<s.length;o++)if(r=s[o],e.source===r.contentWindow){if(r.removeAttribute("style"),"height"===t.message){if(1e3<(i=parseInt(t.value,10)))i=1e3;else if(~~i<200)i=200;r.height=i}if("link"===t.message)if(a=d.createElement("a"),i=d.createElement("a"),a.href=r.getAttribute("src"),i.href=t.value,i.host===a.host)if(d.activeElement===r)c.top.location.href=t.value}}},e)c.addEventListener("message",c.wp.receiveEmbedMessage,!1),d.addEventListener("DOMContentLoaded",t,!1),c.addEventListener("load",t,!1);function t(){if(!n){n=!0;for(var e,t,r=-1!==navigator.appVersion.indexOf("MSIE 10"),a=!!navigator.userAgent.match(/Trident.*rv:11\./),i=d.querySelectorAll("iframe.wp-embedded-content"),s=0;s<i.length;s++){if(!(e=i[s]).getAttribute("data-secret"))t=Math.random().toString(36).substr(2,10),e.src+="#?secret="+t,e.setAttribute("data-secret",t);if(r||a)(t=e.cloneNode(!0)).removeAttribute("security"),e.parentNode.replaceChild(t,e)}}}}(window,document); //--><!]]> </script><iframe sandbox="allow-scripts" security="restricted" src="https://prime.fortuneinsight.com/web/posts/493642/embed" width="600" height="338" title="“如何用回歸分析騙人 (回歸分析的實際應用與流行陷阱之四)” — Fortune Insight" frameborder="0" marginwidth="0" marginheight="0" scrolling="no" class="wp-embedded-content"></iframe>https://prime.fortuneinsight.com/web/wp-content/uploads/2020/12/Red-wine.jpg19882053今日繼續用東瀛遊和日圓的例子，講解回歸分析的應用陷阱。話說上次我用數據試了又試，發現用2016年7月至2018年6月這兩年之間的數據，會找出一個相當顯著的結果，： 東瀛遊股價今個月的變化  =  -0.02 + 1.039*每美元日元匯價上個月的變化   (R平方=0.20) 上個月的匯率，可以預測今個月的股價。市場似乎不是太有效率，股價反映匯率有點滯後。難道這是賺錢的好機會？ 世上當然沒有這樣的著數。這個回歸分析結果，是騙人的！ 今日我就教大家好何用回歸分析騙人，又或者正面一點說，如何防範別人用回歸分析騙你。 東瀛遊上市至今，大概有六年的數據，我想要的「發現」，是上個月匯價變化可以預測今個月股價變化，我只需要用Excel之類的軟件，在兩組數據之間「搜索」，看看有沒有一段時間，兩者的相關性特別強。我用那兩年的數據，就是這樣找出來的。之後，再用回歸分析，就會找到漂亮的結果，R平方高達0.20，而其中1.039那個數字，其t statistic亦超過2，亦即統計上非常明顯。這個時候，我就可扮成專家，宣稱用高深的統計方法找出一個炒股賺錢方法了。 當然了，我這樣做似乎有點突兀，明明有六年的數據，偏要選中間的兩年，這樣的謊言不難拆穿。 這種「製造真理」的做法，其實不止於此。我看的只是兩組數據之間的關係，更普遍的做法是multiple regression，亦即用一大堆因素去解釋一樣東西。除了匯率，還有十萬九千七樣因素，例如公司的財務狀況，例如香港的經濟環境。加不加入那個因素，由我決定，而每次改變這些因素，回歸分析的結果都會有所變更。我就可以不斷嘗試，利用不用的因素組合，務求試出一個最好的，令匯率看起來效果最明顯，然後我又可以扮專家了。 其實學術界很多的研究，都是這樣「嘗試」出來的。以經濟學為例吧，你要發表研究結果，找出的當然是X與Y的某種關係，繼而大造文章。如果你的研究結果是X與Y沒有關係，那就有點掃興，很難引起別人的興趣，因為我們不太會留意什麼跟什麼無關，注意力只會放到有關的事情上面。於是，學者會盡力去試，試用不同的時期，試用不同的因素，試用不同的計量方法，誓要找到統計上明顯的關係為止。這個publication bias，意味著大家見到的研究結果都是篩選出來的。有篩選，回歸分析用上如t statistic等的統計指標亦會失效，所謂的明顯關係，很可能是無中生有。 這個情況，當然不限於經濟學，醫學、心理學、社會學等實證學科，都很有這種「製造真理」的空間。十幾年前有一篇引起轟動的文章，題目就是Why Most Published Research Findings Are False，講的正是這個扭曲的現象。 這些誤導或騙人的技倆，對於學術界以外的人來說亦有意義。每當你見有專家告訴你X如何如何取決於Y，你大可假設那是苦心孤詣試出來的研究結果，心中先打一個折扣，先看其研究方法有多少篩選成份，再看有沒有其他人也有類似的結論。舉個例，大家看報紙常常會讀到一些健康新知，說某大學找到飲葡萄酒有益，隔一陣子又見有某大學證明飲葡萄酒有害，叫人無所適從。這正正是publication bias造成的現象：能夠成功及發表的，又會得到傳媒注視的，都是找到明顯關係的「驚人」研究！正確的應對態度，是姑妄聽之，等到有大量研究都得到同一答案的時候，才去改變行為。