龟苓膏

小时候一直很好奇诸如这类的专家预测:

到2020年中国个人消费将超过2.5万亿美元，成为仅次于美国和日本的世界第三 …

预计1999全市可完成肉类总产量9.7万吨,比上年增加1万吨，增长11.5％；禽蛋产量1.5万吨，比上年减少776吨，下降近5％

直到高中了，我还是没有想通凭什么他们敢这样预计呢？向来复杂、变化的世界如何能在这些专家的笔下，变得如此具体而又必然？

还是本科时的统计课上，我才恍然大悟地意识到他们（很大一部分）是怎么做的——玩弄数字。

先抛开数据背后的一切涵义不看，假设我们有两组数据X和Y，他们之间是否存在因果关系未知。作图如下

这组数据显得是如此线性，几乎是很自然地，我们就会构想出一条直线，从而预测X>20的所有对应的Y值，我们甚至还运用统计方法估计出了这条直线的方程

这条直线是如此完美以至于拟合度（R-squared）达到了99.95！依据这个方程，于是有人断言：“当X=25的时候，Y的预计值为1.5448”。然后又有砖家放炮（举个夸张的例子）：“当X=1000的时候，Y的值预计为23.0923”。他可能甚至还给出了预测值的置信区间，告诉你95%的情况下Y的范围在哪里。

但是，当X被延伸到1000的时候，图像会变成这样：

在真实的数据中，X=25时，Y=1.5625——预测还是很精确的；但是当X=1000的时候，Y的真实值是121，和预测值相差十万八千里。事实上，如果画出预测直线的话，图片会是这样：

两者在X<=42时，相差还能在5%以内；当X=1000的时候，相差超过了80% （相对真实值而言）。事实上，蓝色曲线的方程是Y=(1+X/100)^2。

当然，如果有好的工具（比如说计算机），人们是可以通过20个样本数据正确推断出方程的（因为这个方程里没有随机量）。但是，如果Y=(1+X/100)^2+e; e~N(0,1)，用20样本找到真实方程的难度显然倍增。更不用说Y=(1+e/10+X/(100+f))+g; e, f, g~N(0,1)了。

我们都知道，运用小样本来预测是非常危险的，即便两个变量的关系是线性的。（置信区间的大小和样本容量的平方根成反比）意味着容量越小，置信区间平方增大，从而推断越不可信。

但是，即便运用大样本，在缺乏其背后理论支持的情况下，模型错误的概率都是很大。

这就是很多人运用统计推断方法进行数据研究的悲哀——我们都希望数字能够按照我们感知的趋势变动，而悲哀的是，我们的感知常常是错误的；且不用说在有些时候，数字的变化确确实实是100%随机的。

当麦肯锡作出2020年中国个人消费的预测的时候，我并不太怀疑所用模型计算上的正确性：有了电脑，能把回归算错的概率实在不是很大。但重要的是，模型只和它的假设一样正确（我不知道该怎么翻译: a model is only as good as its assumptions)——如果假设是错误的，再漂亮的模型也只不过是Garbage-in, Garbage-out.

与其多跑几次回归分析匆匆得出结论，还不如踏踏实实研究数据变动背后的理论来得实际；即便前者往往更酷更炫。人们都喜欢用模型来简化世界，但是世界从来就没有简单过，简化来简化去最后的结果只是简化了自己结论的可信度。

比如说这个玩的很炫的预测，其实一点reasonable的支持都没有：http://www.ted.com/talks/hans_rosling_asia_s_rise_how_and_when.html

Up In the Air是我去年看过的最好看的电影之一。有一个场景是Ryan跟Alex讲种种机场安检排队的要点时，讲到诸如不能排在老年人后面，带婴儿的人后面，或是中东相貌的人后面。

Ryan: Asians. They pack light, travel efficiently, and they’ve got a thing for slip-on shoes. You’ve gotta love them.

Alex: That’s racist.

Ryan于是说

I’m like my mother. I stereotype. It’s faster.

Stereotyping（“粗暴分类”）是我们每个人潜意识里都会做的事情，我们仿佛有一种“天赋”将所见过的、经历过的人进行粗暴分类，总结出这样那样的特性，再盲目地以为这些特性适用于大多数(甚至所有)这一类型的人。很多人听到印度人的第一反应是“聪明”，英国人是“绅士”，德国人是“严谨”，法国人是“浪漫”，荷兰人是“吝啬”，犹太人是“智慧”“一毛不拔”……这样的例子几乎数不胜数，也渗透了我们社交的每一个细节。

粗暴分类并不仅仅针对人，大量事实说明，我们在考虑问题的时候也会有意识无意识地过度简化真相。一部分的stereotyping确实能为我们节约很多时间（购买时的品牌选择就是一个例子）；另一方面，（可能是在大多数情况下）粗暴分类并不能给我们带来任何好处。就像那个著名的笨蛋总统Bush说过的”You are either with us, or against us”——人的天性使得我们在考虑问题的时候只能够看到问题的两个极端——而这种倾向在教育洗脑化的国家尤甚。

几乎所有关于critical thinking的书和文章都会将stereotyping列为我们的谬见（fallacy）之一：因为这么做很粗暴，将考虑问题的入手点设为一个群体的共性（对于这个共性的认知甚至还有可能是错的），而不是具体要考虑的这个问题的特性，而对一个问题的思考只应该是就事论事。

我在想，我们日常进行的所有粗暴分类，有没有其理性的成份：比如说我大半夜在没人的路上突然看到一个黑人男子要比见到一个白人男子更紧张是不是种族歧视？我认为一个北方口音的人会更豪迈同时可能更传统，这是不是地域歧视？我在没有任何其他信息的情况下，看到国内媒体对某个政治经济事件的报道认为其可信度不如英美媒体，这是不是崇洋媚外？我遇到一个操着得克萨斯口音的人会更避免与其谈论宗教或者进化论的问题以免引起争吵；在飞机上看到很多中东人难免会有所紧张，这是不是也算地域或者宗教歧视？那么美国机场的 nonrandom “random screening”呢？Driving-while-Black呢？

当然，从统计角度来讲，上面的这些例子的确都make sense：黑人每单位人口犯罪率比白人高这是不争的事实（当然白人变态犯罪率更高也同样），那么从纯概率的角度来讲，我大半夜路上碰到一个黑人意图抢劫的概率的确比碰到一个白人的要高。那么我的惧怕也许也并不是歧视。事实上，不仅是普通人，连警察也对有色人种表现出更高的警惕性。有研究表明，在美国，警察射击未武装的黑人要比射击白人快上许多[1]，而并不仅仅是白人警察更容易射击黑人，调查的结果显示，在同等情况下，黑人警官射击黑人的可能性也要显著地高于射击白人。[2]

再后来我才意识到，其实人们在使用“歧视”这个词的时候，用的也往往是简单粗暴的分类。“歧视”和“政治正确(political correctness——并非国内所说的政治）”的界限有意无意地被模糊。应该明确的一点是，后者的范围是广于前者的。举个例子来说：“根据统计数据表明，黑人暴力犯罪率高于白人”“平均来讲，人类女性在身体素质、力量方面不如男性”这样的陈述只是事实，完全没有歧视。而在美国这个“歧视高敏感”国家，这样的陈述往往都是政治不正确的。而政治正确了并不代表没有歧视：比如说美国1960年代引入的平权法案(affirmative action)就算得上是一种歧视，这种歧视在其他条件相同的情况下，给予弱势群体更多的照顾——严格来讲，这就是对条件相同而没被照顾到的majority的歧视（类似法案在英国被叫做positive discrimination）。

平权法案的法理性人们还一直在讨论之中，并且目前的趋势貌似是会去除这一“特殊照顾”。不难看出，在“歧视”与“事实”之间划清界限从来不是件简单的事情。那么这种基于粗暴分类的结果什么时候才是得体的，什么时候会是不合理的？我认为要把结论基于“对被粗暴分类者的影响程度”上：当安检人员随机地挑选了更高比例的中东乘客从而拆了自己random的招牌并给穆斯林乘客带来尴尬和麻烦，这种行为就是不合理的——我们都有恐惧的权利，将这种恐惧转换为有理由但不符合原则的筛选，那么这种行为就是不对的；这种实质上的”all for Muslims, random for the others”没有理由挂着”random screening”的招牌。当某人为了避免被侵犯而采取绕道而行，这样的行为不太可能会对“被粗暴分类者”产生坏的影响（他们基本不会注意到），那么这种行为也许说不上是可取，但至少不是不道义的。

保护弱势群体权利是好事——民主需要法制的维护才能保证少数人的根本利益不被大多数人所侵占。如何在歧视与纠枉过正之间找到平衡点是人们努力去做的事情，但政治正确绝不应该阻碍真相的表达。Opinions might be outrageous, but facts are merely facts.

FOOTNOTES
1. Kassin, Saul (2007). Social Psychology 7th Edition. ISBN 0618868461↑
2. Harvard University有一个叫做Project Implicit的心理学实验室，测试人们这种潜意识的stereotyping，可以点击这里参 与。↑

我曾经一度很反感这么一类人：说话及其严谨，总是把“有可能”、“并不是完全”、“平均来讲”、“统计意义上来说”这一类词挂在嘴边；甚至一度认为这些人不敢担当，没有为自己说过的话负责人的胆量——这么想或这么想过的也许并不只有我一个。诚然，人们在很多时候使用模棱两可词语是为了逃避责任：“如果不出意外的话，我明天尽量两点到吧”——这话岂止是实话，简直是废话，就像“明天如果我能两点到，我一定两点到”这样的话一样。

但是，这些在被很多人认作是“不负责任”的词正是我们不该忽视却恰恰忽视了的词。所以当经济学家提出“在有效市场下，平均来说投资者不能通过承担市场风险获得高于市场的收益率”。很多投资者立马就会拿出巴菲特、索罗斯、彼得林奇的例子来做反驳。而事实上，早已有学者通过分析美英的股市和基金市场，证实了“在所有的mutual funds中，能获得高于市场回报率的只是少数，如果扣除了额外的交易手续费之后，少数会变得更少”，“在扣除交易费后，所有mutual funds的回报率是显著小于市场回报率的”。

语言是及其有限的——我们不可能用精简的语句准确表达自己的意思并保证对方能够准确理解（我们甚至不能够真正理解自己的思想）。训练逻辑和表达自己的能力是大陆教育系统缺乏并故意避免的一件事。我从来都没有好好学过过《语文》这门课，我一直都很庆幸这件事——我没有浪费很多大好时光研究鲁迅到底在想什么、老舍原名叫什么、恰似一江春水向东流的上一句是什么。哪怕我把这些大好时光浪费在打篮球、玩黄金英雄坛说、和施威摆弄文曲星上的编程、和室友点着灯打双扣上——这些浪费的时间只是浪费一次，而要把被洗过的脑再洗回去要花上双倍甚至更多的时间。但我确实很后悔没有学好语文（无书名号）：我的字还是写得不堪入目，我在写文章的时候总还是要读好多遍才能把语句改得通顺些有条理些，我至今还不知道如何把文章写得煽情——但这点并不是那么重要，诉诸感情并没有诉诸理智重要。那些能把道理讲得很清楚的人不能不让人佩服——我想我这学期选Sam Thomas的课也是出于这个原因。

我慢慢意识到，那些在说话写文章的时候用上很多“不负责”的词的人才是真正负责的——世界上从来不存在所谓的普遍真理，即便是在最严谨的数学里依然存在着公理。这段话我不知道该如何翻译好：

…proof is a notion that scientists have been intimidated into mistrusting. Influential philosophers tell us we can’t prove anything in science. Mathematicians can prove things – according to one strict view, they are the only people who can – but the best that scientists can do is fail to disprove things while pointing to how hard they tried. Even the undisputed theory that the moon is smaller than the sun cannot, to the satisfaction of a certain kind of philosopher, be proved in the way that, for example, the Pythagorean Theorem can be proved.

The Greatest Show On Earth, Richard Dawkins

很久以前一直爱说别人没逻辑，脑子乱，后来发现其实自己在很长一段时间内的一些想法其实也都是挺脑残的。

知道有个叫critical thinking的东西的时候已经是大三了，当时在准备GMAT，而Verbal部分的有一大块就是Critical Reasoning。在今天看来，对这一块内容的准备是我大学里做的最有意义的事情，没有之一。

Critical Thinking是一项要花很长的时间去习得的技能——说白了，思考在很多时候就是要与自己的本能、直觉作斗争，但人总是爱偷懒的，而不用思考是很多人都采用的偷懒方式。

Asking the Right Questions: A Guide to Critical Thinking是这方面写得比较清楚的入门书，现在已经出第九版了(Amazon链接).第八版下载链接：http://ifile.it/6irstf

有效市场假说(Efficient Market Hypothesis)也叫有效市场理论，是金融学领域一个极其牛逼的理论，由Eugene Fama于上个世纪60年代提出。从提出起至90年代中期的三十年间，EMH受到了广泛的认可，并在理论和实践中得到了一次又一次的证明。

EMH按efficiency从低到高分为三种形式(Weak form, semi-strong form,和strong form，其比较受认可的一个中心思想是[1]：如果不承担高于市场的风险，投资者无法获得高于市场的回报。技术分析(一种看历史数据判断股票未来走势的方法)在weak form efficiency中失效，基础分析(通过分析公司财务报表等内容判断股票价格是否合理)在semi-strong form下失效，内幕交易在strong form下失效。

在发达国家透明资本市场[2]多年的实践检验下， weak form efficiency基本是成立的，semi-strong efficiency在大多数情况下还是成立的，而由于内幕交易的确能带来很大的利润，即便在英美等国家的资本市场内，strong form还是无法成立。

EMH并不是完美的理论，甚至远离完美[3]，但还是目前还是受认可度最广的理论。按照Andrei Shleifer的说法，EMH的基本假设有三：1)投资者的理性2)如果投资者不完全理性，其非理性会互相抵消，导致总体理性3)市场存在大量套利行为，导致交易价格能够完全体现投资风险。

这样一来，按照EMH的说法，基础分析就失去了其基本意义：既然无法获得额外利润，为什么还要进行基础分析呢？

这个说法对个别投资者来说是成立的，但是对于整个市场来说：如果没有人做基础分析，谁又能发现股票的内含价值呢？

换个说法，EMH能够成立的一个隐藏基础就是：任何时候都有大量投资者对股票进行分析，发掘没有被合理定价的股票从而进行投资，而大量的该种投资行为能够导致股票价格回归到其价值。

EMH的成立不代表着投资者不用进行基础分析，基础分析无法获利是针对整个市场而言的，并不是说基础分析没有价值——那些行动最快的人是能够通过基础分析获利的。

换句话说：没有基础分析就不会有EMH，不能因为感觉有EMH了就否定了基础分析。

之所以题名叫《算是讲专业》，是因为根本就没有想写专业。

起源于晚上的一段小讨论：

和同学谈到中国存在的腐败、污染以及种种现象和西方国家对中国的种种批评，有人说到：

给他们10亿人试试看，这些发展过程中必须的，早个100年他们也都这样。

诚然没错，早个一百年他们确实也都这样，美国也有毒牛奶；hopefully,我们也能在100年，甚至更少的时间内达到西方国家现在的状况。但这并不是我们停止批评，停止进程的理由。

就像股票价格迟早会反应其真正价值的说法并不能成为爱钱的人们停止挖掘股票真正价值的理由一样！

FOOTNOTES
1. 具体点说：weak form的中心思想是”股票价格包含（体现）过去所有与股票相关的信息”；semi-strong form除了包含weak form以外，还强调了”股票价格包含所有公开信息”；strong form在包含了前两种的基础上，进一步提出”股票价格还包含所有非公开信息”，当然，这种形式的EMH已经被实践所否定。↑
2. 有学者对中国的资本市场做过研究，发现其股票收益存在着显著的序列相关性。见Burton Malkiel. Investment Opportunities in China. July 16, 2007. Burton Malkiel是EMH的强力支持者，著有A Random Walk Down Wall Streetf↑
3. 近年来最大的挑战来自于行为金融学(Behavioral Finance)↑

很多时候当想到一些我不愿意面对的事情的时候，我会感到恐惧——尽管最近这段时间一直在告诫自己要勇敢面对，事情往往没有想象中的那么糟糕。

在大多时候，这种恐惧的结果就是拖拉；我会不停告诉自己：太麻烦了，以后再说吧——等到了“以后”，情况通常不会有任何好转。终于等到deadline的那一天，被逼得有如热锅上的蚂蚁一般，焦头烂额——“当初为什么没有硬一硬头皮把事情给做了呢！”

我们的一生都是在于自己的天性不断斗争中度过的：贪婪、懒惰、自私、迷信……而我相信，拖拉也是人类诸多糟糕天性之一。拖拉一方面源于我们的懒惰，源于我们对“船到桥头自然直”这句话的迷信；而另一方面，拖拉源于我们对不确定性的恐惧。我们喜欢处理自己擅长的事物，这令我们感到安全、舒适并且（最重要的一点）确定性。

Dan Ariely在他的的Predictably Irrational专门花了一章多的篇幅讲拖拉——procrastination

对于任何生活在deadline之下的人（其实就是所有人）来说，拖拉的后果都是严重的。因为人总是有挑着自己喜欢的事先做的偏好。从小学开始老师就教导我们“把难题放到后面，等到有时间了再做”——这一原则被我们一次又一次地贯彻，做的多了，我们也就渐渐忘记了prioritization和procrastination的差别——前者根据事情的紧急性和重要性进行排列，而后者纯粹是出于对现实的逃避。而有趣的是，被我们拖拉掉的事情常常会在priority和高的位置上。

Steven Covey在1994年出版了一本关于时间管理的书First Thing First，书中提出了那个后来成为广为人知的时间管理方法“Urgency-Importance Matrix”。

假设生活中的繁杂事务真能够按照Covey的方法分类，那所有人都会很自然地先去做第一象限中的事情，关注第二象限，有选择地做第三象限，忽视第四象限。当然这个理论的隐含假设是理性人（人们会选择给自己带来最大效用的事）和信息的完整和对称性（判断事情是否紧急重要的信息正确且为大多数人所认可）。

事实上，这两个隐含假设并不总是成立的。

• 人并不是完全理性的。大多数人都会过高估计自己的能力，从而低估任务的紧急性和重要性。更有甚者，在判断出该做的事情后，理性常常也占不到决策的主导地位。
• 即使人们能做到理性，信息的完整对称也是极难以保证的。错误的信息输入只能带来GIGO (garbage in, garbage out)的效果。

这样在我看来，拖拉除了主观原因之外，又有了“非理性”和“信息不对称”两个原因。

曾经有很长一段时间，我每周都要给自己做一个计划表，结果是每周结束的时候都很不得把那本纪录计划的本子给撕掉，在我以往所有的周计划中，能够完全做到的估计不到10%。暑假整理书房，翻出很多这样的本子，郁闷了好几天——高估自己、遗忘目标、渴望即时满足感[1]……与自己斗争真的很难。

FOOTNOTES
1. 延迟满足感（Deferred Gratification）：很多人认为这是成功的重要品质之一。在1960年代的一系列实验及其后续观察中，科学家发现能够有效延迟满足感的儿童在日后的学业和生活中更加具有成功的品质。详见Wikipedia|TED Talk|The New Yorker|科学松鼠会.↑

昨天，Peter Ritchken课上不经意间讲到一个例子：

当年在南非读统计的时候，Peter的导师让他调查学校中抽大麻学生的百分比。而调查的方法采用的是面对面的interview。

在南非，抽大麻是非法的，但是据估计整个国家抽食人口在80%以上，这也就意味着Peter的interview方法不可能会成功——没人知道他是不是便衣警察。

在失败了好几天之后，Peter用了一个简单方法统计出了这个数据：

掷骰子

被调查者在调查前将要掷一个骰子，而结果只有被调查者知道，Peter不会知道。如果结果是1、2、3，被调查者答应不论被问到什么问题都回答”Yes”，如果结果是4、5、6被调查者答应据实回答。

 假设被调查者回答了Yes，由于Peter不可能知道其是出于哪种情况作出的回答，也就无法判别被调查者是真的抽大麻，还是掷了1、2、3；也就避免了被调查者的担心。

这很容易算，假设最终有90%的人回答了Yes。

令A事件为“被调查者回答yes”，B事件为“投掷结果为4、5、6”

我们关心的是在投掷结果为456的情况下，被调查者回答Yes的概率，P(A|B)——也就是有效样本中真正抽食大麻人的频率。

P(A)=P(A|B)*P(B)+P(A|非B)*P(非B)

得出P(A|B)={P(A)-P(A|非B)*P(非B)}/P(B)

={0.9-1*0.5}/0.5

=80%

我不关心你作为一个“个人”抽不抽大麻；我只关心你作为一个“统计人”抽不抽大麻

而如果让我去设计这么一个实验，我感觉就远远没有那么简单了。

反过来解释一种方法总是比设计一种方法简单。我想，其中最主要的原因是：

在解释一种方法时，我们需要的只是关于该方法的知识，而知识相对是容易检索和掌握的。

而在设计一种方法时，我们不仅需要新的知识，更重要的是我们要知道需要的是什么样的知识——往往是需要从自己掌握了的技能中找到合适的。

反向检索永远比正向检索难，这就好比吃到一种水果去查这种水果的名字比知道水果的名字去查该水果味道难，听到一首歌的旋律去查歌名比知道歌名去了解这首歌的旋律难。

最大的体会是：凡事多想一想多记一记，最终都是会有好处的。