761七种武器之【奥卡姆的剃刀】

思考盒子官方微信群已经成立，微信搜索思考盒子的全拼【sikaohezi】，加我的个人微信，我给你拉进来，赶紧来吧！

官方QQ群也已经开放，QQ群号码【30024640】 也叫【思考盒子】新浪微博也叫【思考盒子】

请看如下图片。在图片中那些灰色的，黑灰色的，以及黑色的均是box。现在考虑图片中被树挡住的部分，请问被树挡住的有几个box?

你会选择1个， 还是2个？

问题2：

给定一个有限数列： -1，3， 7， 11。 请问接下来的两个数是多少？

答案1：15, 19 (我认为它满足一个首项为-1，递增项为4的等差数列)。

答案2：-19.9，1043.8 (我认为它满足一个 的多项式数列 .....)

我想绝大多数人面对以上两个问题都会选择比较“自然”的那种，即树后面就一个箱子，（-1，3，7，11）就是一个等差数列罢了；而非大开脑洞，认为今天迎面走来的朝夕相处的同学不是其本体，而是一个正面是人脸，背面是鬼头的双面怪。即“如果对于某种已观测到的事物(observed dataset)，我有A B C三种解释方式，那么我会倾向于选择胸最大，哦不，是选择最simple的一个来阐述观测现象"。

我们再从直觉上出发，考虑如下的plot图。

在图中，横坐标表示已观测出的数据点的分布，纵坐标表示某个假设H在某个点上的置信度evidence。从图中可以看出，假设H1比假设H2要更simple, 命中了更少的数据，但反而因此对于那些命中的数据点而言置信度更高了。而H2因为要照顾到所有的数据，所以相对H1而言所分摊的单位probability mass更少了，解释性较差。

再看一个类似的例子。

横坐标依然表示observed dataset, 而M1, M2, M3分表表示阐述这个data的三个不同的模型。三个模型中, 复杂度 M3 > M2 > M1， 而对于数据点D_{0}的解释程度，M2 是最适合的，M1因为模型过于简单所以直接bias了。而M3因为过于复杂，拟合了过多的数据，所以概率密度更“薄(thin)”了，原因与上个例子类似。

从上面两个例子可以看出，同样两个说法，或两个模型如果都能解释某个现象，或者所观测到的数据（即如无必要），那么，越是复杂的模型，其单位解释力越差，反而不如相对简单的模型（即勿增实体）。

即奥卡姆剃刀原则。

A theory with mathematical beauty is more likely to be correct than an ugly one that fit some experimental data.

作者：知乎用户

链接：https://www.zhihu.com/question/25527032/answer/37068230

来源：知乎

著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。