终极算法(The Master Algorithm)

《The Master Algorithm》by Pedro Domingos

———————————————————————–

4. 联结学派: 大脑如何学习

• S曲线(Sigmoid):

1. S型曲线是世界上最重要的曲线
2. 一个线性大脑, 无论多大, 总比一条线虫要笨. S型曲线是线性函数非智能性和阶跃函数复杂性的完美中和.

• 梯度下降:

1. 多数情况下, 局部极小值(local minima)挺好的，并不会有不良影响
2. 更好的消息是, 局部极小点可能更合适, 因为它和全局最小值(global minima)相比, 意味着我们更加不可能过拟合(overfitting)

• 超空间(Hyper Space)是一把双刃剑:

1. 一方面, 维度越高, 它越有可能存在高度复杂的表面和局部最优解(local optimum)
2. 另一方面, 因为被困在局部最优解中,意味着每个维度都被困住了, 所以被困在高维中的难度要比困在三维中的难度大. 高维空间中, 到处都有穿山而过的通道.那么,借助夏尔巴人的小小帮助, 方向传播往往会找到通往完美权值的道路. 它可能仅仅是香格里拉的神秘山谷, 而不是海洋; 但如果在超空间中, 有数百万个这样的山谷, 每个山谷都有数十亿的山口对着它, 那为什么要抱怨呢？

• 自动编码器
  Autoencoder

1. 自动编码器是一台多层感知机, 其输入和输出一样. 让隐层维度比输入和输出小很多, 那么网络就不只会把输入复制到输出了, 隐层必须用更少的比特将输入信息编码, 然后解码.
2. 。。。。。。

5. 进化学派: 自然的学习算法

• 先天与后天

1. 终极算法既不是遗传编程, 也不是反向传播, 但它得包含这两者的重要部分: 结构学习和权值学习.
2. 《思考, 快与慢》丹尼尔-卡尼曼

---

6. 贝叶斯学派: 在贝叶斯教堂里

• 统治世界的定理:

1. 太阳明天升起的概率为(n+1)/(n+2)
2. 频率论: 感冒的概率是0.2, 因为被观察的100名病人中, 有20名发烧了.
3. 贝叶斯学派: 概率并非频率, 而是一种主观程度上的信任. 贝叶斯定理让你做的事情是:通过新证据来修正你之前相信的东西, 得到后来相信的东西.