机器学习

123-牛顿法

牛顿迭代法：

1. 求解方程$f(x) =0$

在$x_0$附近使用一阶Taylor级数展开$$f(x) = f(x_0) + f^{‘}(x_0)(x - x_0) + 高阶项 \approx f(x_0) + f^{‘}(x_0)(x - x_0) $$
在$x_0$处求导得到: $$x_{n+1} = x_n - \cfrac{f(n)}{f^{‘}(x)}$$
经过迭代上述式子会在$f(x)=0$处收敛。

2. 求极大极小值的最优化问题

在$x_0$附近使用二阶Taylor级数展开$$f(x) = f(x_0) + f^{‘}(x_0)(x - x_0) + \cfrac{1}{2}f^{‘’}(x-x_0)^2 + 高阶项$$
由于函数在其极值点有一阶导数为0，可以将此最优化问题转换为求解$f^{‘}(x)=0$方程的问题。
所以，下面的方程的解就是要找的极值点$$f^{‘}(x_0) + f^{‘’}(x - x_0)=0$$
通过使用方法一中的迭代法就可以求得该极值点x

Read More

机器学习

122-RegressionTree原理和实现

Regression Tree 回归树

1
2
3
4
5
import numpy as np
import matplotlib.pyplot as plt
import pandas as pd
import time
import seaborn as snn

1. 回归树原理和实现

回归树（Regression Tree）的目标也是经验风险最小化，对于某个特征来说，我们希望以某个标准将进行划分，使得以下loss最小：$$\underset{D_1}{\sum}(y_i - c_1)^2 + \underset{D_2}{\sum}(y_i - c_2)^2$$
其中,$$\begin{cases}c_1 = \cfrac{\sum y_i}{\parallel D_1\parallel}\\c_2 = \cfrac{\sum y_i}{\parallel D_2\parallel}\end{cases}$$

Read More