监督学习vs无监督学习
- 监督学习：通过算法来对一些离散的数据进行一个监督。回归问题&分类问题
- 无监督学习：通过给予算法大量的数据，来让算法找出数据的类型结构。聚类算法。
从数据的角度来讲, 监督学习和无监督学习的区别就在于每一个数据样本是否包含一个准确的输出值。
单变量线性回归
（Linear regression with one variable = Univariate linear regression）
代价函数（平方误差代价函数）：每个样例的估计值与真实值之间差的平方的均值。
++梯度下降+代价函数=线性回归算法++，用直线模型拟合数据
优化目标：代价函数最小
优化算法：
梯度下降法：给定初始值（0或其他），不停的改变参数以找到局部最小值。要注意同步更新多个θ！
- 梯度：代价函数对每个θ的偏导。
- 学习率α：梯度下降时，迈的步子大小。
初始状态不同,可能得到不同的局部最低点。用于线性回归的代价函数总是一个凸函数(Convex Function)。这样的函数没有局部最优解，只有一个全局最优解。所以使用梯度下降的时候，总会得到一个全局最优解。
Batch梯度下降