对线性回归、逻辑回归、各种回归的概念学习回归问题的条件/前提：1） 收集的数据2） 假设的模型，即一个函数，这个函数里含有未知的参数，通过学习，可以估量出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而言。收集的数据中，每一个重量，就可以看做一个特征数据。每个特征至少对应一个未知的参数。这样就形成了一个线性模型函数，向量表示形式：这个就是一个组合问题，已知一些数据，如何求里面的未知参数，给出一个最优解。 一个线性矩阵方程，直接求解，很可能无法直接求解。有唯一解的数据集，微乎其微。基本上都是解不存在的超定方程组。因此，需要退一步，将参数求解问题，转化为求最小误差问题，求出一个最接近的解，这就是一个松弛求解。求一个最接近解，直观上，就能想到，误差最小的表达形式。仍然是一个含未知参数的线性模型，一堆观测数据，其模型与数据的误差最小的形式，模型与数据差的平方和最小：这就是损失函数的来源。接下来，就是求解这个函数的方法，有最小二乘法，梯度下降法。zh.wikipedia.org/wiki/%E7%BA%BF%E6%80%A7%E6%96%B9%E7%A8%8B%E7%BB%84最小二乘法是一个直接的数学求解公式，不过它要求 X 是列满秩的，梯度下降法分别有梯度下降法，批梯度下降法，增量梯度下降。本质上，都是偏导数，步长/最佳学习率，更新，收敛的问题。这个算法只是最优化原理中的一个普通的方法，可以结合最优化原理来学，就容易理解了。2. 逻辑回归逻辑回归与线性回归的联系、异同？逻辑回归的模型 是一个非线性模型，sigmoid 函数，又称逻辑回归函数。但是它本质上又是一个线性回归模型，因为除去 sigmoid 映射函数关系，其他的步骤，算法都是线性回归的。可以说，逻辑回归，都是以线性回归为理论支持的。只不过，线性模型，无法做到 sigmoid 的非线性形式，sigmoid 可以轻松处理 0/1 分类问题。另外它的推导含义：仍然与线性回归的最大似然估量推导一样，最大似然函数连续积（这里的分布，可以使伯努利分布，或泊松分布等其他分布形式），求导，得损失函数。逻辑回归函数 表现了 0,1 分类的形式。应用举例：是否垃圾分类？是否肿瘤、癌症诊断？是否金融欺诈？3. 一般线性回归线性回归 是以 高斯分布 为误差分析模型； 逻辑回归 采纳的是 伯努利分布 分析误差。而高斯分布、伯努利分布、贝塔分布、迪特里特分布，都属于...
