逻辑回归算法

逻辑回归算法解读

基本原理:

有了之前线性回归的学习，我们学习逻辑回归是非常简单的，核心就是通过sigmoid函数将线性回归的输出映射到(0,1)区间，表示为概率。简单来说，逻辑回归模型的输出是线性回归模型输出的Sigmoid变换，使其原本连续性的输出结果，可以通过设置阈值变成离散型的，进而把回归问题转化成分类问题。以二分类为例子，因为sigmoid函数会将线性回归的输出映射到(0,1)区间，我们可以设置阈值为0.5，当结果大于0.5时归为类别1，当结果小于0.5时归为类别2，进而实现二分类问题。

所以逻辑回归虽然称之为“回归”，但其实是用来解决分类问题的。至于名字中的“逻辑”是因为sigmoid函数有个别名是“逻辑函数”，而名字中的“回归”是因为它本身就源于线性回归算法。

Sigmoid 函数表达式为:

$$
\sigma(z)=\frac{1}{1+e^{-z}}
$$
其中， (z) 可以是一个实数或一个线性函数。这个函数通常用于将一个实值映射到 ((0,1)) 区间，如下图所示。

Sigmoid函数特性

• 值域：Sigmoid 函数的输出值域在 (0, 1) 之间。
• 形状：S形曲线（S-shaped curve），即函数图像呈S形。
• 平滑性：Sigmoid 函数是一个光滑函数，其导数可以在所有点上计算。
• 中心对称：Sigmoid 函数关于原点 (0, 0.5) 对称。

在逻辑回归中的作用：

概率映射：Sigmoid 函数经常用于将任意实数映射到介于0和1之间的概率值。

Sigmoid 函数的优缺点:

优点 ：

Sigmoid 函数的输出在 (0, 1) 之间，适合表示概率。而且Sigmoid 函数连续且可导，这一特性在梯度下降优化中非常有用。

缺点 ：

当输入值远离原点时，Sigmoid 函数的梯度（导数）变得非常小，这在神经网络中可能导致梯度消失问题，影响模型的学习效率和准确性。而且Sigmoid 函数输出非零中心，即输出总是正的，这可能导致后一层的神经元数据分布在更新权重时产生偏移，影响模型学习。

逻辑回归算法评价

优点

• 输出概率评分：逻辑回归不仅预测类别，还提供了概率评分，这在许多应用场景（如信用评分）中是很有价值的。
• 简单且易于理解：逻辑回归模型简单，参数的含义直观，便于解释和理解。
• 计算效率较高：与一些复杂的算法相比，逻辑回归的计算效率较高，易于实现。 

缺点

• 表达能力有限：由于其本质上是线性分类器，逻辑回归在处理非线性决策边界的问题上表达能力有限。
• 特征依赖：逻辑回归假设数据的特征和输出变量是线性关系，这在某些问题上可能不成立。
• 易受异常值影响：逻辑回归对异常值较为敏感，需要适当的预处理来消除异常值的影响。

适用场景

• 二分类问题：逻辑回归天然适合二分类问题。
• 输出概率要求：当问题需要不仅预测类别，还需给出概率时，逻辑回归是一个不错的选择。
• 解释性要求：在需要较强解释性的场景（例如，医疗、金融领域）逻辑回归通常是首选。