请记住,在线性回归中,预测方程会使残差平方和值最小(这意味着它会选取通过数据点的直线,该直线与所有点之间的垂直距离平方和最小)。在逻辑回归中,所有观察值都被编码为 0(失败)或 1(成功)。与简单线性回归类似,简单逻辑回归也只有一个独立变量(X)。逻辑回归的目标是预测观察到 0 或 1 的概率,而简单地通过最小化各点到这条直线的距离平方和来对数据进行直线拟合,将导致一个无意义的模型(在上一节 "简单逻辑回归与简单线性回归有何不同"中讨论过)。
那么模型是如何拟合的呢?模型最大化统计学家称之为似然。一般来说,最大化似然的过程可以理解为为模型选择最有可能产生观测数据的系数估计值。因此,需要牢记的是,逻辑回归模型在拟合(或分类)输入数据方面的性能通常要好于正确预测新数据的结果。
逻辑回归需要记住的另一个要点是,与线性回归不同,逻辑回归的可能性最大化需要迭代求解器,这意味着它需要选取一些起始值,然后向最大可能性值 "爬山",以确定最大值。这也意味着--与线性回归不同,但与非线性回归类似--有时无法确定给定数据集的简单逻辑回归模型。用 "统计学家的术语 "来说,我们会说最大似然无法确定,或者干脆说模型没有收敛。
简单逻辑回归模型可能无法收敛的常见原因有以下几种,我们将在讨论每种情况的单独页面中介绍这些原因。