请记住,对于线性回归,预测方程会最小化残差平方(这意味着其会通过数据点选取直线,其中,这些数据点具有直线与所有点之间垂直距离的最小平方和)。对于逻辑回归,将所有观察值编码为0(失败)或1(成功)。类似于简单线性回归,简单逻辑回归同样有单一的独立(X)变量。逻辑回归的目标是预测观察0或1的概率,简单地通过最小化点到该直线的距离的平方和来将一条直线拟合到数据上,将会产生一个无意义的模型(如先前章节“简单逻辑回归与简单线性回归存在哪些差异”中所述)。
那么该模型如何拟合?该模型最大化了统计学家所称的似然性。通常,可将这一似然性最大化过程视为针对最可能产生观察数据的模型选择系数估计。因此,需要记住的是,逻辑回归模型通常将在拟合(或分类)输入数据方面比其将在正确预测新数据结果方面表现更好。
关于逻辑回归的另一需要记住的要点是,不同于线性回归,最大化逻辑回归的似然性需要一个迭代求解器,这意味着其会选择一些开始值,并使受过训练的步骤,朝最大似然性值“爬坡”,以便确定最大值。这也意味着-不同于线性回归,但与非线性回归相似 - 对于给定数据集,有时无法确定简单的逻辑回归模型。在“统计学家的说法”中,我们会说最大似然无法确定,或只是模型尚未聚集。
简单逻辑回归模型可能无法聚集的常见原因有几个,且讨论每个案例的单独页面中介绍了这些原因。