非线性回归的目标是调整模型参数的值，以便从X中找到最佳预测Y的曲线。更准确地说，回归的目的是最小化点到曲线的垂直距离的平方和。

为何要最小化距离的平方和？为何不简单地最小化实际距离的总和？

如果随机散布服从高斯分布，则其具有两个中等大小的偏差（例如，每个偏差5个单位）比具有一个小偏差（1个单位）和一个大偏差（9个单位）的可能性更高。最小化距离绝对值总和的程序将不会倾向于一条距离两点5个单位的曲线和一条距离其中一点1个单位，且距离另一点9个单位的曲线。在所有情况下，距离的总和（更准确地说，距离绝对值总和）为10个单位。最小化距离平方和的程序更倾向于距离两点5个单位（平方和=50），而非距离其中一点1个单位，且距离另一个点9个单位（平方和=82）。如果散布是高斯分布（或接近高斯分布），则通过最小化平方和确定的曲线最有可能是正确的。