最小平方法

當我們將迴歸線與一組資料點擬合時，即假設 Y 與 X 之間有未知的線性關係，因此平均每增加一單位的 X，Y 也會增加既定的量。我們的擬合迴歸線讓我們能夠預測特定 X 值的 Y 反應變數。

$$ \mu_{Y|X}=\beta_0+\beta_1X_1 $$

但在任何特定的觀察中，Y 的實際值都可能偏離預測值。實際值與預測值之間的偏誤稱為誤差或殘差。

迴歸線擬合資料的程度越高，殘差越小 (平均而言)。那要如何找到最能擬合資料的迴歸線？換句話說，我們要如何判斷迴歸線的截距與斜率？直觀來看，如果要以人工方式擬合迴歸線與資料，我們會嘗試找到一條能將整體模型誤差降到最低的線。然而，當我們透過資料擬合迴歸線時，有些誤差為正數，有些為負數。也就是說，有些實際值會大於預測值 (出現在迴歸線上方)，而有些實際值則會小於預測值 (出現在迴歸線下方)。

若我們加總所有誤差，總和將為 0。所以該如何衡量整體誤差？我們可以使用這個小訣竅：將誤差平方，並找到一條能將平方誤差和降到最低的迴歸線。

$$ \sum{e_t}^2=\sum(Y_i-\overline{Y}_i)^2 $$

此方法，也就是最小平方法，會找到能將平方誤差和降到最低的截距值與斜率係數。

為說明最小平方法的概念，我們使用示範迴歸教學課程。

將最小平方法視覺化

讓我們從另一個角度看看最小平方法。試想您已使用散佈圖繪製某些資料，且透過資料擬合了 Y 平均數的迴歸線。讓我們鎖定此迴歸線，並在資料點與線之間加上彈簧。

有些資料點離平均線較遠，因此這些彈簧的延伸長度比其他彈簧長。延伸最長的彈簧會施加最大的應力在平均線上。

若我們解鎖這條平均線，並讓平均線沿著 Y 平均數旋轉呢？彈簧平衡的應力會旋轉該平均線。線會旋轉至線的整體應力降到最低為止。

力與能量中牽涉了某些很酷的物理作用，才能將彈簧拉動指定距離。結果為將彈簧的整體能量降到最低，等於使用最小平方法擬合迴歸線。