En Küçük Kareler Tahmincisi

En küçük kareler yönteminde amaç, kalıntılar kareleri toplamını en küçük yapan parametre değerlerini bulmaktır. Bu amaçla oluşturulan optimizasyon problemi parametrelere göre türev alınarak çözülmekte ve en küçük kareler tahmincisi elde edilmektedir (Yerdelen Tatoğlu, 2023, s. 47–48).

Doğrusal regresyon modeli,
Y = Xβ + u
şeklinde gösterilmektedir.

En küçük kareler yöntemine göre elde edilen parametre tahmincisi aşağıdaki gibidir.
β̂ = (X′X)⁻¹X′Y

Burada;
β̂: Tahmin edilen parametreler vektörü
X: Bağımsız değişkenler matrisi
Y: Bağımlı değişken vektörü
(X′X)⁻¹: Bilgi matrisinin tersi

Bu tahminci, en küçük kareler varsayımları altında doğrusal, sapmasız ve en küçük varyansa sahip tahminci olup Gauss–Markov Teoremi'nin temelini oluşturmaktadır (Yerdelen Tatoğlu, 2023, s. 47–48).