3 Basit Lineer Regresyon ve En Küçük Kareler Yöntemi
Gerçek hayatta birçok olay birbiriyle bağlantılıdır. Bir değişkenin değerinin, başka bir değişkenin durumuna göre nasıl değiştiğini incelemek istatistiğin temel konularından biridir. İki değişken arasındaki ilişkileri genel olarak ikiye ayırırız:
- Fonksiyonel ilişki. İki değişken arasındaki mutlak ve kesin matematiksel ilişkidir. Örneğin bir karenin kenar uzunluğu (\(x\)) ile alanı (\(Y\)) arasındaki ilişki \(Y = x^2\) şeklindedir ve istisnasız her zaman geçerlidir.
- İstatistiksel ilişki. Kesin bir formülle ifade edilemeyen, aralarında bir eğilim bulunan ilişkidir. Örneğin öğrencilerin çalışma süreleri ile sınav notları arasında bir ilişki vardır, ancak bu herkes için aynı sonucu vermez. Regresyon analizi bu tür istatistiksel ilişkileri modellemek için kullanılır.
3.1 Serpilme Diyagramları ve Korelasyon
İki değişken arasındaki istatistiksel ilişkiyi görsel olarak incelemek için verilerin koordinat sistemine yerleştirilmesiyle elde edilen grafiğe serpilme diyagramı (scatter plot) denir. Noktaların dağılımına bakılarak ilişkinin varlığı, yönü ve kuvveti hakkında fikir sahibi olunur.
Bu ilişkinin yönünü ve şiddetini matematiksel olarak ölçen analize ise korelasyon denir.
Tanım 3.1 (Pearson Korelasyon Katsayısı) İki değişken arasındaki doğrusal ilişkinin şiddetini ve yönünü gösteren katsayıdır; \(-1 \le r \le 1\) aralığında değer alır:
\[r = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sqrt{\sum_{i=1}^{n} (x_i - \bar{x})^2 \cdot \sum_{i=1}^{n} (y_i - \bar{y})^2}}\]
- \(r = 1\): Mükemmel pozitif doğrusal ilişki — biri artarken diğeri de aynı oranda artar.
- \(r = -1\): Mükemmel negatif doğrusal ilişki — biri artarken diğeri aynı oranda azalır.
- \(r = 0\): İki değişken arasında hiçbir doğrusal ilişki yoktur.
Korelasyon “burada bir ilişki var mı ve ne kadar güçlü?” sorusunu yanıtlarken; regresyon, “bu ilişkiyi hangi doğru denklemiyle modelleyebilirim?” sorusuna cevap verir.
3.2 Basit Lineer Regresyon Modeli
Tanım 3.2 (Basit Lineer Regresyon Modeli) Bir bağımlı değişken (\(Y\)) ile tek bir bağımsız değişken (\(X\)) arasındaki doğrusal ilişkiyi modelleyen istatistiksel yaklaşımdır:
\[Y_i = \beta_0 + \beta_1 X_i + \epsilon_i\]
Burada
- \(Y_i\): bağımlı değişken (gözlem değeri),
- \(X_i\): bağımsız değişken (açıklayıcı değişken),
- \(\epsilon_i\): hata terimi — gerçek değer ile modelin öngördüğü değer arasındaki fark.
3.3 En Küçük Kareler Yöntemi (EKK)
Gözlemlediğimiz veri noktaları arasından sonsuz sayıda doğru geçirebiliriz. Amacımız, eğilimi en iyi yansıtan “ideal” doğruyu bulmaktır. Bunun için tahminlerimiz ile gerçek değerler arasındaki farkı minimize etmemiz gerekir:
\[e_i = Y_i - \hat{Y}_i = Y_i - (\beta_0 + \beta_1 x_i)\]
Hataların doğrudan toplamını almak yanıltıcıdır; çünkü pozitif ve negatif sapmalar birbirini sıfırlayabilir. Bu sorunu aşmak için hataların karelerinin toplamını minimize eden optimum \(\beta_0\) ve \(\beta_1\) değerlerini ararız.
Teorem 3.1 (Gauss Normal Denklemleri ve EKK Katsayıları) \(\hat{Y} = \beta_0 + \beta_1 X\) modelini kurabilmek için, hata kareleri toplamı fonksiyonunu minimum yapan katsayılar şu formüllerle hesaplanır:
\[\beta_1 = \frac{\sum_{i=1}^{n} (x_i - \bar{x})(y_i - \bar{y})}{\sum_{i=1}^{n} (x_i - \bar{x})^2} = \frac{n \sum x_i y_i - \left(\sum x_i\right)\left(\sum y_i\right)}{n \sum x_i^2 - \left(\sum x_i\right)^2}\]
\[\beta_0 = \bar{y} - \beta_1 \bar{x}\]
Burada \(n\) toplam gözlem sayısını, \(\bar{x}\) ve \(\bar{y}\) ise sırasıyla \(X\) ve \(Y\) değişkenlerinin aritmetik ortalamalarını ifade eder.
Hata kareleri toplamı, \(\beta_0\) ve \(\beta_1\)’e bağlı iki değişkenli bir fonksiyondur:
\[E(\beta_0, \beta_1) = \sum_{i=1}^{n} e_i^2 = \sum_{i=1}^{n} (y_i - \beta_0 - \beta_1 x_i)^2\]
Çok değişkenli analizden biliyoruz ki bir fonksiyonun minimum noktasını bulmak için, her bir değişkene göre kısmi türevini alıp sıfıra eşitlemeliyiz.
1. \(\beta_0\)’a göre kısmi türev:
\[\frac{\partial E}{\partial \beta_0} = -2 \sum_{i=1}^{n} (y_i - \beta_0 - \beta_1 x_i) = 0\]
Her iki tarafı \(-2\)’ye bölüp toplam sembolünü dağıttığımızda birinci normal denklemi elde ederiz:
\[\sum y_i = n\beta_0 + \beta_1 \sum x_i \tag{1}\]
2. \(\beta_1\)’e göre kısmi türev: Zincir kuralı gereği fazladan bir \(-x_i\) çarpanı gelir:
\[\frac{\partial E}{\partial \beta_1} = -2 \sum_{i=1}^{n} (y_i - \beta_0 - \beta_1 x_i)\, x_i = 0\]
Sadeleştirip \(x_i\)’yi dağıtırsak ikinci normal denklemi elde ederiz:
\[\sum x_i y_i = \beta_0 \sum x_i + \beta_1 \sum x_i^2 \tag{2}\]
Elde ettiğimiz bu iki bilinmeyenli denklem sistemine Gauss normal denklemleri denir. Sistem yok etme veya yerine koyma yöntemiyle çözüldüğünde yukarıdaki \(\beta_1\) ve \(\beta_0\) formülleri ortaya çıkar.
\(\boxtimes\)
Yukarıda çıkardığımız \(\beta_0\) ve \(\beta_1\) formülleri yalnızca \(Y = \beta_0 + \beta_1 X\) biçimindeki basit doğrusal modeller için geçerlidir.
Veriye \(y = ax^2 + b\) (kuadratik) veya \(y = c e^{ax}\) (üstel) gibi farklı formatta bir eğri uydurmamız istenirse bu hazır formüller kullanılamaz. Böyle bir durumda hata kareleri toplamı fonksiyonunu istenen modele göre yeniden yazmalı, ilgili parametrelere göre kısmi türev alıp sıfıra eşitleyerek kendi normal denklemlerimizi sıfırdan çıkarmalıyız.
3.4 ⚙️ Adım Adım Çözüm Algoritması
El hesaplamalarında en güvenilir yol bir tablo oluşturmaktır.
- Tabloyu hazırlayın. \(X_i\) ve \(Y_i\) değerlerini alt alta yazın.
- Ortalamaları bulun. \(\bar{x}\) ve \(\bar{y}\) değerlerini hesaplayın.
- Sapmaları hesaplayın. Her satır için \((x_i - \bar{x})\) ve \((y_i - \bar{y})\) değerlerini bulun.
- Çarpım ve kareleri alın. Her satır için \((x_i - \bar{x})(y_i - \bar{y})\) ve \((x_i - \bar{x})^2\) hesaplayıp sütunları toplayın. Bu değerler korelasyon formülünde de kullanılır.
- Katsayıları yerine koyun. Önce \(\beta_1\)’i, ardından bulduğunuz değeri kullanarak \(\beta_0\)’ı hesaplayın.
3.5 📝 Çözümlü Uygulamalar
Örnek 3.1 Aşağıda verilen \(X\) ve \(Y\) değerleri için en küçük kareler yöntemini kullanarak tahmini regresyon doğrusunu bulunuz.
| \(X\) | \(1\) | \(2\) | \(3\) | \(4\) | \(5\) |
|---|---|---|---|---|---|
| \(Y\) | \(2\) | \(4\) | \(5\) | \(4\) | \(5\) |
Öncelikle ortalamaları bulalım (\(n = 5\)):
\[\bar{x} = \frac{1+2+3+4+5}{5} = 3, \qquad \bar{y} = \frac{2+4+5+4+5}{5} = 4\]
Tablomuzu oluşturalım:
| \(x_i\) | \(y_i\) | \(x_i - \bar{x}\) | \(y_i - \bar{y}\) | \((x_i - \bar{x})(y_i - \bar{y})\) | \((x_i - \bar{x})^2\) |
|---|---|---|---|---|---|
| \(1\) | \(2\) | \(-2\) | \(-2\) | \(4\) | \(4\) |
| \(2\) | \(4\) | \(-1\) | \(0\) | \(0\) | \(1\) |
| \(3\) | \(5\) | \(0\) | \(1\) | \(0\) | \(0\) |
| \(4\) | \(4\) | \(1\) | \(0\) | \(0\) | \(1\) |
| \(5\) | \(5\) | \(2\) | \(1\) | \(2\) | \(4\) |
| Toplam | \(\mathbf{6}\) | \(\mathbf{10}\) |
Formülleri uygulayalım:
\[\beta_1 = \frac{\sum (x_i - \bar{x})(y_i - \bar{y})}{\sum (x_i - \bar{x})^2} = \frac{6}{10} = 0{,}6\]
\[\beta_0 = \bar{y} - \beta_1 \bar{x} = 4 - (0{,}6 \cdot 3) = 4 - 1{,}8 = 2{,}2\]
Tahmini regresyon doğrusu:
\[\hat{Y} = 2{,}2 + 0{,}6X\]
\(\boxtimes\)
Örnek 3.2 Bir laboratuvar deneyinde elde edilen \(X\) ve \(Y\) verileri aşağıda verilmiştir. Gauss normal denklemlerini kullanarak regresyon doğrusunu bulunuz.
| \(X\) | \(-1\) | \(0\) | \(1\) | \(2\) | \(3\) | \(4\) | \(5\) | \(6\) |
|---|---|---|---|---|---|---|---|---|
| \(Y\) | \(10\) | \(9\) | \(7\) | \(5\) | \(4\) | \(3\) | \(0\) | \(-1\) |
Bu kez formülün diğer versiyonunu, yani Gauss denklemlerini doğrudan çözmeyi kullanalım. \(n = 8\) adet verimiz var; gerekli toplamları bulalım:
\[ \begin{aligned} \sum X_i &= (-1) + 0 + 1 + 2 + 3 + 4 + 5 + 6 = 20 \\ \sum Y_i &= 10 + 9 + 7 + 5 + 4 + 3 + 0 + (-1) = 37 \\ \sum X_i^2 &= 1 + 0 + 1 + 4 + 9 + 16 + 25 + 36 = 92 \\ \sum X_i Y_i &= -10 + 0 + 7 + 10 + 12 + 12 + 0 - 6 = 25 \end{aligned} \]
Normal denklemleri yazalım:
\[37 = 8\beta_0 + 20\beta_1 \tag{1}\] \[25 = 20\beta_0 + 92\beta_1 \tag{2}\]
Birinci denklemi \(-2{,}5\) ile çarpalım:
\[-92{,}5 = -20\beta_0 - 50\beta_1\]
İkinci denklemle taraf tarafa toplayalım:
\[25 - 92{,}5 = 42\beta_1 \implies -67{,}5 = 42\beta_1 \implies \beta_1 = -\frac{67{,}5}{42} = -\frac{45}{28} \approx -1{,}607\]
Bulduğumuz eğimi birinci denklemde yerine koyalım:
\[37 = 8\beta_0 + 20 \left(-\frac{45}{28}\right) \implies 8\beta_0 = 37 + \frac{900}{28} = \frac{1936}{28} \implies \beta_0 = \frac{121}{14} \approx 8{,}643\]
Sonuç:
\[\hat{Y} = 8{,}643 - 1{,}607 X\]
\(X\) değerleri artarken \(Y\) değerlerinin sürekli düştüğüne dikkat edin; bu yüzden eğimin negatif çıkması beklenen sonuçtur.
\(\boxtimes\)