İST202U-İSTATİSTİK II
Ünite 5: Regresyon ve Korelasyon Analizi
Regresyon Analizi
Regresyon analizinde iki veya daha fazla değişken arasındaki ilişkinin hangi matematiksel modelle ifade edileceği araştırılır. Sözü edilen iki değişken arasındaki ilişki genellikle neden-sonuç ilişkisi biçiminde ortaya çıkar:
• Gelir-Harcama, • Yaş-Boy ikilileri arasında neden-sonuç ilişkisi bulunmaktadır.
Bu değişkenlerden sonuç durumundaki değişken bağımlı değişken, neden durumundaki değişken ise bağımsız değişken olarak isimlendirilir. Regresyon analizinde bağımlı değişken üzerinde oluşan değişimlerin açıklanmasına çalışılır.
Örneğin; yukarıdaki örnekte bir bireyin “harcaması” bağımlı değişken olarak ele alınmıştır. Bağımsız değişken ise neden durumunda olan “gelir” değişkenidir. Genellikle bağımlı değişken Y sembolüyle, bağımsız değişken ise X ile ifade edilir. Değişkenler arasındaki ilişkiyi göstermenin ilk yolu grafik yöntemidir. X ve Y gözlem ikilileri bir grafik üzerinde birer nokta halinde gösterilir. İşaretlenen bu noktaların oluşturduğu şekil serpilme diyagramı olarak isimlendirilir (S:124, Şekil 5.1).
Basit Doğrusal Regresyon: Regresyon analizinde bağımsız değişken sayısı bir olması durumunda basit regresyon analizi, birden fazla bağımsız değişken olması durumunda ise çoklu regresyon analizi söz konusu olmaktadır. Basit doğrusal regresyon modeli,
𝒀𝒊 = 𝜶 + 𝜷𝑿𝒊 + 𝝐𝒊 𝒊 = 𝟏, 𝟐, … , 𝑵
şeklinde stokastik (olasılıklı) bir modeldir. Bu modelde:
𝑌!: Bağımlı değişkenin i.gözlemlenen değerini,
𝑋!: Bağımsız değişkenin i.gözlemlenen değerini,
𝜀!: Hata terimini,
𝛼: Bilinmeyen sabit parametre,
𝛽: Bilinmeyen regresyon parametresini gösterir.
α, doğrusal modelin sabit terimidir ve X=0 olduğunda regresyon doğrusunun dikey eksen Y’yi kestiği noktayı göstermektedir. β ise doğrusal modelin eğimini vermektedir ve regresyon analizinde bağımsız değişken X’deki bir birimlik değişmenin, bağımlı değişken Y’de ne kadarlık bir değişmeye yol açacağını gösteren regresyon parametresidir. Bu parametreler şu formüllerle hesaplanır:
𝑥!𝑦! 𝛽 = ! 𝑥!
𝛼 = 𝑌 − 𝛽 𝑋
Bu formüllere En Küçük Kareler (EKK) Yöntemi yardımıyla ulaşılır. Bu yöntemin temeli hata terimlerinin minimizasyonu üzerine kuruludur.
𝑒! = 𝑌! − 𝑌! şeklinde hesaplanan hata terimleri pozitif, negatif ya da sıfır değerlerine sahip olurken, bu farkların cebirsel toplamı sıfıra eşittir.
! !
𝑒! = (𝑌! − 𝑌!)= 0 !!! !!!
EKK yönteminin esası 𝛼 ve 𝛽’nın tahminleri olan a ve b’yi söz konusu farkların kareleri toplamını minimum yani
! ! 𝑒!= (𝑌 − 𝑌)!= 𝑚𝑖𝑛 ! ! ! !!! !!!
olacak şekilde belirlemektir. α ve β’nın EKK tahminleri, yukarıdaki en küçük kareler yöntemi için,
! ! (𝑌 − 𝑌)!= (𝑌 − 𝑎 − 𝑏𝑋)! ! ! ! ! !!! !!!
ifadesinin a ve b’ye göre türevlerini alıp sıfıra eşitlerse
! 𝜕𝑒 = −2 𝑌! − 𝑎 − 𝑏𝑋! = 0 𝜕𝑎 !!! ! 𝜕𝑒 = −2 𝑌! − 𝑎 − 𝑏𝑋! = 0 𝜕𝑏 !!!
bulunur. Elde edilen bu iki eşitlikten;
𝑌! = 𝑎𝑛 + 𝑏 𝑋!
𝑋𝑌 = 𝑎 𝑋 + 𝑏 𝑋! ! ! ! !
denklemleri bulunur.
Bu denklemler normal denklemler olarak isimlendirilir. Bu denklemler yardımıyla parametreler tahminlenebilir.
Varyansın ( 𝝈𝟐 ) Tahmini: Basit doğrusal regresyon
modelinde α ve β’nın tahminlerine ek olarak aralık tahminlerinde ve hipotez testlerinde hata kareler ortalamasının (𝝈𝟐) tahminine gereksinim vardır.
Hata kareler ortalamasının kare kökü ise regresyon denkleminin standart hatası elde edilir. Standart hata şu formülle hesaplanır:
! 𝑌! − 𝑌 𝜎 = 𝑛 − 2
Basit Doğrusal Regresyonda Aralık Tahmini: İstatistiksel çıkarsamalarda yapılan tahminlerin gerçek değerlerle genellenmesi aralık tahminleriyle yapılır.
Regresyon çözümlemesi, örneklem verileriyle yapıldığından elde edilen α ve β’lerin anakütle parametreleri α ve β’ya ilişkin aralık tahminlerinde kullanılması söz konusudur.
α için güven aralığı;
𝑃 𝑎 − 𝑡!𝑠! ≤ 𝛼 ≤ 𝑎 + 𝑡!𝑠! = 1 − 𝛼
şeklinde verilir.
𝑠!, a’nın standart hatasıdır ve şu formülle hesaplanır:
𝟐 𝟏 𝑿 𝒔𝒂 = 𝝈 + 𝟐 𝒏 𝑿 − 𝑿 𝒊
β için güven aralığı;
𝑃 𝑏 − 𝑡!𝑠! ≤ 𝛽 ≤ 𝑏 + 𝑡!𝑠! = 1 − 𝛼
şeklinde verilir. 𝑠!, b’nin standart hatasıdır ve şu formülle hesaplanır:
𝜎 𝑠! = ! 𝑋! − 𝑋
Regresyon Katsayısının Anlamlılık Testi: Basit doğrusal regresyon modelindeki regresyon katsayısına ilişkin yapılan test, regresyon doğrusunun anlamlılığını da test etmektedir. Öyle ki,
H0 : β=0
H1 : β ≠0 hipotezleri;
𝑏 𝑡! = 𝑠!
istatistiğinden yararlanılarak test edilir. α anlam düzeyinde n-2 serbestlik derecesinde t tablosundan bulunan değer, hesaplanan t test istatistiğinden büyükse H0: β=0 hipotezi kabul edilir ve regresyon doğrusu anlamlı değildir.
Diğer bir ifadeyle Y’deki değişimler X’deki değişmelerden kaynaklanmamaktadır (X ve Y arasında doğrusal bir ilişki yoktur). t istatistiğinin değeri t tablo değerinden büyükse H0 reddedilir, yani regresyon doğrusu anlamlıdır. Elde edilen doğrusal regresyon modeli amaca uygun olarak kullanılabilir.
Korelasyon Analizi
Regresyon analizi başlığı altında biri açıklayıcı diğeri açıklanan olmak üzere iki değişken arasındaki doğrusal ilişkiye ait denklem üzerinde yoğunlaşılmıştır. Korelasyon analizinde ise iki değişken arasındaki doğrusal ilişkinin derecesi incelenecektir.
Basit Doğrusal Korelasyon Katsayısı: İki nicel değişken arasındaki ilişkinin derecesini ve yönünü belirlemek için r ile gösterilen Pearson korelasyon katsayısı veya basit korelasyon katsayısı hesaplanır.
Bu katsayı, -1≤ r ≤1 aralığında değer alır. Pozitif korelasyon katsayısı değişkenlerden birinin değeri arttığında diğerinin de değerinin arttığını; negatif korelasyon katsayısı ise değişkenlerden birinin değeri artarken diğerinin değerinin azaldığını belirtir.
X ve Y gibi iki değişken arasındaki basit doğrusal korelasyon katsayısı şu formül yardımıyla hesaplanabilir:
𝑋! − 𝑋 𝑌! − 𝑌 𝑟 = 𝑋 − 𝑋 𝟐 𝑌 − 𝑌 𝟐 ! !
Pearson korelasyon katsayısının ilişki yön ve dereceleri şu şekildedir:
• 𝑟 = −1 olduğunda tam mükemmel negatif yönlü ilişki • 𝑟 = 0 olduğunda korelasyon yok • 𝑟 = 1 olduğunda tam mükemmel pozitif yönlü ilişki
vardır denilir.
Belirlilik Katsayısı: Değişkenler arasındaki ilişkinin derecesi korelasyon katsayısı yardımıyla belirlenirken bu katsayının değerine bağlı olarak zayıf, orta ve güçlü ilişki gibi nitelemeler söz konusu olur. Bağımlı değişkende meydana gelen değişmelerin ne kadarının bağımsız değişkendeki değişmelerle açıklanabileceğini belirlemek amacıyla belirlilik katsayısı kullanılır. Belirlilik katsayısı Pearson korelasyon katsayısı r’nin karesinin alınması ile hesaplanır ve 0 ile 1 arasında değerler alır, r2 sembolü ile
gösterilir.
0 ≤ r2 ≤ 1
r2= 1 ise Y’deki değişimin %100’ünün X bağımsız değişkeni tarafından açıklanabildiği kabul edilir. r2= 0 ise
X bağımsız değişkeni, Y bağımlı değişkenini hiç açıklayamıyor demektir.
Korelasyon Katsayısı Anlamlılık Testi: Evren korelasyon katsayısı ρ (ro) ile sembolize edilir. Evren korelasyon katsayısı ρ=0 olan bir ana kütleden seçilen örneklemlerin r katsayıları normal dağılıma sahiptir.
Bu nedenle;
H0: ρ= 0
H1: ρ ≠ 0 hipotezleri test edilir.
Hipotezlerin kurulmasının ardından örneklem korelasyon katsayısı yardımıyla
𝑟 𝑛 − 2 𝑡 = 1 − 𝑟!
istatistiği hesaplanır.
Daha sonra belirlenen anlam düzeyi ve n-2 serbestlik derecesine göre t tablosundan kritik değer belirlenir. Belirlenen bu kritik değer yardımıyla aralığı tanımlanır. Hesaplanan t değeri, söz konusu bu aralıkta yer aldığında H0 hipotezi kabul, bu aralıkta yer almadığında ise reddedilir. H0’ın reddedilmesinin anlamı hesaplanmış korelasyon katsayısının istatistiksel olarak anlamlı olduğudur.