İST203U-İSTATİSTİK
Ünite 8: Regresyon ve Korelasyon Çözümlemesi
Giriş
İki değişken arasındaki ilişkiyi tanımlamaya ve ölçmeye korelasyon analizi adı verilir. Bir veya birden çok değişkenin başka bir değişken üzerindeki ilişkisini açıklamaya regresyon analizi adı verilir.
Regresyon analizinde;
• Bağımlı ve • Bağımsız değişken olmak üzere iki farklı değişken tipi bulunmaktadır..
Bağımlı değişken, araştırmacının üzerinde çalıştığı değişken olup, bu değişken üzerinde meydana gelen değişimlerin ya da bu değişkenin toplam değişkenliğinin açıklanılmasına çalışılmaktadır.
Bağımsız değişken, ilgilenilen bağımlı değişkende meydana gelen değişim ya da toplam değişkenliğinin üzerinde etkisi olabileceği düşünülen değiken(ler)dir. Regresyon analizinde bir ya da daha çok bağımsız değişken olabilir. Bir tek açıklayıcı değişkenin bulunduğu durum basit doğrusal regresyon ve birden çok açıklayıcı değişkenin bulunduğu durum ise çoklu doğrusal regresyon olarak adlandırılır.
İlgilenilen iki değişken arasındaki ilişkinin derecesi için korelasyon analizi kullanılır. Korelasyon analizinin regresyon analizinden farklılık gösterdiği nokta, korelasyon analizinin değişkenler arasındaki ilişkinin yalnızca derecesini göstermesidir. İki değişken arasında yüksek korelasyon olması bu iki değişkenden birinin diğerinin nedeni olabileceğini göstermez.
Korelasyon Analizi
Korelasyon analizi iki değişken arasındaki ilişkinin tanımlanması ve ilişkinin derecesinin belirlenmesidir. İki değişken arasındaki ilişkiyi gözlemlemek için kullanılabilecek en basit yöntemlerden biri bu değişkenlerin dağılım grafiklerini çizmektir (S:228, Şekil 8.1).
İki değişken arasındaki ilişkinin derecesini belirlemek için grafiksel yaklaşım yeterli değildir. Bu amaçla ilişkinin derecesinin belirlenmesi için Pearson korelasyon katsayısı kullanılmaktadır.
Pearson Korelasyon Katsayısı: İki değişken arasındaki doğrusal ilişkinin derecesinin ifade eden korelasyon ρ katsayısı evrendeki x ve y değişkenleri için (ro), örneklemdeki x ve y için ise r ile gösterilir. -1 ile +1 arasında değerler alabilen Pearson korelasyon katsayısının, -1 veya +1 değerlerini alması tam ilişkinin varlığını gösterir.
Eksi değerler değişkenler arasında ters yönlü ilişkiyi gösterirken artı değerler aynı yönlü ilişkiyi ifade eder. Pearson korelasyon katsayısının 0 değerini alması ise değişkenler arasında doğrusal ilişkinin olmadığı anlamına gelir.
x ve y değişkenleri arasındaki Pearson korelasyon katsayısı;
n n n n ∑ i =1 x yi i −( ∑ i =1 xi )( ∑i=1yi) r= 2 2 n 2 n n 2 n n ∑ i =1 xi − ( ∑ i =1 xi ) n ∑ i =1 yi −( ∑i=1yi)
eşitliği yardımıyla hesaplanır.
Belirlilik Katsayısı: Bağımlı değişken y’nin bağımsız değişken x tarafından açıklanabilen oranının tespit edilmesi için kullanılır. Evrendeki x ve y değişkenleri için ρ 2 2 ile gösterilirken, örneklem için r ile gösterilir. Yani
örneklem için belirlilik katsayısı, Pearson korelasyon katsayısı olan r ’nin karesinin alınmasıyla hesaplanır.
Dolayısıyla belirlilik katsayısı da 0 ile 1 arasında değer alır.
Korelasyon Katsayısı Anlamlılık Testi: Örneklem için hesaplanan korelasyon katsayısı değerinden yararlanarak elde edilen kararın, evren için geçerli olup olmadığı korelasyon katsayısı anlamlılık testi yardımıyla yapılır. Bu test belirtilen adımlar ile gerçekleştirilir.
Adım 1: Hipotezlerin ifade edilmesi ρ = 0 H0: (x ve y arasında korelasyon yoktur.) ρ ≠ 0 H1: (x ve y arasında korelasyon vardır.)
Adım 2: Anlamlılık düzeyinin belirlenmesi Doğru olan sıfır hipotezinin (H0), örneklemden elde edilen bilgiye dayanarak reddedilme olasılığını belirleyen α ’nın
seçilmesidir. Bu değer sosyal bilim araştırmalarında genellikle %5 ya da % 1 olarak seçilmektedir.
Adım 3: İstatistiksel test Örneklemden korelasyon değeri yardımıyla;
r n−2 t = 2 1−r
istatistiği hesaplanarak, n-2 serbestlik derecesi ve belirlenen anlam düzeyine göre t dağılımı tablosundan tespit edilen kritik değer ile karşılaştırılır.
Adım 4: İstatistiksel kararın verilmesi Hesaplanan t’nin mutlak değeri, t tablosu ile belirlenen kritik değerden küçükse H0 kabul edilir, büyükse H0 reddedilir, H1 kabul edilir.
Basit Doğrusal Regresyon Analizi
x ve y değişkenleri kullanılarak elde edilen basit doğrusal regresyon modeli;
yi = α + β xi+ε
şeklinde ifade edilir. Bu modelde;
yi • : bağımlı değişken y’nin i’inci gözlem değerini,
xi • : bağımsız değişken x’in i’inci gözlem değerini, ε i σ • : i’inci gözlem için sıfır ortalamalı ve sabit standart sapmalı normal dağılıma sahip olduğu varsayılan rassal hatayı, α β • ve : tahminlenecek parametre değerlerini gösterir. • α , x değişkeni 0 değerini aldığında y’nin
alacağı değeri, β , • x’teki bir birimlik değişimin y’de meydana getirdiği oransal değişmeyi göstermektedir.
Uygulamada evren değerlerinin tamamına erişim mümkün olmadığından örneklem değerleri kullanılır ve örneklem değerleri kullanıldığında kurulan doğrusal regresyon modeli;
yi = a + bxi +ei
α β şeklindedir. Burada a ve b sırasıyla ve ’nın tahmin değerlerini göstermektedir.
Kurulan regresyon modelinin tahmin değerlerini elde etmek için en küçük kareler tekniği kullanılmıştır. Bu yi yˆi teknik ile gözlemlenen değerleri ile tahmin edilen ei = yi − yˆi değerleri arasındaki farkın (hata: ) karesi minimize edilerek a ve b tahmin değerlerine ulaşılır. Bu modelde b regresyon doğrusunun eğimini iken a ise doğrunun y eksenini kestiği noktadır.
α β En küçük kareler tekniği yardımıyla ve parametrelerinin tahmin değerleri aşağıdaki eşitlikler ile hesaplanır:
n ∑ x yi i −∑ ∑xi yi b= 2 n x 2− x ∑ i ( ∑ i)
a = y −bx
Tahminlenen doğrusal regresyon denklemi;
yˆi = a +bxi
şeklinde yazılır.
Basit doğrusal regresyon analizinde elde edilen sonuçların geçerli olması için aşağıda ifade edilen varsayımların sağlanması gerekir.
• ε , x’ten istatistiksel olarak bağımsız olmalıdır.
• ε , normal dağılıma sahip olmalıdır.
• ε değişkeninin aritmetik ortalaması sıfır
olmalıdır.
ε i ε j • ve birbirinden farklı herhangi iki hata değeri olmak üzere, bu değerler istatistiksel olarak bağımsız olmalıdır.
ε i xi • değişkenleri ’lerin tüm değerleri için sabit varyansa sahiptir.
yi Tahminin Standart Hatası: Regresyon analizinde ile y y’lerin ortalaması, , arasındaki fark toplam değişimi ifade eder. Bu toplam değişim miktarı, açıklanabilen değişim ile açıklanamayan değişimin toplamı olarak da yˆî −y ifade edilebilir. Burada açıklanabilen değişim ifadesi olup regresyon doğrusu tarafından açıklanan kısım ei = yi − yˆi iken, açıklanamayan değişim ise olarak ifade edilir ve bu eşitlik i’inci gözlemin hata terimidir. Genel olarak,
Toplam değişim = Açıklanamayan değişim + Açıklanan değişim;
( yi − y ) = ( yi − yˆ i ) + ( yˆi −y)
şeklinde ifade edilebilir (S:237, Şekil 8.6).
Toplam değişim eşitliğinden yararlanarak sapmaların kareleri toplamı;
n 2 n 2 n 2 ∑ ( yi − y ) = ∑ ( yi − yˆ i ) + ∑( yˆi −y) i =1 i =1 i=1
eşitliği yardımıyla elde edilir. Bu eşitliğin sol tarafı genel kareler toplamı (GKT), sağ tarafındaki ilk toplam ifadesi açıklanamayan değişkenlik yani hata kareler toplamı (HKT) ve sağ tarafındaki ikinci toplam ifadesi ise regresyon doğrusu tarafından açıklanabilen değişkenlik yani regresyon kareler toplamı (RKT) olarak adlandırılır. Toplam değişkenlik kısaca;
GKT = HKT + RKT
olarak da ifade edilebilir.
Tahminin standart hatası hata kareler toplamının serbestlik derecesi n-2’ye bölünmesi ile aşağıdaki gibi elde edilir:
n 2 n ∑( ei) 1 2 i=1 se = ∑( yi − yˆi) = n − 2 i=1 n−2
Hataların normal dağıldığı varsayımından yararlanarak bu değer yorumlanabilir. Eğer aynı veri seti için iki adet regresyon doğrusu elde edilmişse bunlardan standart hatası daha küçük olan tercih edilmelidir.
yi Örneklem Regresyon Doğrusunun Anlamlılık Testi: değerlerini tahmin ederken modelde kullanılan x bağımsız değişkeninin, bağımlı değişkenin açıklanmasında gerçekten katkısının olup olmadığı örneklem regresyon doğrusunun anlamlılık testi yardımıyla araştırılır. Bu β amaçta modelde bağımsız değişkenin katsayısı olan için hipotez testi aşağıda ifade edildiği gibi çift yönlü olarak kurulur.
β H0: = 0 (Regresyon doğrusu anlamlı değildir.)
β ≠0 H1: ( Regresyon doğrusu anlamlıdır.)
β Test için t testi kullanılır. Bu amaçla ’nın tahmin değeri olan b regresyon katsayısının standart hatası;
1 sb = se n 2 ∑i=1( xi −x)
eşitliği aracılığıyla hesaplanır. Sıfır hipotezinin (H0) testi için kullanılacak t istatistiği;
b t = sb
şeklinde hesaplanır. Elde edilen bu t istatistiği n-2 serbestlik derecesi ile belirlenen anlam düzeyine göre tablodan tespit edilen kritik değer ile karşılaştırılır. t istatistiği tablo kritik değerinden büyükse sıfır hipotezi β (H0) reddedilir. Yani ’nın tahmin değeri olan b regresyon katsayısı istatistiksel olarak anlamlıdır ve elde edilen regresyon modeli kullanılabilir. t istatistiği tablo kritik değerinden küçükse sıfır hipotezi kabul edilir, yani kurulan regresyon modeli kullanılamaz.
β Kurulan evren regresyon modelinin eğimi olan için güven aralığı aşağıdaki şekilde ifade edilir:
⎧⎪ ⎫⎪ ⎨b − t ⎛ α ⎞ sb ≤ β ≤ b + t ⎛ α ⎞sb⎬= 1−α ⎪ ⎜ 2 , n − 2 ⎟ ⎜ 2, n−2⎟ ⎪ ⎩ ⎝ ⎠ ⎝ ⎠ ⎭
şeklinde ifade edilir.