A Comparison of Different Ridge Parameters under Both Multicollinearity and Heteroscedasticity

Abstract

One of the major problems in fitting an appropriate linear regression model is multicollinearity which occurs when regressors are highly correlated. To overcome this problem, ridge regression estimator which is an alternative method to the ordinary least squares (OLS) estimator, has been used. Heteroscedasticity, which violates the assumption of constant variances, is another major problem in regression estimation. To solve this violation problem, weighted least squares estimation is used to fit a more robust linear regression equation. However, when there is both multicollinearity and heteroscedasticity problem, weighted ridge regression estimation should be employed. Ridge regression depends on the ridge parameter which does not have an explicit form of calculation. There are various ridge parameters proposed in the literature. A simulation study was conducted to compare the performances of these ridge parameters for both multicollinear and heteroscedastic data. The following factors were varied: the number of regressors, sample sizes and degrees of multicollinearity. The performances of the parameters were compared using mean square error. The study also shows that when the data are both heteroscedastic and multicollinear, the estimation performances of the ridge parameters differs from the case for only multicollinear data.

Uygun bir doğrusal regresyon modeli tahmin edilmesi sırasında karşılaşılan ana problemlerden biri bağımsız değişkenler yüksek korelasyona sahip olduğu zaman ortaya çıkan çoklu doğrusallıktır. Bu sorunun giderilmesi için sıradan en küçük karelere bir alternatif yöntem olarak tanıtılan ridge regresyon tahmincisi kullanılmaktadır. Sabit varyanslar varsayımını bozan değişen varyans durumu, regresyon tahmininde diğer ana sorunlardan biridir. Daha sağlam bir doğrusal regresyon eşitliği tahmin edebilmek için bu bozulma sorununa çözüm olarak ağırlıklı en küçük kareler tahmini kullanılır. Ancak, hem çoklu doğrusallık hem de değişen varyans sorunu mevcut olduğunda, ağırlıklı ridge regresyon tahminine başvurulmalıdır. Ridge regresyon, kesin bir hesaplama formülü bulunmayan ridge parametresine bağlıdır. Literatürde önerilen bir çok ridge parametresi bulunmaktadır. Hem çoklu doğrusallık hem de değişen varyans içeren veri için bu ridge parametrelerinin performanslarını analiz etmeye yönelik bir simülasyon çalışması düzenlenmiştir. Farklı örnek hacimleri, farklı bağımsız değişken sayıları ve farklı çoklu doğrusallık dereceleri kullanılmıştır. Ridge parametrelerinin performansları ortalama hata kareleri değerleri göz önüne alınarak karşılaştırılmıştır. Çalışma aynı zamanda, verinin hem çoklu doğrusallık hem de değişen varyansa sahip olduğu durumda, ridge parametrelerinin performanslarının, verinin sadece çoklu doğrusallığa sahip olduğu durumdakinden farklı olduğunu göstermiştir.