Bài giảng Hồi quy đa biến: Kiểm định giả thuyết và lựa chọn mô hình

11/29/2012 
1 
HỒI QUY ĐA BIẾN: 
KIỂM ĐỊNH GIẢ THUYẾT VÀ LỰA CHỌN MÔ HÌNH 
GV : Đinh Công Khải – FETP 
Môn: Các Phương Pháp Định Lượng – MPP5 
Giả thiết về qui luật chuẩn 
 Giả thiết ui ~ N(0, σ
2) 
 Các tính chất của ước lượng OLS trong hồi qui đa biến theo giả thiết phân 
phối chuẩn 
 Ước lượng trong hàm hồi qui với 2 biến độc lập 
 Yi = β1 + β2 X2i+ β3 X3i+ ui 
),(~ˆ 2ˆ
k
kk N 
3
ˆ
ˆ
 - 
 )ˆvar(
 - 
 )ˆvar(
2
2
2
32i
2
3i
2
2
2
2i
3
2
2
32i
2
3i
2
2
2
3i
2





n
u
xxxx
x
xxxx
x
i
ii
ii



2
ˆ
k

11/29/2012 
2 
Kiểm định hệ số hồi qui riêng 
 Phương pháp kiểm định ý nghĩa: Kiểm định t 
 Kiểm định 2 phía 
 H0: βk = a 
 Ha: βk ≠ a 
Trị kiểm định thống kê 
k
s
t kk


ˆ
ˆ 
Kiểm định hệ số hồi qui riêng 
 Qui tắc bác bỏ 
 Bác bỏ nếu |t| > tα/2 với t α/2 dựa trên phân phối t với bậc tự do là (n-K) 
 Hoặc pvalue < α. 
 Kiểm định 1 phía 
 H0: βk ≥ a H0: βk ≤ a 
 Ha: βk a 
 Qui tắc bác bỏ 
 Bác bỏ nếu t tα 
 Hoặc pvalue < α pvalue < α 
11/29/2012 
3 
Kiểm định hệ số hồi qui riêng 
 Phương pháp kiểm định dựa trên khoảng tin cậy (1-α)100% 
 Qui tắc bác bỏ 
 Bác bỏ H0 nếu 0 không nằm trong khoảng tin cậy (1-α)100% của βk 
k
stk   ˆ2/
ˆ 
Kiểm định ý nghĩa thống kê của các hệ số hồi qui 
 Phương pháp kiểm định ý nghĩa: Kiểm định F (Kiểm định Wald) 
 Giả thuyết 
 H0: β2 = β3 = .. = βK = 0 
 Ha: Ít nhất có một tham số βk khác 0 
 Trị kiểm định F: 
 Qui tắc bác bỏ: Bác bỏ H0 nếu F ≥ F (K-1, n-K,α) hoặc pvalue ≤ α 
),,1(~
)/(
)1/(
 KnKF
KnRSS
KESS
MSR
MSE
F 
11/29/2012 
4 
Kiểm định ý nghĩa thống kê của các hệ số hồi qui 
 Mối quan hệ giữa R2 và F 
 Khi R2 càng lớn thì F càng lớn. 
 Kiểm định F là thước đo ý nghĩa chung của mô hình hồi qui và cũng là kiểm 
định ý nghĩa của R2. 
 Kiểm định H0: β2 = β3 = .. = βK = 0 tương đương kiểm định H0 : R
2 = 0 
)/()1(
)1/(
2
2
KnR
KR
F
Lựa chọn mô hình 
 Phương pháp “từ tổng quát đến đơn giản” (Hendry/LSE) 
 Sử dụng các kiểm định để loại bỏ biến 
 Kiểm tra xem dấu của các hệ số hồi qui ước lượng có đúng kỳ vọng không 
 Sử dụng kiểm định t và kiểm định Wald 
 Sử dụng R2 điều chỉnh 
11/29/2012 
5 
Lựa chọn mô hình 
 Phương pháp “từ đơn giản đến tổng quát” 
 Liệu đưa thêm 1 hay nhiều biến giải thích có làm tăng mức ý nghĩa chung 
của mô hình hay không? 
 Giả sử chúng ta có một mô hình với m biến (mô hình cũ) 
 (R): Yi = β1 + β2 X2i++ βm Xmi+ ui 
 Sau đó chúng ta bổ sung thêm (K – m) biến giải thích (mô hình mới) 
 (U): Yi = β1 + β2 X2i++ βm Xmi+ βm+1 Xm+1++ βK XKi + vi 
Lựa chọn mô hình 
 Dùng kiểm định Wald 
 H0: βm+1 = βm+2 = .. = βK = 0 
 Ha: Ít nhất có một tham số βk ở trên khác 0 
 Trị kiểm định 
 Qui luật bác bỏ H0: F > F(α, K-m, n-K) hoặc pvalue < α bổ sung các 
biến vào mô hình làm tăng một cách ý nghĩa ESS và R2. 
)/()1(
)/()(
)/(
)/(][
2
22
KnR
mKRR
KnRSS
mKESSESS
F
U
RU
U
RU
11/29/2012 
6 
Lựa chọn mô hình 
 Kiểm định nhân tử Lagrance 
 (R): Yi = β1 + β2 X2i++ βm Xmi+ ui 
 (U): Yi = β1 + β2 X2i++ βm Xmi+ βm+1 Xm+1++ βK XKi + vi 
 Kiểm định giả thuyết 
 H0: βm+1 = βm+2 = .. = βK = 0 
 Ha: Ít nhất có một tham số βk ở trên khác 0 
Lựa chọn mô hình 
 Bước 1: Ước lượng mô hình (R) 
 Bước 2: Tính phần dư, 
 Bước 3: Ước lượng mô hình 
 (*) 
 Buớc 4: Với mẫu lớn, nR2 (R2 từ *) sẽ có phân phối Chi-square với tự do bậc 
bằng với số biến bị giới hạn (K-m). 
 Nếu nR2 > χ2 (df=K-m) bác bỏ giả thuyết H0. 
Ruˆ
iKKmmmmRi XXXXu  .......ˆ 11221
11/29/2012 
7 
Lựa chọn dạng hàm hồi qui (phép thử MWD) 
 Các giả thuyết 
 H0: Yi = β1 + β2 X2i++ βK XKi+ ui là mô hình đúng (1) 
 Ha: lnYi = β1 + β2 lnX2i++ βK lnXKi+ vi là mô hình đúng (2) 
 Quy trình kiểm định 
 Ước lượng mô hình tuyến tính (1); tính ; tính 
 Ước lượng mô hình tuyến tính logarit (2) và tính 
 Tạo biến mới 
 Hồi qui Y theo Xs và Z1, bác bỏ H0 nếu hệ số hồi qui của Z1 có ý nghĩa thống kê 
theo kiểm định t thông thường. 
Yˆ
Ynˆl
Yˆln
)nˆlˆ(ln1 YYZ 
Lựa chọn dạng hàm hồi qui (phép thử MWD) 
 Tạo biến mới 
 Hồi qui lnY theo lnXs và Z2, bác bỏ Ha nếu hệ số hồi qui của Z2 có ý nghĩa 
thống kê theo kiểm định t thông thường. 
)ˆnˆllog(2 YYofantiZ 
11/29/2012 
8 
Các tiêu chuẩn chọn mô hình khác 
 Kiểm định AIC (Akaike Info Criterion) 
 Mô hình nào có giá trị của tiêu chuẩn này thấp hơn sẽ được chọn 
 Thích hợp trong phân tích chuỗi thời gian 
 Kiểm định Schwarz 
 Mô hình nào có giá trị của tiêu chuẩn này thấp hơn sẽ được chọn 
 Thích hợp đối với những mô hình đơn giản 
nke
n
RSS /2)(
nkn
n
RSS /)(
Các tiêu chuẩn chọn mô hình khác 
 Kiểm định Hannan – Quinn (HQ Criterion) 
 Mô hình nào có giá trị của tiêu chuẩn này thấp hơn sẽ được chọn 
nkn
n
RSS /2))(ln(