Chương 3: Hồi quy bội
Mô hình hồi quy tuyến tính 3 biến.
Ước lượng các tham số.
Hệ số xác định của mô hình.
Phương sai của hệ số hồi quy.
Chương 3
HỒI QUY TUYẾN TÍNH
BỘI
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Hàm hồi quy tổng thể (PRF)
Yi = β1 + β2 X 2i + β3 X 3i +U i
Trong đó
•Y là biến phụ thuộc
•X2,X3 là các biến độc lập
•X2i, X3i là giá trị thực tế của X2, X3
•Ui là các sai số ngẫu nhiên
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Các giả thiết của mô hình
Giá trị trung bình của đại lượng ngẫu nhiêu Ui bằng
0
Phương sai của Ui không thay đổi
Không có sự tương quan giữa các Ui
Không có sự tương quan (cộng tuyến) giữa X2 và X3
Không có sự tương quan giữa các Ui và X2,X3
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Ước lượng các tham số
Chúng ta sử dụng phương pháp bình phương
nhỏ nhất OLS
PRF : Yi = β1 + β2 X 2i + β3 X 3i +U
Hàm hồi quy mẫu tương ứng sẽ là :
ˆ ˆ ˆ
SRF : Yi = β1 + β2 X 2i + β3 X 3i + ei
Hay: ˆ ˆ ˆ ˆ
Yi = β1 + β2 X 2i + β3 X 3i
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
ˆ ˆ ˆ ˆ
ei = Yi − Yi = Yi − β 1 − β 2 X 2i − β 3 X 3i
Theo nguyên lý của phương pháp OLS thì các tham số
β , β , β được chọn sao cho
ˆ ˆ
1 2
ˆ
3
∑ 2
i
ˆ (
e = ∑ Yi − β1 − β2 X 2i − β3 X 3i
ˆ ˆ ) 2
→ min
Như vậy , công thức tính của các tham số như sau :
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
Ký hiệu: yi = Yi − Y x3i = X 3i − X 3
x2 i = X 2 i − X 2
ˆ
β =
( ∑ y x )( ∑ x ) − ( ∑ x x )( ∑ y x )
i 2i
2
3i 2 i 3i i 3i
2
( ∑ x )( ∑ x ) − ( ∑ x x )
2
2i
2
3i 2 i 3i
2
ˆ
β =
( ∑ y x )( ∑ x ) − ( ∑ x x )( ∑ y x )
i 3i
2
2i 2 i 3i i 2i
3
( ∑ x )( ∑ x ) − ( ∑ x x )
2
2i
2
3i 2 i 3i
2
ˆ ˆ ˆ
β1 = Y − β 2 X 2 − β 3 X 3
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
Người ta chứng minh được
∑x = ∑ X − n( X 2 )
2 2 2
2i 2i
∑x = ∑ X − n( X 3 )
2 2 2
3i 3i
∑ y = ∑Y − n(Y )
2 2 2
i i
∑x x = ∑ X 2i X 3i − nX 2 X 3
2 i 3i
∑yx i 2i = ∑ Yi X 2i − nY X 2
∑yx i 3i = ∑ Yi X 3i − nY X 3
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
Ví dụ minh hoạ
Bảng dưới đây cho các số liệu về doanh số bán
(Y), chi phí chào hàng (X2) và chi phí quảng cáo
(X3) của một công ty
Hãy ước lượng hàm hồi quy tuyến tính của
doanh số bán theo chi phí chào hàng và chi phí
quảng cáo
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
Doanh số bán Yi (trđ) Chi phí chào hàng X2 Chi phí quảng cáo X3
1270 100 180
1490 106 248
1060 60 190
1626 160 240
1020 70 150
1800 170 260
1610 140 250
1280 120 160
1390 116 170
1440 120 230
1590 140 220
1380 150 150
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
Giải Từ số liệu trên, ta tính được các tổng như sau :
∑ Y = 16956 ∑ X = 188192
i
2
2i
∑ X = 1452 ∑ X X = 303608
2i 2i 3i
∑ X = 2448 ∑ X = 518504
3i
2
3i
∑ Y = 24549576
i
2
Y = 1413
∑ Y X = 3542360
i X = 121
3i 2
∑ Y X = 2128740
i X = 204
2i 3
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
∑y = ∑ Yi − n(Y ) = 590748
2 2 2
i
∑x = ∑ X − n( X 2 ) = 12500
2 2 2
2i 2i
∑x = ∑ X − n( X 3 ) = 19112
2 2 2
3i 3i
∑yx i 2 i = ∑ Yi X 2 i − nY X 2 = 77064
∑yx i 3i = ∑ Yi X 3i − nY X 3 = 83336
∑x x
2 i 3i = ∑ X 2 i X 3i − nX 2 X 3 = 7400
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
ˆ = 77064 ×19112 − 83336 × 7400 = 4,64951
β2
12500 ×19112 − ( 7400)
2
ˆ = 83336 ×12500 − 77064 × 7400 = 2,560152
β3
12500 ×19112 − ( 7400 )
2
ˆ
β1 = 1413 − 4,64951×121 − 2,560152 × 204 = 328,1383
Vậy
ˆ
Yi = 328,1383 + 4,64951X 2i + 2,560152 X 3i
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Hệ số xác định của mô hình
TSS =∑Yi − ) 2 =∑ i 2 −nY
( Y Y 2
ESS = β 2 ∑ yi x2i + β 3 ∑ yi x3i
ˆ ˆ
RSS = TSS − ESS
ESS
R =
2
TSS
I. MÔ HÌNH HỒI QUY TUYẾN TÍNH 3 BiẾN
1. Hệ số xác định của mô hình
Đối với mô hình hồi quy bội , người ta tính
R2 có hiệu chỉnh như sau :
n −1
R = 1 − (1 − R )
2 2
n−k
k là số tham số
trong mô hình
I. MÔ HÌNH HỒI QUY TUYẾN TÍNH 3 BiẾN
1. Hệ số xác định của mô hình
2
R có các đặc điểm sau :
Khi k>1 thì R ≤ R ≤1
2 2
2 có thể âm, và khi nó âm, coi như
R
bằng 0
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Hệ số xác định của mô hình
Ví dụ : Tính hệ số xác định của mô hình hồi quy
theo số liệu của ví dụ trước
TSS = ∑ (Yi − Y ) = ∑ Yi − nY
2 2 2
⇒ TSS = 590748
ESS = β2 ∑ yi x2i +β3 ∑ yi x3i
ˆ ˆ
= >ESS = 571662,67
RSS = TSS − ESS
= >RSS = 19085,33
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Hệ số xác định của mô hình
ESS 571662,67
R =
2
= = 0,9677
TSS 590478
n −1
R = 1 − (1 − R )
2 2
n−k
12 − 1
= 1 − (1 − 0,9677) = 0,9605
12 − 3
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Phương sai của hệ số hồi quy
Phương sai của các tham số hồi quy được tính theo các công thức sau:
1 X 22 ∑ x32i + X 32 ∑ x22i − 2 X 2 X 3 ∑ x2i x3i
σˆ βˆ = σˆ +
2 2
∑ x2i ∑ x3i − ( ∑ x2i x3i )
2
1
n
2 2
ˆ )= σ2
se( β1 ˆ βˆ
1
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Phương sai của hệ số hồi quy
σˆ 2
=σ
ˆ 2
∑ 2
x3i
∑ x2i ∑ x3i − ( ∑ x2i x3i )
ˆ
β2 2 2 2
ˆ )= σ2
se( β 2 ˆ βˆ
2
I. MÔ HÌNH HỐI QUY TUYẾN TÍNH 3 BiẾN
1. Phương sai của hệ số hồi quy
σ
ˆ 2
=σ
ˆ 2
∑ 2
x2 i
∑ x2i ∑ x3i − ( ∑ x2i x3i )
ˆ
β 2 2 2
3
ˆ )= σ2
se( β 3 ˆ βˆ
3
RSS
Với σ =
2
ˆ
n−3
