Bài giảng 15: Hồi quy bội

(Nếu công thức chưa load được hoặc mờ, các bạn ấn refresh để công thức hiện và rõ nét hơn nhé!)

Giả sử một thí nghiệm liên quan đến hai biến độc lập – gọi là $u$ và $v$ – và một biến phụ thuộc $y$ . Một phương trình đơn giản để dự đoán $y$ từ $u$ và $v$ có dạng:

(4) $\begin{equation*}y=\beta_0+\beta_1 u+\beta_2 v\end{equation*}$

Một phương trình dự đoán tổng quát hơn có thể có dạng:

(5) $\begin{equation*}y=\beta_0+\beta_1 u+\beta_2 v+\beta_3 u^2+\beta_4 uv+\beta_5 v^2\end{equation*}$

Phương trình này được sử dụng trong địa chất để mô hình hóa bề mặt xói mòn, hõm băng tích, độ pH của đất và các đại lượng khác. Trong những trường hợp này, phương pháp bình phương tối thiểu được gọi là bề mặt xu hướng.

Cả phương trình (4) và (5) đều dẫn đến một mô hình tuyến tính vì chúng tuyến tính đối với các tham số chưa biết (mặc dù $u$ và $v$ có thể được nhân với nhau). Nhìn chung, một mô hình tuyến tính sẽ xuất hiện bất cứ khi nào $y$ được dự đoán bằng một phương trình có dạng:

$y=\beta_0 f_0(u,v)+\beta_1 f_1(u,v)+\dots+\beta_k f_k(u,v)$

trong đó $f_0,\dots,f_k$ là các hàm đã biết và $\beta_0,\dots,\beta_k$ là các hệ số chưa biết.

Ví dụ 5: Trong địa lý, các mô hình địa hình cục bộ được xây dựng từ dữ liệu $(u_1,v_1,y_1),\ldots,(u_n,v_n,y_n)$ , trong đó $u_j$ , $v_j$ và $y_j$ lần lượt là vĩ độ, kinh độ và độ cao. Hãy mô tả mô hình tuyến tính dựa trên phương trình (4) để đưa ra đường khớp bình phương tối thiểu với dữ liệu này. Nghiệm thu được được gọi là mặt phẳng bình phương tối thiểu. Xem Hình 7.

Hình 7: Một mặt phẳng bình phương tối thiểu

Giải: Ta kỳ vọng dữ liệu thoả mãn hệ phương trình sau:

$\begin{matrix}y_1=&\beta_0+\beta_1 u_1+\beta_2 v_1+\epsilon_1\\y_2=&\beta_0+\beta_1 u_2+\beta_2 v_2+\epsilon_2\\\vdots&\vdots\\y_n=&\beta_0+\beta_1 u_n+\beta_2 v_n+\epsilon_n\\\end{matrix}$

Hệ này có thể viết dưới dạng ma trận như sau:

$\mathbf{y}=X\beta+\epsilon$

Trong đó:

$\mathbf{y}=\begin{bmatrix}y_1\\y_2\\\vdots\\y_n\end{bmatrix},\quad X=\begin{bmatrix}1&u_1&v_1\\1&u_2&v_2\\\vdots&\vdots&\vdots\\1&u_n&v_n\end{bmatrix},\quad\beta=\begin{bmatrix}\beta_0\\\beta_1\\\beta_2\end{bmatrix},\quad\epsilon=\begin{bmatrix}\epsilon_1\\\epsilon_2\\\vdots\\\epsilon_n\end{bmatrix}$

Trong đó $\epsilon_j$ là sai số còn lại giữa giá trị thực tế $y_j$ và giá trị dự đoán.

Ví dụ 5 cho thấy rằng mô hình tuyến tính cho hồi quy bội có dạng trừu tượng giống hệt như mô hình cho hồi quy đơn trong các ví dụ trước. Đại số tuyến tính cung cấp cho chúng ta công cụ mạnh mẽ để hiểu nguyên lý tổng quát đằng sau tất cả các mô hình tuyến tính. Một khi ma trận $X$ được xác định đúng cách, thì hệ phương trình chuẩn cho vector tham số $\beta$ sẽ có cùng một dạng ma trận, bất kể có bao nhiêu biến độc lập liên quan. Do đó, với bất kỳ mô hình tuyến tính nào mà $X^TX$ khả nghịch, nghiệm bình phương tối thiểu $\hat{\beta}$ được cho bởi $\hat{\beta}=(X^TX)^{-1}X^T\mathbf{y}$ .

Để lại một bình luận Hủy

Chịu trách nhiệm nội dung

Bản quyền

Ý kiến bạn đọc

Bài giảng 15: Hồi quy bội

Lesson Attachments

Để lại một bình luận Hủy