Bài giảng 26: Bài toán bình phương tối thiểu

Giả sử có một số dữ liệu thực nghiệm mà bạn muốn khớp với một đường thẳng. Đây được gọi là bài toán hồi quy tuyến tính (linear regression problem), và một ví dụ minh họa được đưa ra dưới đây.

Trong trường hợp tổng quát, giả sử dữ liệu bao gồm tập hợp nnn điểm được cho bởi $(x_{1},y_{1}),(x_{2},y_{2}),\cdots(x_{n},y_{n}).$ Ở đây, ta giả định rằng các giá trị x là chính xác, và các giá trị y bị nhiễu. Ta cũng giả định rằng đường thẳng khớp tốt nhất với dữ liệu có dạng $y_{1}=\beta _{0}+\beta _{1}xx.$ Mặc dù ta biết rằng đường thẳng này sẽ không đi qua tất cả các điểm dữ liệu, ta vẫn có thể viết ra các phương trình như thể nó đi qua tất cả các điểm. Ta có

$y_{1}=\beta _{0}+\beta _{1}x_{1},\quad y_{2}=\beta _{0}+\beta _{1}x_{2},\quad...,\quad y_{n}=\beta _{0}+\beta _{1}x_{n}.$

Những phương trình này tạo thành một hệ gồm n phương trình với hai ẩn $\beta _{0}$ v $\beta _{1}.$ Phương trình ma trận tương ứng được viết dưới dạng

$\begin{pmatrix}1&x_{1}\\1&x_{2}\\\vdots&\vdots\\1&x_{n}\\\end{pmatrix}\begin{pmatrix}\beta _{0}\\\beta _{1}\end{pmatrix}=\begin{pmatrix}y_{1}\\y_{2}\\\vdots\\y_{n}\end{pmatrix}.$

Đây là một hệ phương trình quá định (overdetermined system), nghĩa là không có nghiệm. Bài toán bình phương tối thiểu là tìm nghiệm tốt nhất cho hệ này.

Ta có thể tổng quát hóa bài toán này như sau. Giả sử ta được cho một phương trình ma trận Ax=b, nhưng phương trình này không có nghiệm vì b không nằm trong không gian cột (column space) của A. Thay vào đó, ta giải $Ax=b_{proj_{Col(A)}},$ với $b_{proj_{Col(A)}}$ là hình chiếu của b lên không gian cột của A. Nghiệm tìm được khi đó được gọi là nghiệm bình phương tối thiểu (least-squares solution) của x.

LUYỆN TẬP

Câu 1: Giả sử ta có các điểm dữ liệu $(x_{1},y_{1})=(0,1),(1,3),(2,3)$ và $(3,4)$ . Nếu dữ liệu này được khớp với đường thẳng $y=\beta _{0}+\beta _{1}x$ , hãy viết phương trình ma trận quá định cho tập phương trình $y_{i}=\beta _{0}+\beta _{1}x_{i}.$