Bài giảng 27: Giải bài toán bình phương tối thiểu

Chúng ta cần tìm nghiệm bình phương tối thiểu cho phương trình ma trận thừa nghiệm Ax=b. Ta viết $b=b_{proj_{Col(A)}}+(b-b_{proj_{Col(A)}}),$ trong đó $b_{proj_{Col(A)}$ là hình chiếu của b lên không gian cột của A. Vì $(b-b_{proj_{Col(A)}})$ trực giao với không gian cột của A, nó thuộc không gian null của A^T Nhân phương trình ma trận thừa nghiệm với A^T sẽ dẫn đến một hệ phương trình giải được, gọi là phương trình chuẩn của Ax=b, được cho bởi

$A^{T}Ax=A^{T}b.$

Một nghiệm duy nhất của phương trình ma trận này tồn tại khi các cột của A là độc lập tuyến tính.

Có một công thức thú vị cho ma trận chiếu b lên không gian cột của A. Nhân phương trình chuẩn bên trái với $A(A^{T}A)^{-1},$ ta được

$Ax=A(A^{T}A)^{-1}A^{T}b=b_{proj_{Col(A)}}.$

Lưu ý rằng ma trận chiếu $P=A(A^{T}A)^{-1}A^{T}$ thỏa mãn P²=P, nghĩa là hai phép chiếu tương đương với một. Nếu bản thân AAA là ma trận vuông khả nghịch, thì P=I và nằm trong không gian cột của A.

Ví dụ về áp dụng phương trình chuẩn: Xét bài toán bình phương tối thiểu đơn giản để tìm đường thẳng qua ba điểm dữ liệu (1,1), (2,3) và (3,2). Với đường thẳng được cho $y=\beta _{0}+\beta _{1}x$ , hệ phương trình thừa nghiệm được cho bởi

$\begin{pmatrix}1&1\\1&2\\1&3\\\end{pmatrix}\begin{pmatrix}\beta _{0}\\\beta _{1}\end{pmatrix}=\begin{pmatrix}1\\3\\2\end{pmatrix}.$

Nghiệm bình phương tối thiểu được xác định bằng cách giải

$\begin{pmatrix}1&1&1\\1&2&3\\\end{pmatrix}\begin{pmatrix}1&1\\1&2\\1&3\\\end{pmatrix}\begin{pmatrix}\beta _{0}\\\beta _{1}\end{pmatrix}=\begin{pmatrix}1&1&1\\1&2&3\\\end{pmatrix}\begin{pmatrix}1\\3\\2\end{pmatrix},$

hoặc

$\begin{pmatrix}3&6\\6&14\\\end{pmatrix}\begin{pmatrix}\beta _{0}\\\beta _{1}\end{pmatrix}=\begin{pmatrix}6\\3\end{pmatrix}.$

Ta có thể sử dụng phương pháp khử Gauss để xác định $\beta _{0}=1$ và $\beta _{1}=1/2$ và đường thẳng bình phương tối thiểu là y=1+x/2. Đồ thị dữ liệu và đường thẳng được hiển thị ở như sau.

Giải bài toán bình phương tối thiểu đơn giản

LUYỆN TẬP

Câu 1: Giả sử chúng ta có các điểm dữ liệu $(x_{n},y_{n})=(0,1),(1,3),(2,3)$ và $(3,4)$ . Bằng cách giải các phương trình chuẩn, hãy khớp dữ liệu với đường thẳng $y=\beta _{0}+\beta _{1}x$ .

LỜI GIẢI VÀ ĐÁP ÁN

Câu 1: Các phương trình chuẩn tắc được cho bởi

$\begin{pmatrix}1&1&1&1\\0&1&2&3\\\end{pmatrix}\begin{pmatrix}1&0\\1&1\\1&2\\1&3\\\end{pmatrix}\begin{pmatrix}\beta _{0}\\\beta _{1}\end{pmatrix}=\begin{pmatrix}1&1&1&1\\0&1&2&3\\\end{pmatrix}\begin{pmatrix}1\\3\\3\\4\end{pmatrix},$