Bài giảng 12: Các phương pháp tính cho nghiệm bình phương tối thiểu

(Nếu công thức chưa load được hoặc mờ, các bạn ấn refresh để công thức hiện và rõ nét hơn nhé!)

Ví dụ dưới đây cho thấy cách tìm một nghiệm bình phương tối thiểu của $A\mathbf{x}=\mathbf{b}$ khi các cột của $A$ trực giao. Những ma trận như vậy thường xuất hiện trong các bài toán hồi quy tuyến tính, sẽ được thảo luận trong phần tiếp theo.

Ví dụ 4: Tìm một nghiệm bình phương tối thiểu của $A\mathbf{x}=\mathbf{b}$ cho

$A=\begin{bmatrix}1&-6\\1&-2\\1&1\\1&7\\\end{bmatrix},\quad\mathbf{b}=\begin{bmatrix}-1\\2\\1\\6\end{bmatrix}$

Giải: Vì các cột $\mathbf{a}_1$ và $\mathbf{a}_2$ của $A$ trực giao, nên phép chiếu trực giao của $\mathbf{b}$ lên $\text{Col}\,A$ được tính bởi

(5) $\begin{equation*}\mathbf{\hat{b}}=\frac{\mathbf{b\cdot a}_1}{\mathbf{a}_1\cdot\mathbf{a}_1}\mathbf{a}_1+\frac{\mathbf{b\cdot a}_2}{\mathbf{a}_2\cdot\mathbf{a}_2}\mathbf{a}_2=\frac{8}{4}\mathbf{a}_1+\frac{45}{90}\mathbf{a}_2\end{equation*}$

$=\begin{bmatrix}2\\2\\2\\2\end{bmatrix}+\begin{bmatrix}-3\\-1\\1/2\\7/2\end{bmatrix}=\begin{bmatrix}-1\\1\\5/2\\11/2\end{bmatrix}$

Bây giờ khi đã biết $\mathbf{\hat{b}}$ , ta có thể giải phương trình $A\mathbf{\hat{x}}=\mathbf{\hat{b}}$ . Tuy nhiên, điều này là hiển nhiên vì ta đã biết hệ số cần đặt trên các cột của $A$ để tạo ra $\mathbf{\hat{b}}$ . Từ (5), rõ ràng rằng

$\mathbf{\hat{x}}=\begin{bmatrix}8/4\\45/90\end{bmatrix}=\begin{bmatrix}2\\1/2\end{bmatrix}$

Trong một số trường hợp, các phương trình chuẩn của bài toán bình phương tối thiểu có thể bị điều kiện kém; nghĩa là, các lỗi nhỏ trong quá trình tính toán các phần tử của $A^T A$ đôi khi có thể gây ra sai số tương đối lớn trong nghiệm $\mathbf{\hat{x}}$ . Nếu các cột của $A$ độc lập tuyến tính, nghiệm bình phương tối thiểu có thể được tính một cách đáng tin cậy hơn thông qua phân rã QR của $A$ .

Định lý 15
Cho ma trận $A$ kích thước $m \times n$ với các cột độc lập tuyến tính, giả sử $A=QR$ là phân rã QR của $A$ như trong Định lý 12. Khi đó, với mỗi $\mathbf{b}\in\mathbb{R}^m$ , phương trình $A\mathbf{x}=\mathbf{b}$ có nghiệm bình phương tối thiểu duy nhất, được cho bởi:

(6) $\begin{equation*}\mathbf{\hat{x}}=R^{-1}Q^T\mathbf{b}\end{equation*}$

Chứng minh: Giả sử $\mathbf{\hat{x}}=R^{-1}Q^T\mathbf{b}$ . Khi đó:

$A\mathbf{\hat{x}}=Q R\mathbf{\hat{x}}=Q R R^{-1}Q^T\mathbf{b}=Q Q^T\mathbf{b}$

Theo định lý 12, các cột của $Q$ tạo thành một cơ sở trực chuẩn cho $\text{Col A}$ . Do đó, theo Định lý 10, $Q Q^T\mathbf{b}$ chính là hình chiếu trực giao $\mathbf{\hat{b}}$ của $\mathbf{b}$ lên $\text{Col A}$ . Vậy ta có $A\mathbf{\hat{x}}=\mathbf{\hat{b}}$ , điều này chứng tỏ rằng $\mathbf{\hat{x}}$ là một nghiệm bình phương tối thiểu của phương trình $A\mathbf{x}=\mathbf{b}$ . Tính duy nhất của $\mathbf{\hat{x}}$ suy ra từ định lý 14.

Ghi chú số học

Vì $R$ trong định lý 15 là ma trận tam giác trên, nên $\mathbf{\hat{x}}$ nên được tính như nghiệm chính xác của phương trình:

(7) $\begin{equation*}R\mathbf{x}=Q^T\mathbf{b}\end{equation*}$

Giải phương trình (7) bằng phép thế ngược hoặc phép biến đổi hàng sẽ nhanh hơn nhiều so với việc tính $R^{-1}$ và sử dụng công thức (6).

Ví dụ 5: Tìm nghiệm bình phương tối thiểu của phương trình $A\mathbf{x}=\mathbf{b}$ cho

$A=\begin{bmatrix}1&3&5\\1&1&0\\1&1&2\\1&3&3\\\end{bmatrix},\quad\mathbf{b}=\begin{bmatrix}3\\5\\7\\-3\end{bmatrix}$

Giải: Phân tích QR của $A$

$A=QR=\begin{bmatrix}1/2&1/2&1/2\\1/2&-1/2&-1/2\\1/2&-1/2&1/2\\1/2&1/2&-1/2\\\end{bmatrix}\begin{bmatrix}2&4&5\\0&2&3\\0&0&2\\\end{bmatrix}$

Khi đó:

$Q^T\mathbf{b}=\begin{bmatrix}1/2&1/2&1/2&1/2\\1/2&-1/2&-1/2&1/2\\1/2&-1/2&1/2&-1/2\\\end{bmatrix}\begin{bmatrix}3\\5\\7\\-3\end{bmatrix}=\begin{bmatrix}6\\-6\\4\end{bmatrix}$