Bài giảng 20: Ứng dụng của Không Gian Tích Trong

Bình phương tối thiểu có trọng số

Giả sử $\mathbf{y}$ là một vectơ gồm nn quan sát, $y_1,\dots,y_n$ , và ta muốn xấp xỉ $\mathbf{y}$ bằng một vectơ $\hat{\mathbf{y}}$ thuộc về một không gian con xác định nào đó của $\mathbb{R}^n$ . (Trong phần trước, $\hat{\mathbf{y}}$ được viết dưới dạng $A\mathbf{x}$ , sao cho $\hat{\mathbf{y}}$ nằm trong không gian cột của $A$ .) Gọi các phần tử trong $\hat{\mathbf{y}}$ là $\hat{y}_1,\dots,\hat{y}_n$ . Khi đó, tổng bình phương sai số SS(E) khi xấp xỉ $\mathbf{y}$ bởi $\hat{\mathbf{y}}$ là:

(1) $\begin{equation*}\text{SS(E)}=(y_1-\hat{y}_1)^2+\cdots+(y_n-\hat{y}_n)^2\end{equation*}$

Điều này đơn giản là $\|\mathbf{y}-\hat{\mathbf{y}}\|^2$ , sử dụng độ dài chuẩn trong $\mathbb{R}^n$ .

Giờ giả sử các phép đo tạo nên các phần tử trong $\mathbf{y}$ không đáng tin cậy như nhau. Các phần tử trong $\mathbf{y}$ có thể được tính toán từ các mẫu đo lường khác nhau, với kích thước mẫu không đồng đều. Khi đó, việc gán trọng số cho sai số bình phương trong (1) trở nên phù hợp hơn, theo cách mà những phép đo đáng tin cậy hơn được gán trọng số cao hơn. Nếu các trọng số được ký hiệu là $w_1^2,\dots,w_n^2$ , thì tổng bình phương sai số có trọng số là:

(2) $\begin{equation*}\text{Weighted SS(E)}=w_1^2(y_1-\hat{y}_1)^2+\cdots+w_n^2(y_n-\hat{y}_n)^2\end{equation*}$

Đây là bình phương độ dài của $\mathbf{y}-\hat{\mathbf{y}}$ , trong đó độ dài được xác định từ một tích vô hướng, cụ thể

$\langle\mathbf{x},\mathbf{y}\rangle=w_1^2 x_1 y_1+\cdots+w_n^2 x_n y_n$

Đôi khi, việc chuyển một bài toán bình phương tối tiểu có trọng số thành một bài toán bình phương tối tiểu thông thường tương đương lại tiện lợi hơn. Gọi $W$ là ma trận đường chéo có các phần tử (dương) $w_1,\dots,w_n$ trên đường chéo, sao cho:

$W\mathbf{y}=\begin{bmatrix}w_1&0&\cdots&0\\0&w_2&\cdots&0\\\vdots&\vdots&\ddots&\vdots\\0&0&\cdots&w_n\end{bmatrix}\begin{bmatrix}y_1\\y_2\\\vdots\\y_n\end{bmatrix}=\begin{bmatrix}w_1 y_1\\w_2 y_2\\\vdots\\w_n y_n\end{bmatrix}$

và biểu thức tương tự cũng áp dụng cho $W\hat{\mathbf{y}}$ . Lưu ý rằng hạng tử thứ $j$ trong biểu thức (2) có thể viết lại dưới dạng:

$w_j^2(y_j-\hat{y}_j)^2=(w_j y_j-w_j\hat{y}_j)^2$

Từ đó suy ra rằng tổng bình phương sai số có trọng số (weighted SS(E)) trong biểu thức (2) chính là bình phương độ dài thông thường trong $\mathbb{R}^n$ của $W\mathbf{y}-W\hat{\mathbf{y}}$ , mà ta ký hiệu là $\|W\mathbf{y}-W\hat{\mathbf{y}}\|^2$ .

Bây giờ, giả sử vector xấp xỉ $\hat{\mathbf{y}}$ được xây dựng từ các cột của một ma trận $A$ . Khi đó, ta cần tìm một vector $\hat{\mathbf{x}}$ sao cho $A\hat{\mathbf{x}}=\hat{\mathbf{y}}$ gần với $\mathbf{y}$ nhất. Tuy nhiên, tiêu chí đo mức độ gần này là sai số có trọng số, cụ thể là:

$\|W\mathbf{y}-W\hat{\mathbf{y}}\|^2=\|W\mathbf{y}-WA\hat{\mathbf{x}}\|^2$

Do đó, $\hat{\mathbf{x}}$ là nghiệm bình phương tối tiểu thông thường (ordinary least-squares solution) của phương trình:

$WA\mathbf{x}=W\mathbf{y}$

Phương trình chuẩn cho nghiệm bình phương tối tiểu này là:

$(WA)^T WA\mathbf{x}=(WA)^T W\mathbf{y}$

Ví dụ 1: Tìm đường thẳng bình phương tối tiểu $y=\beta_0+\beta_1 x$ phù hợp nhất với tập dữ liệu $(-2,3),(-1,5),(0,5),(1,4),(2,3)$ .
Giả sử sai số khi đo các giá trị yy ở hai điểm dữ liệu cuối cùng lớn hơn so với các điểm còn lại. Khi đó, gán trọng số cho hai điểm này bằng một nửa so với các điểm còn lại.

Giải: Đặt $X$ là ma trận $A$ , và $\beta$ là vector $\mathbf{x}$ , được:

$X=\begin{bmatrix}1&-2\\1&-1\\1&0\\1&1\\1&2\end{bmatrix},\quad\beta=\begin{bmatrix}\beta_0\\\beta_1\end{bmatrix},\quad\mathbf{y}=\begin{bmatrix}3\\5\\5\\4\\3\end{bmatrix}$

Với ma trận trọng số, chọn $W$ có các phần tử đường chéo là $2,2,2,1,1$ .
Nhân bên trái bởi $W$ sẽ làm thay đổi tỷ lệ các hàng của $X$ và $\mathbf{y}$ :