Học kỳ vừa rồi tôi được học môn "Wavelet and Subband Coding", môn học này được giới thiệu là cơ sở của Xử lý tín hiệu số hiện đại. Về căn bản môn học này nghiên cứu tổng quát việc phân tích tín hiệu thành một tổ hợp tuyến tính của một tập hợp các tín hiệu cơ bản dưới dạng: $x(t)=\sum_{n=-\infty}^{+\infty}{\alpha_n \phi_n(t)}$ , với $\alpha_n$ và $\phi_n(t)$ là các hệ số và các tín hiệu cơ bản. Điều này cũng tương tự như cặp biến đổi Fourier vậy (ví dụ DTFT $x[n] \overset{\mathcal{DTFT}}{\longleftrightarrow} X(e^{j\omega})$, ở đây phân tích tín hiệu như ở công thức trên là biến đổi DTFT ngược). Đối với cặp biến đổi Fourier thì tín hiệu cơ bản là các hàm tuần hoàn $\phi_n=e^{j\omega n}$ còn trong Wavelet thì các tín hiệu cơ bản rất khác và có tính tổng quát cao hơn. Điều quan trọng là với cách phân tích tín hiệu như trên $x(t)=\sum_{n=-\infty}^{+\infty}{\alpha_n \phi_n(t)}$ thì chọn các hàm cơ bản như thế nào "có lợi" nhất? Đây là một chủ đề lớn và rất nhiều điều phức tạp, bản thân tôi đang học cũng chủ yếu để trả lời câu hỏi đó. Bài viết này chưa trình bày về vấn đề lớn và phức tạp như vậy mà chỉ khai thác một vấn đề là cách phân tích tín hiệu như trên chính là biểu diễn một vector trong một không gian vector bằng một tổ hợp tuyến tính của cơ sở của nó. Đây là kiến thức cơ bản được trình bày trong giáo trình Toán cao cấp tập 1 (Đại số tuyến tính và hình học giải tích) - thực ra thì đến bây giờ tôi mới hiểu học môn này có ứng dụng như vậy. Bài viết này chủ yếu là để hệ thống lại một số khái niệm và tính chất quan trọng của không gian vector.
1. Không gian vector
Một không gian vector trên trường số phức $\mathbb{C}$ (hoặc thực $\mathbb{R}$) là một tập các vector $V$, cùng với phép cộng và phép nhân. Cho $\mathbf{x,y,z} \in V$ và $\alpha, \beta \in \mathbb{C}$ (hoặc $\mathbb{R}$), những tính chất sau đây được thỏa mãn
- Giao hoán: $\mathbf{x+y=y+x}$
- Kết hợp: $\mathbf{(x+y)+z=x+(y+z)}$ và $(\alpha \beta)\mathbf{x}=\alpha(\beta \mathbf{x})$
- Phân phối: $\alpha(\mathbf{x+y})=\alpha \mathbf{x}+\alpha \mathbf{y}$ và $(\alpha + \beta)\mathbf{x}=\alpha \mathbf{x}+\beta \mathbf{x}$
Ngoài ra tồn tại các phần tử đối và phần tử trung hòa: $\mathbf{x+(-x)=0}$ và $\mathbf{x+0=x}$, $\mathbf{x.1=x}$
Ví dụ: Tập hợp các tín hiệu thực rời rạc có chiều dài hữu hạn $x=[x_1, x_2, ... ,x_N]$ với $x_i \in \mathbb{R}$ là một không gian vector ký hiệu là $\mathbb{R}^{\mathbb{N}}$. Đây là không gian hữu hạn chiều, có số chiều chính bằng N.
2. Không gian vector con và cơ sở
- Không gian vector con: Tập hợp các vector $W \subset V$ gọi là không gian con của không gian vector $V$ nếu nó thỏa mãn tính chất đóng kín với phép cộng và phép nhân:
Nếu $\mathbf{x,y} \in W$ thì $\mathbf{x+y} \in W$ và $\alpha\mathbf{x} \in W$
Ví dụ: Trong không gian vector các số thực 2 chiều $\mathbf{R^2}$ thì tập hợp các điểm nằm trên một đường thẳng đi qua gốc tọa độ là một không gian con. Không gian con $\mathbf{W}$ có số chiều nhỏ hơn hoặc bằng không gian mẹ $\mathbf{V}$.
Ví dụ: Trong không gian vector các số thực 2 chiều $\mathbf{R^2}$ thì tập hợp các điểm nằm trên một đường thẳng đi qua gốc tọa độ là một không gian con. Không gian con $\mathbf{W}$ có số chiều nhỏ hơn hoặc bằng không gian mẹ $\mathbf{V}$.
- Tổ hợp tuyến tính: Cho tập hợp các vector $S=\left \{ \mathbf{a_0,a_2,...a_{N-1}} \right \}$, một tổ hợp tuyến tính của $S$ là:
$$\mathbf{x}=\sum_{k=0}^{N-1}{\alpha_k \mathbf{a_k}}$$
+ Nếu phương trình $\mathbf{x}=\sum_{k=0}^{N-1}{\alpha_k \mathbf{a_k}}=0$ khi và chỉ khi tất cả các $\alpha_i =0$. Nói cách khác không một vector nào trong tập vector $S$ là tổ hợp tuyến tính của các vector còn lại thì $S$ là một hệ độc lập tuyến tính. Ngược lại là phụ thuộc tuyến tính.
- Hệ sinh (span): Tập hợp tất cả các tổ hợp tuyến tính của các vector của $S$ gọi là hệ sinh bởi $S$ hay $span(S)$.
+ Nếu $S=\left \{ \mathbf{a_0,a_2,...a_{N-1}} \right \} \subset V$ và mọi vector $\mathbf{y} \in V$ đều thuộc $span(S)$ thì $S$ là hệ sinh ra $V$. Tức là mọi vector thuộc $V$ được biểu diễn bởi duy nhất một tổ hợp tuyến tính của các vector thuộc $S$. Lưu ý rằng tập hợp các vector $S$ không nhất thiết phải là cơ sở mà số vector của $S$ có thể nhiều hơn cơ sở, khi đó gọi là frame.
+ Nếu $S$ sinh ra $V$ và là một hệ độc lập tuyến tính thì $S$ gọi là một cơ sở (basis) của $V$, số chiều của $V$ bằng số vector độc lập tuyến tính của $S$. Cơ sở chính là số vector ít nhất sinh ra không gian đó. Cơ sở của không gian vector $V$ không phải duy nhất vì có thể có nhiều tập hợp các vector tạo thành hệ độc lập tuyến tính trong không gian vector $V$
+ Nếu $S$ là một cơ sở và tất cả các vector của nó trực giao (vuông góc với nhau) thì đó gọi là cơ sở trực giao (orthogonal basis); trong cơ sở trực giao nếu tất cả các vector có độ dài (norm) bằng 1 thì đó là cơ sở trực chuẩn (orthonormal basis). Nếu $S$ là một cơ sở trực chuẩn của $V$ thì với $\mathbf{x} \in V$, ta có các tính chất sau: $$\mathbf{x}=\sum_{i=0}^{N-1}{\alpha_i \mathbf{a_i}}$$
Với $\alpha_i = <\mathbf{x,a_i}>$ là tích vô hướng của $\mathbf{x}$ và $\mathbf{a_i}$, cũng có thể coi là tọa độ của vector $\mathbf{x}$ trên hệ trục tọa độ trực chuẩn. Khi đó công thức trên có thể viết lại như sau:
$$\mathbf{x}=\sum_{i=0}^{N-1}{<\mathbf{x,a_i}> \mathbf{a_i}}$$
Tích vô hướng $\alpha_i = <\mathbf{x,a_i}>$ là hình chiếu vuông góc của $\mathbf{x}$ lên $\mathbf{a_i}$, ví dụ nếu không gian 2 chiều thì nó chính là hình chiếu của $\mathbf{x}$ lên trục tung và trục hoành, do vậy theo định lý Pythagore ta có:
$$||\mathbf{x}||^2=\sum{\mathbf{|\alpha_i|}^2}$$
Đây là một trường hợp đặc biệt của bất đẳng thức Parseval (bất đẳng thức tổng quát cho cơ sở bất kỳ).
+ Nếu $S$ là cơ sở trực chuẩn mà mỗi vector thứ $i$ chỉ có duy nhất 1 phần tử bằng 1 tại vị trí thứ $i$ và các phần tử còn lại bằng 0 thì đó là hệ cơ sở chuẩn tắc (ví dụ hệ trục tọa độ Đề-các (Cartesian coordinate system)).
+ Nếu $S$ là một cơ sở bất kỳ thì người ta luôn tìm được một cơ sở gọi là dual basis với nó $S'$ sao cho $<\mathbf{a_i a'_k}>=\delta_{i-k}$ (bằng 0 nếu $i=k$ và bằng 1 nếu $i=k$). $S$ và $S'$ tạo thành một biorthogonal basis.
Ví dụ: Trong không gian vector 2 chiều trên trường các số thực $R^2$, $S=\left \{ \mathbf{x} \right \}$, với $\mathbf{x}=[x_0,x_1]^T$ thì tập 2 vector độc lập tuyến tính bất kỳ tạo thành một cơ sở của $R^2$. Nếu 2 vector độc lập tuyến tính vuông góc và có độ dài bằng 1 thì đó là cơ sở trực chuẩn. Trong $R^2$ chỉ có duy nhất một cơ sở chuẩn tắc. Nếu có 1 cơ sở bất kỳ (không trực chuẩn) thì luôn tìm được một cơ sở khác gọi là biorthogonal basis với nó. Một vector bất kỳ trong $R^2$ được biểu diễn bởi duy nhất 1 tổ hợp tuyến tính của cơ sở; nhưng có thể có nhiều cách biểu diễn thành một tổ hợp tuyến tính của một tập vector nhiều hơn cơ sở, nghĩa là có nhiều cách biễu diễn thế này $\mathbf{x}=\sum_{i=1}^{3}{\alpha_i \mathbf{a_i}}$ với $\left \{ \mathbf{a_i} \right \}$ gọi là 1 frame
+ Nếu $S$ là một cơ sở bất kỳ thì người ta luôn tìm được một cơ sở gọi là dual basis với nó $S'$ sao cho $<\mathbf{a_i a'_k}>=\delta_{i-k}$ (bằng 0 nếu $i=k$ và bằng 1 nếu $i=k$). $S$ và $S'$ tạo thành một biorthogonal basis.
Ví dụ: Trong không gian vector 2 chiều trên trường các số thực $R^2$, $S=\left \{ \mathbf{x} \right \}$, với $\mathbf{x}=[x_0,x_1]^T$ thì tập 2 vector độc lập tuyến tính bất kỳ tạo thành một cơ sở của $R^2$. Nếu 2 vector độc lập tuyến tính vuông góc và có độ dài bằng 1 thì đó là cơ sở trực chuẩn. Trong $R^2$ chỉ có duy nhất một cơ sở chuẩn tắc. Nếu có 1 cơ sở bất kỳ (không trực chuẩn) thì luôn tìm được một cơ sở khác gọi là biorthogonal basis với nó. Một vector bất kỳ trong $R^2$ được biểu diễn bởi duy nhất 1 tổ hợp tuyến tính của cơ sở; nhưng có thể có nhiều cách biểu diễn thành một tổ hợp tuyến tính của một tập vector nhiều hơn cơ sở, nghĩa là có nhiều cách biễu diễn thế này $\mathbf{x}=\sum_{i=1}^{3}{\alpha_i \mathbf{a_i}}$ với $\left \{ \mathbf{a_i} \right \}$ gọi là 1 frame
3. Biểu diễn vector và cơ sở dưới dạng ma trận
Nếu $S=\left \{ \mathbf{a_0,a_2,...a_{N-1}} \right \}$ là một cơ sở của $V$, thì mọi vector $\mathbf{x}\in V$ đều được biểu diễn duy nhất:
$$\mathbf{x}=\sum_{i=0}^{N-1}{\alpha_i \mathbf{a_i}}$$
Gọi $\mathbf{A}\in R^{M \times N}$ là ma trận tạo bởi khi xếp các vector $a_i$ thành 1 hàng (mỗi vector $a_i$ là 1 cột có M phần tử), $\mathbf{\alpha}=[\alpha_1, \alpha_2,...,\alpha_N]$ là vector cột có các phần tử là $\alpha_i$. Phép tính tổng trên có thể viết dưới dạng phép nhân ma trận:
$$\mathbf{x=A\alpha}$$
nói cách khác $\mathbf{x}$ là tổ hợp tuyến tính các cột của $\mathbf{A}$. Nếu $\mathbf{A}$ là trực chuẩn thì $\mathbf{A^TA=I}\Rightarrow \mathbf{A^T=A^{-1}}$, nên:
$$\mathbf{\alpha=A^Tx}$$
Công thức này là phép phân tích (giống như biến đổi Fourier vậy) còn công thức trên là phép tổng hợp (giống như biến đổi Fourier ngược). Sự trực chuẩn ở đây cho thấy sự thuận tiện trong phép biến đổi.
Giả sử có một cơ sở thứ 2, tương tự như trên ký hiệu là $\mathbf{B}$ và $\mathbf{\beta}$, thì:
$$\mathbf{x=B\beta}$$
Suy ra: $\mathbf{x=A\alpha}=\mathbf{B\beta}\Rightarrow \mathbf{\beta=B^{-1}A\alpha}$ là phép đổi tọa độ giữa hai hệ cơ sở. $\mathbf{B^{-1}A}$ gọi là ánh xạ tuyến tính (linear operator) đổi cơ sở.
+ Nếu $\mathbf{A,B}$ là biorthogonal, ta có $\mathbf{B^TA=A^TB=I}$ nên $\mathbf{\beta=B^{-1}A \alpha=A^TA \alpha}$ là tọa độ trong cơ sở mới
+ Nếu $\mathbf{A}$ là cơ sở chuẩn tắc ta có $\mathbf{A=I}$, thì $\mathbf{\beta=B^{-1}\alpha=B^T\alpha}$ nếu $\mathbf{B}$ trực chuẩn.
Bài này đã tương đối dài và đã ghi lại những khái niệm cơ bản của không gian vector và cơ sở. Để kết thúc bài này, chúng ta xét một sự liên hệ khá đơn giản giữa không gian vector với xử lý tín hiệu số như sau:
Giả sử $\mathbf{x}=[x_1, x_2,...,x_N]$ là một dãy tín hiệu rời rạc chiều dài N, bản thân các $x_i$ có thể coi là tọa độ biểu diễn trong cơ sở chuẩn tắc. Bây giờ biểu diễn $\mathbf{x}$ trong một cơ sở khác $\mathbf{x=A\alpha}$ với $\mathbf{\alpha}$ là tọa độ trong hệ cơ sở mới. Việc chọn cơ sở $\mathbf{A}$ sao cho các hệ số (tọa độ) $\mathbf{\alpha}$ thỏa mãn một số yêu cầu nào đó là nhiệm vụ chính của phép xử lý tín hiệu. Ví dụ:
- Bản thân $\mathbf{x}=[x_0,x_1, x_2,...,x_N]$ không cho thấy thông tin gì về tần số, mà chỉ cho biết thứ tự xuất hiện các mẫu - thông tin thời gian. Nếu tìm được cơ sở mới (ví dụ cơ sở của phép biến đổi Fourier rời rạc) sao cho các hệ số (tọa độ) trong hệ cơ sở mới rất lớn ở các tần số chứa trong tín hiệu và rất nhỏ ở các tần số không chứa trong tín hiệu thì trong hệ cơ sở mới chúng ta đã có thể quan sát được phổ của tín hiệu.
- Nếu tìm được một cơ sở khác mà các hệ số (tọa độ) của tín hiệu trong cơ sở mới chỉ có giá trị lớn tại một vài hệ số, phần còn lại rất nhỏ hoặc bằng 0. Sau đó chúng ta chỉ giữ lại các hệ số có giá trị lớn cho các bước xử lý tiếp theo (lưu trữ, truyền dẫn) và cuối cùng dùng các hệ số lớn đó biến đổi ngược để tái tạo tín hiệu thì tín hiệu thu được xấp xỉ với tín hiệu ban đầu. Đó là ý tưởng cho rất nhiều kỹ thuật như nén tín hiệu, phục hồi tín hiệu, lọc nhiễu.
Trong những bài tiếp theo sẽ tiếp tục trình bày ma trận trong mối liên hệ với không gian vector, cơ sở, phép chiếu.
Nếu $S=\left \{ \mathbf{a_0,a_2,...a_{N-1}} \right \}$ là một cơ sở của $V$, thì mọi vector $\mathbf{x}\in V$ đều được biểu diễn duy nhất:
$$\mathbf{x}=\sum_{i=0}^{N-1}{\alpha_i \mathbf{a_i}}$$
Gọi $\mathbf{A}\in R^{M \times N}$ là ma trận tạo bởi khi xếp các vector $a_i$ thành 1 hàng (mỗi vector $a_i$ là 1 cột có M phần tử), $\mathbf{\alpha}=[\alpha_1, \alpha_2,...,\alpha_N]$ là vector cột có các phần tử là $\alpha_i$. Phép tính tổng trên có thể viết dưới dạng phép nhân ma trận:
$$\mathbf{x=A\alpha}$$
nói cách khác $\mathbf{x}$ là tổ hợp tuyến tính các cột của $\mathbf{A}$. Nếu $\mathbf{A}$ là trực chuẩn thì $\mathbf{A^TA=I}\Rightarrow \mathbf{A^T=A^{-1}}$, nên:
$$\mathbf{\alpha=A^Tx}$$
Công thức này là phép phân tích (giống như biến đổi Fourier vậy) còn công thức trên là phép tổng hợp (giống như biến đổi Fourier ngược). Sự trực chuẩn ở đây cho thấy sự thuận tiện trong phép biến đổi.
Giả sử có một cơ sở thứ 2, tương tự như trên ký hiệu là $\mathbf{B}$ và $\mathbf{\beta}$, thì:
$$\mathbf{x=B\beta}$$
Suy ra: $\mathbf{x=A\alpha}=\mathbf{B\beta}\Rightarrow \mathbf{\beta=B^{-1}A\alpha}$ là phép đổi tọa độ giữa hai hệ cơ sở. $\mathbf{B^{-1}A}$ gọi là ánh xạ tuyến tính (linear operator) đổi cơ sở.
+ Nếu $\mathbf{A,B}$ là biorthogonal, ta có $\mathbf{B^TA=A^TB=I}$ nên $\mathbf{\beta=B^{-1}A \alpha=A^TA \alpha}$ là tọa độ trong cơ sở mới
+ Nếu $\mathbf{A}$ là cơ sở chuẩn tắc ta có $\mathbf{A=I}$, thì $\mathbf{\beta=B^{-1}\alpha=B^T\alpha}$ nếu $\mathbf{B}$ trực chuẩn.
Bài này đã tương đối dài và đã ghi lại những khái niệm cơ bản của không gian vector và cơ sở. Để kết thúc bài này, chúng ta xét một sự liên hệ khá đơn giản giữa không gian vector với xử lý tín hiệu số như sau:
Giả sử $\mathbf{x}=[x_1, x_2,...,x_N]$ là một dãy tín hiệu rời rạc chiều dài N, bản thân các $x_i$ có thể coi là tọa độ biểu diễn trong cơ sở chuẩn tắc. Bây giờ biểu diễn $\mathbf{x}$ trong một cơ sở khác $\mathbf{x=A\alpha}$ với $\mathbf{\alpha}$ là tọa độ trong hệ cơ sở mới. Việc chọn cơ sở $\mathbf{A}$ sao cho các hệ số (tọa độ) $\mathbf{\alpha}$ thỏa mãn một số yêu cầu nào đó là nhiệm vụ chính của phép xử lý tín hiệu. Ví dụ:
- Bản thân $\mathbf{x}=[x_0,x_1, x_2,...,x_N]$ không cho thấy thông tin gì về tần số, mà chỉ cho biết thứ tự xuất hiện các mẫu - thông tin thời gian. Nếu tìm được cơ sở mới (ví dụ cơ sở của phép biến đổi Fourier rời rạc) sao cho các hệ số (tọa độ) trong hệ cơ sở mới rất lớn ở các tần số chứa trong tín hiệu và rất nhỏ ở các tần số không chứa trong tín hiệu thì trong hệ cơ sở mới chúng ta đã có thể quan sát được phổ của tín hiệu.
- Nếu tìm được một cơ sở khác mà các hệ số (tọa độ) của tín hiệu trong cơ sở mới chỉ có giá trị lớn tại một vài hệ số, phần còn lại rất nhỏ hoặc bằng 0. Sau đó chúng ta chỉ giữ lại các hệ số có giá trị lớn cho các bước xử lý tiếp theo (lưu trữ, truyền dẫn) và cuối cùng dùng các hệ số lớn đó biến đổi ngược để tái tạo tín hiệu thì tín hiệu thu được xấp xỉ với tín hiệu ban đầu. Đó là ý tưởng cho rất nhiều kỹ thuật như nén tín hiệu, phục hồi tín hiệu, lọc nhiễu.
Trong những bài tiếp theo sẽ tiếp tục trình bày ma trận trong mối liên hệ với không gian vector, cơ sở, phép chiếu.
