1. Giới thiệu

Relative entropy, hay còn được gọi là Kullback-Leibler (KL) divergence, là một khái niệm quan trọng trong lý thuyết thông tin, xác suất và học máy. Nó đo lường sự khác biệt giữa hai phân phối xác suất \( P \) và \( Q \). Thông qua relative entropy, chúng ta có thể đánh giá mức độ mà một phân phối "lệch" khỏi phân phối tham chiếu.

2. Định nghĩa toán học

KL divergence được định nghĩa như sau:

• Trường hợp rời rạc:\[ D_{KL}(P \| Q) = \sum_{x \in \mathcal{X}} P(x) \log \frac{P(x)}{Q(x)} \]
• Trường hợp liên tục:\[ D_{KL}(P \| Q) = \int_{\mathcal{X}} P(x) \log \frac{P(x)}{Q(x)} \, dx \]

Trong đó:

• \( P(x) \): Phân phối xác suất thực sự (true distribution).
• \( Q(x) \): Phân phối tham chiếu (approximation).
• \( \mathcal{X} \): Tập giá trị có thể của biến ngẫu nhiên.

3. Ý nghĩa

• KL divergence đo lượng thông tin mất mát khi sử dụng phân phối \( Q \) để xấp xỉ phân phối \( P \).
• Đây không phải là một khoảng cách vì nó không đối xứng, tức là: \[ D_{KL}(P \| Q) \neq D_{KL}(Q \| P) \]
• Nếu \( P = Q \), thì: \[ D_{KL}(P \| Q) = 0 \]

4. Ứng dụng

KL divergence có nhiều ứng dụng thực tế, bao gồm:

• Học máy và tối ưu hóa: Trong các mô hình học máy như Gaussian Mixture Models (GMM) hoặc mô hình phân phối xác suất, KL divergence được sử dụng để đánh giá sự khác biệt giữa mô hình và dữ liệu thực tế.
• Nén dữ liệu: KL divergence đo lường hiệu quả của một mô hình nén dữ liệu, tức là mức độ gần đúng của phân phối được mã hóa với phân phối thực.
• Xử lý ngôn ngữ tự nhiên (NLP): Được sử dụng trong các bài toán như đo lường độ giống nhau giữa các tài liệu.
• Hệ thống thông tin: Giúp tối ưu hóa các hệ thống truyền thông bằng cách xác định mức độ phù hợp của các giả định về kênh truyền.

5. Ví dụ minh họa

Giả sử chúng ta có hai phân phối xác suất rời rạc:

• \( P(x) = [0.4, 0.6] \)
• \( Q(x) = [0.5, 0.5] \)

KL divergence được tính như sau:

\[ D_{KL}(P \| Q) = 0.4 \log \frac{0.4}{0.5} + 0.6 \log \frac{0.6}{0.5} \]

6. Liên hệ với entropy

KL divergence có thể được biểu diễn thông qua entropy như sau:

\[ D_{KL}(P \| Q) = H(P, Q) - H(P) \]

Trong đó:

• \( H(P, Q) \): Entropy chéo (cross-entropy).
• \( H(P) \): Entropy của phân phối \( P \).

7. Kết luận

Relative entropy (KL divergence) là một công cụ mạnh mẽ để đo sự khác biệt giữa các phân phối xác suất. Với các ứng dụng rộng rãi trong thống kê, học máy và thông tin, đây là một khái niệm nền tảng giúp phân tích và tối ưu hóa trong nhiều lĩnh vực khoa học và công nghệ.