Khái niệm entropy thông tin ngụ ý lôgarit âm của hàm khối lượng xác suất cho một giá trị. Do đó, khi nguồn dữ liệu có giá trị với xác suất thấp hơn (tức là khi một sự kiện có xác suất thấp xảy ra), thì sự kiện đó mang nhiều "thông tin" ("bất ngờ") hơn so với khi dữ liệu nguồn có giá trị với xác suất cao hơn.
Lượng thông tin được truyền tải bởi mỗi sự kiện được xác định theo cách này sẽ trở thành một biến ngẫu nhiên có giá trị mong đợi là entropy thông tin. Nói chung, entropy đề cập đến sự rối loạn hoặc không chắc chắn, và định nghĩa của nó được sử dụng trong lý thuyết thông tin tương tự trực tiếp với định nghĩa được sử dụng trong nhiệt động lực học thống kê. Khái niệm về IE được Claude Shannon đưa ra trong bài báo năm 1948 "Lý thuyết toán học về giao tiếp". Đây là nơi xuất phát thuật ngữ "entropy thông tin của Shannon".
Định nghĩa và hệ thống
Mô hình cơ bản của hệ thống truyền dữ liệu bao gồm ba yếu tố: nguồn dữ liệu, kênh truyền thông và máy thu,và, như Shannon đã nói, "vấn đề giao tiếp cơ bản" là người nhận có thể xác định được dữ liệu nào được tạo ra bởi nguồn dựa trên tín hiệu mà nó nhận được qua kênh. Entropy cung cấp một hạn chế tuyệt đối về độ dài mã hóa không mất dữ liệu trung bình ngắn nhất có thể của dữ liệu nguồn nén. Nếu entropy của nguồn nhỏ hơn băng thông của kênh truyền thông, dữ liệu mà nó tạo ra có thể được truyền đến máy thu một cách đáng tin cậy (ít nhất là về mặt lý thuyết, có thể bỏ qua một số cân nhắc thực tế như độ phức tạp của hệ thống cần thiết để truyền dữ liệu và lượng thời gian có thể cần để truyền dữ liệu).
Entropy thông tin thường được đo bằng bit (cách gọi khác là "shannons") hoặc đôi khi ở "đơn vị tự nhiên" (nats) hoặc chữ số thập phân (được gọi là "dits", "cấm" hoặc "hartleys"). Đơn vị đo lường phụ thuộc vào cơ số của logarit, được sử dụng để xác định entropi.
Tính chất và logarit
Phân phối xác suất nhật ký hữu ích như một phép đo entropy vì nó là phụ gia cho các nguồn độc lập. Ví dụ, entropy của một đồng xu đặt cược công bằng là 1 bit, trong khi entropy của khối lượng m là m bit. Trong một biểu diễn đơn giản, cần có các bit log2 (n) để biểu diễn một biến có thể nhận một trong n giá trị nếu n là lũy thừa của 2. Nếu các giá trị này có khả năng như nhau thì entropy (tính bằng bit) là bằng số đó. Nếu một trong các giá trị có nhiều khả năng hơn các giá trị khác, thì quan sát rằng nónghĩa là xảy ra, ít thông tin hơn nếu một số kết quả ít tổng quát hơn sẽ xảy ra. Ngược lại, các sự kiện hiếm hơn cung cấp thông tin theo dõi bổ sung.
Vì việc quan sát các sự kiện ít xảy ra ít thường xuyên hơn, nên không có điểm chung là entropy (được coi là thông tin trung bình) thu được từ dữ liệu phân bố không đều luôn nhỏ hơn hoặc bằng log2 (n). Entropy bằng 0 khi một kết quả được xác định.
entropy thông tin của Shannon định lượng những cân nhắc này khi biết phân phối xác suất của dữ liệu cơ bản. Ý nghĩa của các sự kiện được quan sát (ý nghĩa của các thông điệp) là không thích hợp trong định nghĩa của entropy. Loại thứ hai chỉ tính đến xác suất nhìn thấy một sự kiện cụ thể, vì vậy thông tin mà nó gói gọn là dữ liệu về sự phân bố cơ bản của các khả năng, không phải về ý nghĩa của bản thân các sự kiện. Các thuộc tính của entropy thông tin vẫn giống như mô tả ở trên.
Lý thuyết thông tin
Ý tưởng cơ bản của lý thuyết thông tin là một người càng biết nhiều về một chủ đề, thì người ta càng có thể nhận được ít thông tin hơn về chủ đề đó. Nếu một sự kiện rất có thể xảy ra, thì không có gì đáng ngạc nhiên khi nó xảy ra và do đó cung cấp ít thông tin mới. Ngược lại, nếu sự kiện là không thể xảy ra, thì sự kiện đã xảy ra sẽ có nhiều thông tin hơn. Do đó, tải trọng là một hàm tăng của xác suất nghịch đảo của sự kiện (1 / p).
Bây giờ nếu có nhiều sự kiện hơn xảy ra, entropyđo lường nội dung thông tin trung bình mà bạn có thể mong đợi nếu một trong các sự kiện xảy ra. Điều này có nghĩa là ném một con xúc xắc có nhiều entropy hơn là tung một đồng xu vì mỗi kết quả pha lê có xác suất thấp hơn kết quả mỗi đồng xu.
Tính năng
Như vậy, entropy là thước đo tính không thể đoán trước được của một trạng thái hoặc tương tự, nội dung thông tin trung bình của nó. Để hiểu trực quan về các thuật ngữ này, hãy xem xét ví dụ về một cuộc thăm dò chính trị. Thông thường, các cuộc thăm dò như vậy xảy ra vì kết quả của cuộc bầu cử, chẳng hạn như chưa được biết.
Nói cách khác, kết quả của cuộc khảo sát tương đối khó đoán, và trên thực tế, việc tiến hành nó và kiểm tra dữ liệu sẽ cung cấp một số thông tin mới; chúng chỉ là những cách khác nhau để nói rằng entropy trước của kết quả thăm dò là lớn.
Bây giờ hãy xem xét trường hợp cuộc thăm dò tương tự được thực hiện lần thứ hai ngay sau lần đầu tiên. Vì kết quả của cuộc khảo sát đầu tiên đã được biết trước, nên kết quả của cuộc khảo sát thứ hai có thể được dự đoán tốt và kết quả không được chứa nhiều thông tin mới; trong trường hợp này, entropy tiên nghiệm của kết quả thăm dò thứ hai là nhỏ so với kết quả thăm dò đầu tiên.
Tung Xu
Bây giờ hãy xem xét ví dụ về việc tung đồng xu. Giả sử rằng xác suất sấp bằng xác suất ngửa, entropy của việc tung đồng xu là rất cao, vì nó là một ví dụ đặc biệt về entropy thông tin của một hệ thống.
Đây là bởi vìrằng không thể dự đoán rằng kết quả của một đồng xu được tung ra trước thời hạn: nếu chúng ta phải chọn, điều tốt nhất chúng ta có thể làm là dự đoán rằng đồng xu sẽ hạ cánh, và dự đoán này sẽ đúng với xác suất là 1 / 2. Việc tung đồng xu như vậy có một bit entropy, vì có hai kết quả có thể xảy ra với xác suất như nhau và việc nghiên cứu kết quả thực tế chứa một bit thông tin.
Ngược lại, lật đồng xu bằng cả hai mặt có mặt sấp và không có đầu nào có entropy bằng không vì đồng xu sẽ luôn nằm trên dấu hiệu này và kết quả có thể được dự đoán một cách hoàn hảo.
Kết
Nếu lược đồ nén là không mất dữ liệu, nghĩa là bạn luôn có thể khôi phục toàn bộ tin nhắn gốc bằng cách giải nén, thì tin nhắn nén có cùng lượng thông tin với bản gốc, nhưng được truyền với ít ký tự hơn. Nghĩa là, nó có nhiều thông tin hơn hoặc entropy cao hơn trên mỗi ký tự. Điều này có nghĩa là tin nhắn nén có ít dư thừa hơn.
Nói một cách đại khái, định lý mã hóa mã nguồn của Shannon nói rằng sơ đồ nén không mất dữ liệu không thể giảm trung bình các thông báo có nhiều hơn một bit thông tin trên mỗi bit thông báo, nhưng có thể đạt được bất kỳ giá trị nào ít hơn một bit thông tin trên mỗi bit. thông báo bằng cách sử dụng lược đồ mã hóa thích hợp. Entropy của một tin nhắn tính bằng bit nhân với độ dài của nó là thước đo lượng thông tin chung mà nó chứa.
