Sách lý thuyết thông tin

Bài giảng môn học Lý ttiết đọc tin vì chưng giáo viên biên soạn có bao gồm 15 bài học, cung ứng cho tất cả những người học tập một số trong những nội dung như: Giới thiệu thông thường về báo cáo và định hướng ban bố, một vài quan niệm cơ bản, lượng tin, Entropy, mã hiệu, mã hóa về tối ưu nguồn rời rạc ko lưu giữ,... Mời các bạn cùng tham khảo.


Bạn đang xem: Sách lý thuyết thông tin

*

Xem thêm: (Sỉ) Thùng 50 Gói X 65Gr/ Gói Lương Khô Hải Châu Mua Ở Đâu, Lương Khô 5 Sao Hải Châu

Trường Đại học Bách khoa Khoa Công Nghệ Thông Tin BÀI GIẢNG MÔN HỌC LÝ THUYẾT THÔNG TIN Giảng Viên: Hồ Vnạp năng lượng Quân E-mail: hcquan
dit.hcmut.edu.vnWeb site: http://www.dit.hcmut.edu.vn/~hcquan/student.htm NỘI DUNG MÔN HỌC„ Bài 1 Giới thiệu„ Bài 2 Một số có mang cơ bản„ Bài 3 Chuẩn bị toán thù học„ Bài 4 Lượng tin„ Bài 5 Entropy„ Bài 6 Mã hiệu„ Bài 7 Mã hóa tối ưu nguồn rời rốc không nhớ„ Bài 8 Mã hóa nguồn phổ quát„ Bài 9 Kênh rời rộc rạc không ghi nhớ, lượng tin cứu giúp Trang 2 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin NỘI DUNG MÔN HỌC (tt)„ Bài 10 Mã hóa phòng nhiễu, định lý kênh„ Bài 11 Mã khối tuyến tính„ Bài 12 Thương hiệu toán thù học của mã hóa kháng nhiễu„ Bài 13 Mã vòng„ Bài 14 Giới thiệu về mật mã hóa„ Bài 15 Một số vụ việc nâng cấp Trang 3 Lý tmáu Thông tin - Khoa Công Nghệ Thông Tin TÀI LIỆU THAM KHẢO1. Information Theory - Robert B.Ash, Nhà xuất phiên bản Dover, Inc, 1990.2. Introduction to lớn Information Theory - Masud Mansuripur, Nhà xuất bạn dạng Prentice–Hall, Inc, 1987.3. A Mathematical Theory of Communication - C. E. Shannon, Tạp chí Bell System Technical, số 27, trang 379–423 và 623– 656, tháng 7 với mon 10, 1948.4. Cửa hàng Lý thuyết truyền tin (tập một và hai) - Đặng Văn Cmáu, Nguyễn Tuấn Anh, Nhà xuất bản giáo dục và đào tạo, 1998. Trang 4 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin HÌNH THỨC ĐÁNH GIÁ„ Sẽ gồm thông báo rõ ràng mang đến từng khóa huấn luyện. Tuy nhiên, thường là gồm hình thức như dưới.„ Thi trắc nghiệm „ Giữa kỳ: 30 câu / 45 phút „ Cuối kỳ: 45 câu / 90 phút „ Được phnghiền coi tư liệu vào 2 tờ giấy A4„ Làm bài xích tập lớn cộng điểm (ko bắt buộc) „ Nộp bài xích tập bự cùng report vào thời điểm cuối học tập kỳ „ Cộng về tối nhiều 2 điểm Trang 5 Lý ttiết Thông tin - Khoa Công Nghệ Thông Tin CÁC MÔN LIÊN QUAN„ Lý tngày tiết xác suất„ Kỹ thuật truyền số liệu„ Xử lý biểu đạt số Trang 6 Lý tngày tiết Thông tin - Khoa Công Nghệ Thông Tin Bài 1 Giới thiệu1.1 tin tức là gì?1.2 Vai trò của thông tin1.3 Lý thuyết lên tiếng nghiên cứu rất nhiều gì?1.4 Những áp dụng của kim chỉ nan thông tin1.5 Lý tngày tiết công bố – Lịch sử hình thành cùng ý kiến khoa học văn minh Trang 7 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Thông tin là gì?„ Một vài ví dụ „ Hai bạn nói chuyện với nhau. Cái nhưng Bàn bạc thân chúng ta call là báo cáo. „ Một fan vẫn xem tivi/nghe đài/đọc báo, bạn đó đã dấn đọc tin trường đoản cú đài phát/báo. „ Quá trình huấn luyện và đào tạo trong lớp. „ Các máy vi tính nối mạng cùng Bàn bạc dữ liệu với nhau. „ Máy tính nạp công tác, dữ liệu từ đĩa cứng vào RAM nhằm thực hiện. Trang 8 Lý thuyết tin tức - Khoa Công Nghệ Thông Tin Thông tin là gì? (tt)„ Nhận xét „ tin tức là loại được truyền trường đoản cú đối tượng người dùng này đến đối tượng người tiêu dùng không giống để báo một “điều” gì đó. tin tức chỉ bao gồm chân thành và ý nghĩa lúc “điều” đó mặt dấn không biết. „ Thông tin xuất hiện dưới nhiều dạng âm thanh khô, hình ảnh, ... Những dạng này chỉ cần “vỏ bọc” đồ vật hóa học đựng lên tiếng. “Vỏ bọc” là phần “xác”, công bố là phần “hồn”. „ Ngữ nghĩa của ban bố chỉ có thể gọi được lúc bên dìm hiểu được giải pháp màn trình diễn ngữ nghĩa của bên phát. „ Một trong những phương tiện nhằm mô tả đọc tin là ngôn ngữ. „ Có nhì tâm trạng của thông tin: truyền cùng tàng trữ. Môi trường truyền/tàng trữ được call chung là môi trường chứa tin tuyệt kênh tin. Trang 9 Lý ttiết tin tức - Khoa Công Nghệ Thông Tin Vai trò của thông tin„ Các đối tượng sống luôn luôn luôn mong muốn hiểu về nhân loại bao quanh, nhằm say đắm nghi cùng trường tồn. Đây là 1 trong quá trình quan tiền giáp, tiếp nhận, thảo luận với xử lý thông báo tự môi trường thiên nhiên bao bọc.„ tin tức phát triển thành một nhu cầu cơ bạn dạng, một điều kiện phải cho việc lâu dài cùng cách tân và phát triển.„ Khi khoa học kỹ thuật, XH càng ngày phát triển, thông tin càng biểu thị được sứ mệnh đặc biệt quan trọng của chính nó so với họ.„ ví dụ như, hành vi khởi đầu từ xem xét, nếu suy nghĩ đúng, thì hành vi new đúng. Suy nghĩ lại chịu ảnh hưởng từ các nguồn báo cáo được đón nhận. Vì vậy thông tin hoàn toàn có thể bỏ ra pân hận đến Để ý đến cùng tác dụng là hành vi của nhỏ tín đồ. Trang 10 Lý tmáu tin tức - Khoa Công Nghệ Thông Tin LTTT phân tích hồ hết sự việc gì? „ Tại góc nhìn kỹ thuật chuyên môn, LTTT phân tích nhằm tạo nên một “cơ sở hạ tầng” xuất sắc cho vấn đề truyền thông media tin đúng chuẩn, mau lẹ với an toàn; tàng trữ thông tin một bí quyết tác dụng. „ Ở các góc nhìn nghiên cứu khác LTTT phân tích các vụ việc về kiểu cách tổ chức, màn biểu diễn với truyền đạt biết tin, cùng tổng quát là những sự việc về xử trí thông tin.„ Ba lĩnh vực phân tích cơ bản của môn học tập „ Mã hoá chống nhiễu „ Mã hoá tối ưu (tuyệt nén dữ liệu) „ Mật mã hoá Trang 11 Lý thuyết Thông tin - Khoa Công Nghệ Thông Tin Những áp dụng của LT thông tin„ Cuộc bí quyết mạng công bố đang xẩy ra, sự phát triển trẻ trung và tràn đầy năng lượng của những phương tiện đi lại bắt đầu về media, tàng trữ biết tin làm biến hóa càng ngày thâm thúy làng mạc hội chúng ta.„ LTTT đóng một sứ mệnh quyết định trong sự cải tiến và phát triển này bằng cách cung ứng cửa hàng định hướng cùng một chiếc chú ý triết học tập sâu sắc đối với gần như bài tân oán bắt đầu và thử thách nhưng mà chúng ta đụng trán – bây giờ cùng mai sau.„ Những ứng dụng thịnh hành của LTTT là media cùng cách xử trí báo cáo bao gồm: truyền thông, nén, bảo mật thông tin, tàng trữ, ...„ Các ý tưởng của LTTT đã có vận dụng trong không ít nghành như đồ gia dụng lý, ngữ điệu học, sinch đồ học tập, công nghệ máy tính xách tay, tư tưởng học, chất hóa học Trang 12 Lý thuyết tin tức - Khoa Công Nghệ Thông Tin Những vận dụng của LT biết tin (tt)„ Mối quan hệ giữa LTTT cùng những thống kê đã có được kiếm tìm thấy, những phương thức new về so sánh thống kê dựa vào LTTT đã có được đề xuất.„ Ứng dụng vào cai quản kinh tế. lấy ví dụ, triết lý đầu tư về tối ưu xuất hiện thêm bên cạnh đó với kim chỉ nan mã hóa nguồn buổi tối ưu.„ Ứng dụng vào ngôn ngữ học tập.„ Ứng dụng mang lại tâm lý thực nghiệm và nhất là nghành nghề dịch vụ dạy dỗ cùng học tập. Trang 13 Lý thuyết tin tức - Khoa Công Nghệ Thông Tin Lịch sử hình thành„ Cuộc phương pháp mạng lớn số 1 về cách chú ý trái đất công nghệ là chuyển qua làn đường khác trường đoản cú thuyết quyết định Laplacian mang lại tranh ảnh tỷ lệ của tự nhiên và thoải mái.„ Thế giới bọn họ đang sinh sống trong đó hầu hết là phần trăm. Kiến thức của bọn họ cũng là 1 trong dạng Xác Suất.„ LTTT nổi lên sau khi cơ học thống kê cùng lượng tử đã phát triển, với nó chia xẻ cùng với thiết bị lý thống kê những quan niệm cơ phiên bản về entropy.„ Theo lịch sử dân tộc, các tư tưởng cơ bản của LTTT như entropy, ban bố cứu giúp được có mặt từ những việc phân tích các khối hệ thống mật mã hơn là từ những việc nghiên cứu và phân tích những kênh media.„ Về mặt tân oán học, LTTT là 1 trong những nhánh của lý thuyết tỷ lệ và các quá trình thốt nhiên (stochastical process). Trang 14 Lý tngày tiết tin tức - Khoa Công Nghệ Thông Tin Lịch sử hình thành (tt)„ Quan trọng cùng có ý nghĩa sâu sắc nhất là quan hệ nam nữ link giữa LTTT với vật dụng lý thống kê.„ Trong một thời gian lâu năm trước khi LTTT được ra đời, L. Boltzman cùng tiếp nối là L.Szilard sẽ tấn công đồng ý nghĩa sâu sắc của ban bố cùng với có mang nhiệt độ hễ học của entropy. Một mặt khác, D. Gabor cho là “định hướng truyền thông nên được coi như nhỏng một nhánh của đồ lý”.„ C. E. Shannon là cha đẻ của LTTT. Trang 15 Lý tngày tiết tin tức - Khoa Công Nghệ Thông Tin Bài 2 Một số tư tưởng cơ bản2.1 Thông tin (Information)2.2 Mô hình của các quy trình truyền tin2.3 Các loại khối hệ thống truyền tin – Liên tục với rời rạc2.4 Rời rạc hoá Trang 16 Lý ttiết tin tức - Khoa Công Nghệ Thông Tin Thông tin„ Thông tin là một trong quan niệm trừu tượng, phi thiết bị chất cùng cực kỳ nặng nề được có mang chính xác. Hai có mang về lên tiếng.„ tin tức là sự cảm gọi của nhỏ bạn về trái đất bao quanh trải qua sự tiếp xúc cùng với nó.„ tin tức là 1 trong hệ thống mọi tin báo và mệnh lệnh giúp vứt bỏ sự ko chắc hẳn rằng (uncertainty) trong tâm trạng của địa điểm dìm tin. Nói nđính thêm gọn, công bố là loại mà loại bỏ sự không chắc chắn rằng.„ Định nghĩa đầu chưa tạo nên được thực chất của thông báo. Định nghĩa lắp thêm hai phân tích rộng về bản chất của đọc tin và được dùng để làm định lượng đọc tin vào nghệ thuật. Trang 17 Lý ttiết tin tức - Khoa Công Nghệ Thông Tin tin tức (tt)„ Thông tin là 1 hiện tượng vật lý, nó hay lâu dài cùng được tương truyền dưới một dạng vật chất làm sao đó.„ Những dạng thứ hóa học dùng để có công bố được Điện thoại tư vấn là biểu hiện.„ Lý tmáu biểu hiện nghiên cứu các dạng biểu hiện và bí quyết truyền thông media tin đi xa với ngân sách rẻ, một ngành cơ mà bao gồm quan hệ tình dục gần gũi với LTTT.„ tin tức là 1 trong những quy trình tự nhiên.„ Tín hiệu sở hữu thông tin cũng là biểu hiện bất chợt và mô hình toán thù học của nó là những quá trình thiên nhiên thực tuyệt phức.„ Và LTTT là lý thuyết ngẫu nhiên của thông tin, Tức là nó xét cho tính bất ngờ của tin tức đối với khu vực nhận tin. Trang 18 Lý tmáu Thông tin - Khoa Công Nghệ Thông Tin Mô hình của những quá trình truyền tin „ Khái niệm báo cáo thường đi kèm với cùng 1 hệ thống truyền tin. Nhiễu Nguồn vạc Kênh truyền Nguồn nhận„ Sự truyền tin (transmission) „ Là sự dịch rời công bố từ bỏ đặc điểm này đến điểm không giống vào một môi trường xung quanh xác định.„ Nguồn tin (information source) „ Là một tập hòa hợp các tin cơ mà hệ thống truyền tin dùng làm lập các bảng tin tốt thông tin (message) nhằm truyền tin. „ Bảng tin đó là hàng tin được bên phân phát tương truyền. „ Thông tin rất có thể ở trong nhiều nhiều loại nhỏng (1) một hàng kí từ như vào điện tín (telegraph) của các hệ thống gởi năng lượng điện tín (teletype system); Trang 19 Lý ttiết tin tức - Khoa Công Nghệ Thông Tin Mô hình của các quá trình truyền tin (tt) (2) một hàm theo duy nhất đổi thay thời gian f(t) nlỗi trong radio với năng lượng điện thoại; (3) một hàm của thời gian với những trở thành khác như vào vô tuyến trắng Black – ở đây thông tin rất có thể được suy nghĩ nlỗi là 1 hàm f(x, y, t) của toạ độ hai phía cùng thời gian màn trình diễn độ mạnh tia nắng tại điểm (x, y) bên trên màn hình hiển thị và thời hạn t; (4) một vài ba hàm của một vài ba biến hóa nhỏng trong ngôi trường thích hợp vô tuyến màu sắc – ở chỗ này báo cáo bao hàm bố hàm f(x, y, t), g(x, y, t), h(x, y, t) trình diễn độ mạnh tia nắng của những bố nguyên tố màu cơ bản (xanh lá cây, đỏ, xanh dương) „ tin tức trước lúc được tương truyền, tuỳ theo trải đời hoàn toàn có thể được mã hoá nhằm nén, chống nhiễu, bảo mật thông tin, ...„ Kênh tin (channel) „ Là chỗ hình thành và truyền (hoặc lưu lại trữ) biểu đạt mang tin mặt khác ngơi nghỉ đấy xẩy ra các tạp nhiễu (noise) phá hủy tin tức. „ Trong LTTT kênh là một trong những có mang trừu tượng đại biểu đến hỗn hợp bộc lộ cùng tạp nhiễu. Trang trăng tròn Lý ttiết tin tức - Khoa Công Nghệ Thông Tin