Lý thuyeˆ´ t thông tin:Cung caˆ´ p các công cu

˙

mô hình hóa và phân tích, dùng trong

các quá trình xu’’ lý thông tin: mô hình hóa thông tin, mô hình

hóa nguoˆ'n tin, mô hình hóa môi tru’o'’ng truyeˆ'n tin, phân tích các

quá trình truyeˆ'n tin, bieˆ´ n d¯oˆ’i thông tin chu’ d¯oˆ

˙

ng, không chu’

d¯oˆ

˙

ng

Thông tin là sự phản ánh sự vật, sự việc, hiện tượng của thế giới khách quan và các hoạt động của con người trong đời sống xã hội. Điều cơ bản là con người thông qua việc cảm nhận thông tin làm tăng hiểu biết cho mình và tiến hành những hoạt động có ích cho cộng đồng.

Thông tin được lưu trữ trên nhiều dạng vật liệu khác nhau như được khắc trên đá, được ghi lại trên giấy, trên bìa, trên băng từ, đĩa từ... Ngày nay, thuật ngữ "thông tin" (information) được sử dụng khá phổ biến. Thông tin chính là tất cả những gì mang lại hiểu biết cho con người. Con người luôn có nhu cầu thu thập thông tin bằng nhiều cách khác nhau: đọc báo, nghe đài, xem truyền hình, giao tiếp với người khác...Thông tin làm tăng hiểu biết của con người, là ngườn gốc của nhận thức và là cơ sở của quyết định

Môi trường vận động thông tin là môi trường truyền tin, nó bao gồm các kênh liên lạc tự nhiên hoặc nhân tạo như sóng âm, tia sáng, dây dẫn, sóng âm thanh, sóng hình... Kênh liên lạc thường nối các thiết bị của máy móc với nhau hay nối với con người. Con người có hình thức liên lạc tự nhiên và cao cấp là tiếng nói, từ đó nghĩ ra chữ viết. Ngày nay nhiều công cụ phổ biến thông tin đã xuất hiện: bút viết, máy in, điện tín, điện thoại, phát thanh, truyền hình, phim ảnh v.v.

Nguồn rời rạc là nguồn tạo ra các tin dưới dạng rời rạc

nguông thông tin rời rạc là nguông tạo ra 1 chuỗi các biến ngẫu nhiên rời rạc

bộ ký hiệu là tập hợp tất cả các kí hiệu

từ là 1 tập hợp hữu hạn các ký hiệu

bộ từ là tập hợp tất cả các từ mà bộ ký hiệu có thể tạo ra

nguồn rời rạc không nhớ là nguồn mà xác suất xuất hiện một ký hiệu không phụ thuộc vào các  ký hiệu xuất hiện trước

nguồn dừng là nguồn mà xs xuất hiện các ký hiệu không phụ thuộc vào gốc thời gian mà chỉ phụ thuộc vào vị trí tương quan giữa các ký hiệu

nguồn dừng Ergodic nguồn có các giá trị trung bình tập hợp bằng các gt tb theo tg

nguồn Markov: p(xin\xjn,xkn-2...)=p(xin\xjn-1)

thông lượng của kênh là lg tin tối đa kênh cho đi qua trong 1 đơn vị thời gian mà ko gây sai lầm

độ dư của nguồn: khi tốc độ lập tin của nguồn chưa đạt cực đại còn khả năng để tối ưu nguồn:

Mã hiệu là mã sử dụng tập kí hiệu số để mã hóa thông tin