Опис навчальної дисципліни

Мета викладання навчальної дисципліни “Теорія інформації ”полягає у оволодінні основними положеннями теорії інформації та кодування, такими як поняття про ентропію та кількісні міри вимірювання інформації, основними теоремами теорії інформації для дискретних каналів зв’язку, відомостями про принципи оптимального та завадостійкого кодування та використання їх в сучасних інформаційних системах.

Основні завдання вивчення дисципліни “Теорія інформації ”полягають у формуванні у магістрів знань про інформацію та ентропію, принципи обробки сигналів, завадостійкого кодування та побудови цифрових систем передавання інформаці.

Після вивчення дисципліни студенти повинні

знати:

основи теорії інформації та сучасні напрямки її розвитку; основи теорії сигналів, спектрального аналізу та цифрової обробки сигналів; правила визначення і основні властивості ентропії неперервних і дискретних випадкових систем, середньої кількості інформації, що переноситься одним символом; теореми про пропускну здатність дискретних каналів з завадами і без завад, принципи оптимального та завадостійкого кодування; правила визначення і основні властивості ентропії неперервних і дискретних випадкових систем, середньої кількості інформації, що переноситься одним символом; теореми про пропускну здатність дискретних каналів з завадами і без завад, принципи оптимального та завадостійкого кодування; алгоритми завадостійкого кодування інформації.

вміти:

розраховувати ентропію найпростіших дискретних випадкових систем; розраховувати пропускну здатність дискретного каналу з завадами і без завад; кодувати найпростіші повідомлення по методу Шеннона-Фано, Хафмана та Хеммінга; використовувати сучасні методи теорії інформації, сигналів та кодування в інформаційних системах.