Кількісна оцінка інформації

Территория рекламы

Лабораторна робота

Тема «Кількісна оцінка інформації»

Мета роботи: набути навичок у обчисленні кількості інформації/

Короткі теоретичні відомості

1 КІЛЬКІСНА ОЦІНКА ІНФОРМАЦІЇ

Загальне число повідомлень, що не повторюються, яке може бути складене з алфавіту m шляхом комбінування по n символів в повідомленні

. (1)

Невизначеність, що припадає на символ первинного (кодованого) алфавіту, складеного з рівноймовірних і взаємнонезалежих символів

. (2)

(Основа логарифма впливає лише на зручність обчислень)

У разі оцінки ентропії:

а) у двійкових одиницях

б) у десяткових одиницях

де ;

в) у натуральних одиницях

де

Оскільки інформація є невизначеністю, яка знімається при отриманні повідомлення, тоді кількість інформації може бути представлена як добуток загального числа повідомлень к на середню ентропію Н, що припадає на одне повідомлення:

(3)

Для випадків рівноймовірних і взаємонезалежних символів первинного алфавіту кількість інформації в к повідомленнях алфавіту m рівно

У випадку N=mn ентропія, а отже й кількість інформації є максимальною:

I=log mn=n logm.

Для нерівноймовірних алфавітів ентропія на символ алфавіту

(4)

а кількість інформації в повідомленні, складеному з к нерівноймовірних символів

(5)

При розв’язанні задач, в яких ентропія обчислюється як сума добутків ймовірності на її логарифм, незалежно від того, чи є вони безумовними , умовними або ймовірністю сумісних подій .

Кількість інформації визначається виключно характеристиками первинного алфавіту, об'єм – характеристиками вторинного алфавіту. Об'єм інформації

(6)

де lсер– середня довжина кодових слів вторинного алфавіту.

Для рівномірних кодів (всі комбінації коду містять однакову кількість розрядів)

де n – довжина коду (число елементарних посилок в коді). Згідно до (3), об'єм дорівнює кількості інформації, якщо lсер=Н, тобто у разі максимального інформа-ційного навантаження на символ повідомлення. У решті всіх випадків .

Наприклад, якщо кодувати в коді Бодо деякий рівноймовірний алфавіт, що складається з 32 символів, то

При нерівноймовірних елементарних повідомленнях xi ентропія зменшується. У зв'язку з цим вводиться така міра джерела, як статистична надлишковість

.

де H(X) - ентропія джерела повідомлень; H(X)max= log2т - максимально досяжна ентропія даного джерела.

УМОВНА ЕНТРОПІЯ І ЕНТРОПІЯ ОБ'ЄДНАННЯ

Поняття умовної ентропії в теорії інформації використовується при визначенні взаємозалежності між символами кодованого алфавіту, для визначення втрат при передачі інформації по каналах зв'язку, при обчисленні ентропії об'єднання.

У всіх випадках при обчисленніі умовної ентропії в тому або іншому вигляді використовується умовна ймовірність.

Якщо при передачі n повідомлень символ А з'явився m разів, символ В з'явився l разів, а символ А разом з символом В – до к разів, то ймовірність появи символу А ; ймовірність появи символу В ; ймовірність сумісної появи символів А і В ; умовна ймовірність появи символу А щодо символу В і умовна ймовірність появи символу В щодо символу А

(7)

Якщо відома умовна ймовірність, то можна легко визначити і ймовірність сумісної появи символів А і В, використовуючи вирази (7)

(8)

Від класичного виразу (4) формула умовної ентропії відрізняється тим, що ймовірності в ній ймовірності - умовні:

(9)

(10)

де індекс i вибраний для характеристики довільного стану джерела повідомлення А, індекс j вибраний для характеристики довільного стану адресата В.

Розрізняють поняття частинної і загальної|спільної| умовної ентропії. Вирази (9) і (10) є частинними умовними ентропіями.

Загальна умовна ентропія повідомлення В щодо повідомлення А характеризує кількість інформації, що міститься в будь-якому символі алфавіту, і визначається усереднюванням по всіх символах, тобто по всіх станах з урахуванням ймовірності появи кожного із станів, і дорівнює сумі ймовірності появи символів алфавіту на невизначеність, яка залишається після того, як адресат прийняв сигнал

(11)

Вираз (11) є загальним виразом для визначення кількості інформації на один символ повідомлення для випадку нерівномірних і взаємонезалежних| символів.

Оскільки є ймовірністю сумісної появи двох подій, то формулу (11) можна записати у вигляді:

У загальному випадку, якщо ми передаємо m сигналів А і чекаємо отримати m сигналів В, вплив завад в каналі зв'язку повністю описується канальною матри-цею, яку наведено нижче:

В

А

b1 b2 … bj … bm

а1

а2

ai

am

….…………………………………………………………

............................................................................................

…,

Ймовірності, які розташовані по діагоналі, визначають правильний прийом, останні - помилковий. Значення цифр, що заповнюють колонки канальної матриці, зазвичай зменшуються при віддаленні від головної діагоналі, а при повній відсутності перешкод всі, окрім цифр, розташованих на головній діагоналі, дорівнюють нулю.

Якщо описувати канал зв'язку з боку джерела повідомлень, то проходження даного виду сигналу в даному каналі зв'язку описується розподілом умовної ймовірності виду , так для сигналу розподілом:

(13)

Сума ймовірностей розподілу (13) завжди рівна 1.

Втрати інформації, які припадають на долю сигналу описуються за допомогою частинної умовної ентропії вигляду

. (14)

Підсумовування проводиться по j, оскільки i-ий стан (у даному випадки перший) залишається сталим.

Щоб врахувати втрати при передачі всіх сигналів по даному каналу зв'язку, слід підсумувати всі частинні умовні ентропії, тобто провести подвійне підсумовування по i та j. При цьому у разі рівноймовірних появ сигналів на виході джерела повідомлень

(15)

(на m ділимо, оскільки ентропія є невизначеність на один символ).

У разі нерівноймовірної появи символів джерела повідомлень слід врахувати ймовірність появи кожного символу, помноживши на неї відповідну частинну умовну ентропію. При цьому загальна умовна ентропія

. (16)

Оскільки

то для обчислення загальної умовної ентропії нарівні з виразом (16) може бути використане наступний вираз

(17)

Якщо ми досліджуємо канал зв'язку з боку приймача повідомлень, то з отриманням сигналу припускаємо, що був надісланий якійсь із сигналів. При цьому канальна матриця матиме вигляд

В

А

b1 b2 … bj … bm

а1

а2

ai

am

….…………………………………………………………

............................................................................................

В цьому випадку одиниці повинні дорівнювати сумі умовної ймовірності не по рядках, а по стовпцях канальної матриці

.

Частинна умовна ентропія

(18)

а загальна умовна ентропія

(19)

Якщо задані канальна матриця виду (частинна умовна ентропія в цьому випадку відповідає (14)) і безумовна ймовірність виду , то безумовну ймовірність приймача знаходимо як , тобто, якщо задані безумовна ймовірність джерела і канальна матриця, то може бути обчислена ентропія приймача

і навпаки, якщо задані ймовірність виду і канальна матриця, що описує канал зв'язку з боку приймача повідомлень (приватна умовна ентропія при цьому відповідає виразу (17)), то а значить може бути визначена ентропія джерела повідомлень

Ентропія об'єднання використовується для обчислення ентропії сумісної появи статистичних залежних повідомлень. Наприклад, передаючи сто разів цифру 5 по каналу зв'язку з перешкодами, відмітимо, що цифра 5 була прийнята 90 разів, цифра 6 – 8 разів і цифра 4 – 2 рази. Невизначеність виникнення комбінацій вигляду 5 – 4, 5 – 5, 5 – 6 при передачі цифри 5 може бути описана за допомогою ентропії об'єднання. - невизначеність того, що буде послане А, а прийняте В. Для ансамблів переданих повідомлень А і прийнятих повідомлень В ентропія об'єднання є сумою вигляду

(20)

Ентропія об'єднання і умовна ентропія зв'язані між собою наступними спів-відношеннями:

Ентропія об'єднання може бути підрахована за допомогою матриці вигляду

Така матриця володіє чудовою властивістю: при цьому . Ця властивість, у свою чергу, дозволяє обчислюва-ти ентропію як джерела, так і приймача повідомлень безпосередньо за канальною матрицею

, (21)

. (22)

Підсумовування проводиться по i та j, оскільки для того, щоб знайти безумовну вірогідність, необхідно підсумовувати їх по одній координаті (маючи на увазі матричне представлення ймовірності, а для знаходження Н підсумовування проводиться по іншій координаті.

Умовні ймовірність виду і обчислюються як

Кількість інформації на символ повідомлення, переданого по каналу зв'язку, в якому вплив перешкод описується за допомогою ентропії об'єднання, підрахову-ється таким чином

← Предыдущая
Страница 1
Следующая →

Скачать

Лабораторна 1 работа.docx

Лабораторна 1 работа.docx
Размер: 192.1 Кб

Бесплатно Скачать

Пожаловаться на материал

Лабораторна робота Мета роботи: набути навичок у обчисленні кількості інформації

У нас самая большая информационная база в рунете, поэтому Вы всегда можете найти походите запросы

Искать ещё по теме...

Похожие материалы:

Договор на приобретение путевки(ок) физическим лицом

Гидрогазодинамика. Методические указания

Методические указания к выполнению контрольной работы по курсу "Гидрогазодинамика" для бакалавров специальности дневной и заочной форм обучения

Инфекционные болезни. Тест с ответами

Тесты с ответами по инфекционным болезням. Указать один или несколько правильных ответов. Тестирование.

Образовательная система Англии. English

Письменный перевод

Таможенное дело

Сущность организационного поведения. Федеральный закон Российской Федерации «Таможенный Кодекс Российской Федерации». Процессы контроля в деятельности сотрудников таможенных органов. таможенные органы. Основные задачи контроля.

Сохранить?

Пропустить...

Введите код

Ok