Кількісна оцінка інформації

Территория рекламы

Лабораторна робота

Тема «Кількісна оцінка інформації»

Мета роботи: набути навичок у обчисленні кількості інформації/

Короткі теоретичні відомості

1 КІЛЬКІСНА ОЦІНКА ІНФОРМАЦІЇ

Загальне число повідомлень, що не повторюються, яке може бути складене з алфавіту m шляхом комбінування по n символів в повідомленні

. (1)

Невизначеність, що припадає на символ первинного (кодованого) алфавіту, складеного з рівноймовірних і взаємнонезалежих символів

. (2)

(Основа логарифма впливає лише на зручність обчислень)

У разі оцінки ентропії:

а) у двійкових одиницях

б) у десяткових одиницях

де ;

в) у натуральних одиницях

де

Оскільки інформація є невизначеністю, яка знімається при отриманні повідомлення, тоді кількість інформації може бути представлена як добуток загального числа повідомлень к на середню ентропію Н, що припадає на одне повідомлення:

(3)

Для випадків рівноймовірних і взаємонезалежних символів первинного алфавіту кількість інформації в к повідомленнях алфавіту m рівно

У випадку N=mn ентропія, а отже й кількість інформації є максимальною:

I=log mn=n logm.

Для нерівноймовірних алфавітів ентропія на символ алфавіту

(4)

а кількість інформації в повідомленні, складеному з к нерівноймовірних символів

(5)

При розв’язанні задач, в яких ентропія обчислюється як сума добутків ймовірності на її логарифм, незалежно від того, чи є вони безумовними , умовними або ймовірністю сумісних подій .

Кількість інформації визначається виключно характеристиками первинного алфавіту, об'єм – характеристиками вторинного алфавіту. Об'єм інформації

(6)

де lсер– середня довжина кодових слів вторинного алфавіту.

Для рівномірних кодів (всі комбінації коду містять однакову кількість розрядів)

де n – довжина коду (число елементарних посилок в коді). Згідно до (3), об'єм дорівнює кількості інформації, якщо lсер=Н, тобто у разі максимального інформа-ційного навантаження на символ повідомлення. У решті всіх випадків .

Наприклад, якщо кодувати в коді Бодо деякий рівноймовірний алфавіт, що складається з 32 символів, то

При нерівноймовірних елементарних повідомленнях xi ентропія зменшується. У зв'язку з цим вводиться така міра джерела, як статистична надлишковість

.

де H(X) - ентропія джерела повідомлень; H(X)max= log2т - максимально досяжна ентропія даного джерела.

УМОВНА ЕНТРОПІЯ І ЕНТРОПІЯ ОБ'ЄДНАННЯ

Поняття умовної ентропії в теорії інформації використовується при визначенні взаємозалежності між символами кодованого алфавіту, для визначення втрат при передачі інформації по каналах зв'язку, при обчисленні ентропії об'єднання.

У всіх випадках при обчисленніі умовної ентропії в тому або іншому вигляді використовується умовна ймовірність.

Якщо при передачі n повідомлень символ А з'явився m разів, символ В з'явився l разів, а символ А разом з символом В – до к разів, то ймовірність появи символу А ; ймовірність появи символу В ; ймовірність сумісної появи символів А і В ; умовна ймовірність появи символу А щодо символу В і умовна ймовірність появи символу В щодо символу А

(7)

Якщо відома умовна ймовірність, то можна легко визначити і ймовірність сумісної появи символів А і В, використовуючи вирази (7)

(8)

Від класичного виразу (4) формула умовної ентропії відрізняється тим, що ймовірності в ній ймовірності - умовні:

(9)

(10)

де індекс i вибраний для характеристики довільного стану джерела повідомлення А, індекс j вибраний для характеристики довільного стану адресата В.

Розрізняють поняття частинної і загальної|спільної| умовної ентропії. Вирази (9) і (10) є частинними умовними ентропіями.

Загальна умовна ентропія повідомлення В щодо повідомлення А характеризує кількість інформації, що міститься в будь-якому символі алфавіту, і визначається усереднюванням по всіх символах, тобто по всіх станах з урахуванням ймовірності появи кожного із станів, і дорівнює сумі ймовірності появи символів алфавіту на невизначеність, яка залишається після того, як адресат прийняв сигнал

(11)

Вираз (11) є загальним виразом для визначення кількості інформації на один символ повідомлення для випадку нерівномірних і взаємонезалежних| символів.

Оскільки є ймовірністю сумісної появи двох подій, то формулу (11) можна записати у вигляді:

У загальному випадку, якщо ми передаємо m сигналів А і чекаємо отримати m сигналів В, вплив завад в каналі зв'язку повністю описується канальною матри-цею, яку наведено нижче:

В

А

b1 b2 … bj … bm

а1

а2

ai

am

….…………………………………………………………

............................................................................................

…,

Ймовірності, які розташовані по діагоналі, визначають правильний прийом, останні - помилковий. Значення цифр, що заповнюють колонки канальної матриці, зазвичай зменшуються при віддаленні від головної діагоналі, а при повній відсутності перешкод всі, окрім цифр, розташованих на головній діагоналі, дорівнюють нулю.

Якщо описувати канал зв'язку з боку джерела повідомлень, то проходження даного виду сигналу в даному каналі зв'язку описується розподілом умовної ймовірності виду , так для сигналу розподілом:

(13)

Сума ймовірностей розподілу (13) завжди рівна 1.

Втрати інформації, які припадають на долю сигналу описуються за допомогою частинної умовної ентропії вигляду

. (14)

Підсумовування проводиться по j, оскільки i-ий стан (у даному випадки перший) залишається сталим.

Щоб врахувати втрати при передачі всіх сигналів по даному каналу зв'язку, слід підсумувати всі частинні умовні ентропії, тобто провести подвійне підсумовування по i та j. При цьому у разі рівноймовірних появ сигналів на виході джерела повідомлень

(15)

(на m ділимо, оскільки ентропія є невизначеність на один символ).

У разі нерівноймовірної появи символів джерела повідомлень слід врахувати ймовірність появи кожного символу, помноживши на неї відповідну частинну умовну ентропію. При цьому загальна умовна ентропія

. (16)

Оскільки

то для обчислення загальної умовної ентропії нарівні з виразом (16) може бути використане наступний вираз

(17)

Якщо ми досліджуємо канал зв'язку з боку приймача повідомлень, то з отриманням сигналу припускаємо, що був надісланий якійсь із сигналів. При цьому канальна матриця матиме вигляд

В

А

b1 b2 … bj … bm

а1

а2

ai

am

….…………………………………………………………

............................................................................................

В цьому випадку одиниці повинні дорівнювати сумі умовної ймовірності не по рядках, а по стовпцях канальної матриці

.

Частинна умовна ентропія

(18)

а загальна умовна ентропія

(19)

Якщо задані канальна матриця виду (частинна умовна ентропія в цьому випадку відповідає (14)) і безумовна ймовірність виду , то безумовну ймовірність приймача знаходимо як , тобто, якщо задані безумовна ймовірність джерела і канальна матриця, то може бути обчислена ентропія приймача

і навпаки, якщо задані ймовірність виду і канальна матриця, що описує канал зв'язку з боку приймача повідомлень (приватна умовна ентропія при цьому відповідає виразу (17)), то а значить може бути визначена ентропія джерела повідомлень

Ентропія об'єднання використовується для обчислення ентропії сумісної появи статистичних залежних повідомлень. Наприклад, передаючи сто разів цифру 5 по каналу зв'язку з перешкодами, відмітимо, що цифра 5 була прийнята 90 разів, цифра 6 – 8 разів і цифра 4 – 2 рази. Невизначеність виникнення комбінацій вигляду 5 – 4, 5 – 5, 5 – 6 при передачі цифри 5 може бути описана за допомогою ентропії об'єднання. - невизначеність того, що буде послане А, а прийняте В. Для ансамблів переданих повідомлень А і прийнятих повідомлень В ентропія об'єднання є сумою вигляду

(20)

Ентропія об'єднання і умовна ентропія зв'язані між собою наступними спів-відношеннями:

Ентропія об'єднання може бути підрахована за допомогою матриці вигляду

Така матриця володіє чудовою властивістю: при цьому . Ця властивість, у свою чергу, дозволяє обчислюва-ти ентропію як джерела, так і приймача повідомлень безпосередньо за канальною матрицею

, (21)

. (22)

Підсумовування проводиться по i та j, оскільки для того, щоб знайти безумовну вірогідність, необхідно підсумовувати їх по одній координаті (маючи на увазі матричне представлення ймовірності, а для знаходження Н підсумовування проводиться по іншій координаті.

Умовні ймовірність виду і обчислюються як

Кількість інформації на символ повідомлення, переданого по каналу зв'язку, в якому вплив перешкод описується за допомогою ентропії об'єднання, підрахову-ється таким чином

← Предыдущая
Страница 1
Следующая →

Скачать

Лабораторна 1 работа.docx

Лабораторна 1 работа.docx
Размер: 192.1 Кб

Бесплатно Скачать

Пожаловаться на материал

Лабораторна робота Мета роботи: набути навичок у обчисленні кількості інформації

У нас самая большая информационная база в рунете, поэтому Вы всегда можете найти походите запросы

Искать ещё по теме...

Похожие материалы:

Анализ оценки эффективности социальных программ в муниципальном образовании г. Москва (на примере деятельности комитета по здравоохранению и социальной поддержке)

Функции комитета по здравоохранению и социальной поддержке населения администрации города Москва по разработке социальных программ Порядок разработки и реализации программ г. Москва Оценка эффективности социальных программ

Теоритические основы дизайна интерьера

Дизайн интерьера, Интерьер: виды интерьера. Общественные интерьеры. Концепция жилых интерьеров. Композиция решение художественной интерьера. Цветовой нюанс и контраст.

Стратегическое управление

Понятие «стратегическое управление». Характеристики стратегического управления. Стратегическое управление – это такое управление, которое опирается на человеческий потенциал как основу организации

Юридическое делопроизводство. Ответы на тест

Документы коллегиальных органов. Доверенности, делопроизводство. Работы с документами. Требования к тексту. Архивная справка. Коммерческая тайна

Позитивное право: понятие, сущность, свойства

Право представляет собой сложное системное образование. В настоящее время в свете новых подходов к пониманию права особую значимость приобретает деление его на три элемента, на естественное, позитивное и субъективное право.

Сохранить?

Пропустить...

Введите код

Ok