Термин информация происходит от латинского informatio , что означает разъяснение , осведомление , изложение . С позиции материалистической философии информация есть отражение реального мира с помощью сведений (сообщений) .Сообщение – это форма представления информации в виде речи ,те-

кста , изображения , циффровых данных , графиков таблиц и т.п. В широком смысле информация – это общенаучное понятие , включающее в себя обмен сведениями между людьми , обмен сигналами между живой и неживой природой ,

людьми и устройствами .

ИНФОРМАЦИЯ – сведения об объектах и явлениях окружающей среды ,

их параметрах , свойствах и состоянии , которые уменьшают имеющуюся о

них степень неопределённости , неполноты знаний .

Информатика рассматривает информацию как концептуально связанные между собой сведения , данные ,понятия , изменяющие наши представления о явлении или объекте окружающего мира . Наряду с информацией в информатике часто употребляется понятие данные . Покажем , в чём их отличие .

Данные могут рассматриваться как признаки или записанные наблюдения , которые по каким-то причинам не используются , а только хранятся . В том случае , если появляется возможность использовать эти данные для уменьшения неопределённости о чем-либо , данные превращаются в информацию . Поэтому можно утверждать , что информацией являются используемые данные .

Пример 1. Напишите на листе десять номеров телефонов в виде последовательности десяти чисел и покажите их вашему другу . Он воспримет эти

цифры как данные , так как они не предоставляют ему никаких сведений .

Затем против каждного номера укажите название фирмы и род деятельности .Для вашего друга непонятные цифры обретут определённость и привратятся из данных в информацию , которую он в дальнейшем мог бы использовать .

Одной из важнейших разновидностей информации является информация экономическая .Её отличительная черта – связь с процессами управления коллективами людей , организацией . Экономическая информация сопровождает процессы производства ,распределения , обмена и потребления материальных благ и услуг . Значительная часть её связана с общественным производством и может быть названа производственной информацией .

ЭКОНОМИЧЕСКАЯ ИНФОРМАЦИЯ - совокупность сведений , отражающих социально-экономические процессы и служащих для управления этими процессами и коллективами людей в производственной и непроизводственной сфере .

При работе с информацией всегда имеется её источник и потребитель (получатель ) . Пути и процессы , обеспечивающие передачу сообщений от источника информации к её потребителю , называют информационными коммуникациями .

Для потребителя информации очень важной характеристикой является её адекватность .

АДЕКВАТНОСТЬ ИНФОРМАЦИИ – это определённый уровень соответствия создаваемого с помощью полученной информации образа реальному объекту , процессу , явлению и т. п.

В реальной жизни вряд ли возможна ситуация ,когда вы сможете рассчитывать на полную адекватность информации . Всегда присутствует некоторая степень неопределённости . От степени адекватности информации реальному состоянию объекта или процесса зависит правельность принятия решений человеком .

Пример 2 .Вы успешно закончили школу и хотите продолжить образование по экономическому направлению .Поговорив с друзьями , вы узнаёте , что подобную подготовку можно получить в разных вузах . В результате таких бесед вы получаете весьма разноречивые сведения , которые не позволяют вам принять решение в пользу того или иного варианта ,т.е. полученная информация неадекватна реальному состоянию дел .Для того чтобы получить более достоверные сведения , вы покупаете справочник для поступающих в вузы , из которого получаете исчерпывающую информацию .В этом случае можно говорить , что информация полученная вами из справочни-

ка , адекватно отражает направления обучения в вузах и помогает вам определиться в окончательном выборе .

ФОРМЫ АДЕКВАТНОСТИ ИНФОРМАЦИИ

Адекватность информации может выражаться в трёх формах : семантической , синтаксической , прагматической .

СИНТАКСИЧЕСКАЯ АДЕКВАТНОСТЬ . Она отображает формально-структурные характеристики иформации и не затрагивает её смыслового содержания . На синтаксическом уровне учитываются тип носителя и способ представления информации , скорость передачи и обработки , размеры кодов представления информации , надёжность и точность преобразования этих кодов и т.п. Информацию рассматриваемую только с синтаксических позиций , обычно называют данными , так как при этом не имеет значения смысловая сторона . Эта форма способствует восприятию внешних структурных характеристик , т.е.синтаксической стороны информации .

СЕМАНТИЧЕСКАЯ (СМЫСЛОВАЯ )АДЕКВАТНОСТЬ .Эта форма определяет степень соответствия образа объекта и самого объекта . Семантический аспект предполагает учёт смыслового содержания информации.

На этом уровне анализируются те сведения , которые отражает информация , рассматриваются смысловые связи . В информатике устанавливаются смысловые связи между кодами представления информации . Эта форма служит для формирования понятий и представлений , выявления смысла , содержания информации и её обобщения .

ПРАГМАТИЧЕСКАЯ (ПОТРЕБИТЕЛЬСКАЯ ) АДЕКВАТНОСТЬ .Она отражает отношение информации и её потребителя , соответствие информации и цели управлении .Прагматический аспект рассмотрения связан с ценностью, полезностью использования информации при выработке потребителем решения для достижения своей цели . С этой точки зрения анализируются потребительские свойства информации .Эта форма адекватности непосредственно связана с практическим использованием информации , с соответствием её целевой функции деятельности системы .

МЕРЫ ИНФОРМАЦИИ

КЛАСИФИКАЦИЯ МЕР

Для измерения информации вводятся два параметра : количество информации I и объём данных Vд .

Эти параметры имеют разные выражения и интерпритацию в зависимости от рассматриваемой формы адекватности . Каждной форме адекватности соответствует своя мера количества информации и объёма данных (рис. 1.).

Меры информации

Синтаксическая Семантическая Прагматическая

мера мера мера

Объём данных Vд

Количество информации Количество информации

Ib(a)=H(b)-H(a), Ic=CVд ,

где H(a) – энтропия где C-коэффициент

содержательности

Рис .1 .Меры информаци

СИНТАКСИЧЕСКАЯ МЕРА ИНФОРМАЦИИ

Эта мера количества информации оперирует с обезличенной информацией,не выражающей смыслового отношения к объекту .Объём данных Vд в сообщеннии измеряется количеством символов (разрядом) в этом сообщении . В различных системах счисления один разряд имеет различнфй вес и соответственно меняется единица измерения данных :

В двоичной системе счисления единица измерения – бит (bit – binary digit – двоичный разряд) ;

Примечание.В современных ЭВМ наряду с минимальной единицей измерения данных “бит” широко используется укрупнённая единица измерения “байт” , равная 8 бит .

В десятичной системе счисления единица измерения – дит (десятичный разряд) .

Пример 3.Сообщение в двоичной системе в виде восьмиразрядного двоичного когда 10111011 имеет объём данных Vд =8 бит.

Сообщение в десятичной системе в виде шестиразрядного числа 275903 имеет оюъём данных Vд = 6 дит .

Количество информации I на синтаксическом уровне невозможно определить без рассмотрения понятия неопределённости состояния системы (энтропии системы) . Действительно , получение информации о какой-либо системе всегда связано с изменением степени неосведомлённости получателя о состоянии этой системы . Рассмотрим это понятие .

Пусть до получения информации потребитель имеет некоторые предварительные ( априорные ) сведения о системе a . Мерой его несведомлённости о системе является функция H (a) , которая в то же время служит и мерой неопределённости состояния системы .

После получения некоторого сообщения b получатель приобрёл некоторую дополнительную информацию I b (a) , уменьшившую его априорную неосве –

домлённость так , что апостериорная ( после получения сообщения b ) неопределённость состояния системы стала Hb(a) .

Тогда количество информации I b(a) о системе , полученной в сообщении b,

определится как

IB(a)=H(a)-Hb(a),

т.е. количество информации измеряется изменением (уменьшением) неопре- делённости состояния системы .

Если конечная неопределённость H b(a) обратится в нуль , то первоначаль-

ное неполное знание заменится полным знанием и количеством информации

Ib(a)= H9A(a) . Иными словами , энтропия системы H (a) может рассматриваться как мера недостающей информации .

Энтропия системы H (a) имеющая Nвозможных состояний , согласно формуле Шеннона , равна :

где Pi-вероятность того , что система находится в i-м состоянии .

Для случая , когда всё состояния системы равновероятны , т.е. их вероят-

ности равны Pi=1/N, её энтропия определяется соотношением

Часто информация кодируется числовыми кодами в той или иной системе счисления , особенно это актуально при представленииинформации в компютере .Естественно , что одно и то же количество разрядов в разных системах счисления может передать разное число состояний отображаемого объекта , что можно представить в виде соотношения

N=m ,

где N – число всевозможных отображаемых состояяний ;

m – основание системы счисления (разнообразие символов , применяемых

в аалфавите ) ;

n – число разрядов ( символов ) в сообщении .

Пример 4 . По каналу связи передаётся n – разрядное сообщение , использующее m различных символов . Так как количество всевозможных кодовых комбинаций будет N=m , то при равновероятности появления лю-

бой из них количество информации , приобретённой абонентом в результате получения сообщения , будет I=log N=nlog m- формула Хартли .

Если в качестве основания логарифма принять m , то l=n .В данном случае количество информации ( при условии полного априорного незнания абонен-

том содержания сообщения ) будет равно объёму данных l=Vд , полученных по каналу связи .Для неравновероятных состояний системы всегда l<Vд=n .

Наиболее часто используются двоичные и десятичные логарифмы . Едени-

цами измерения в этих случаях будут соответственно бит и дит.

Коэффициент (степень) информативности (лаконичность) сообщения оп-

ределяется отношением количества информащии к объёму данных , т.е.

Y = 1/Vд , причём 0<Y<1.

С увеличением Y уменьшаются объёмы работы по преобразованию инфо-

рмации (данных) в системе . Поэтому стремятся к повышению информатив-

ности , для чего разрабатываются специальные методы оптимального коди-

рования информации .

СЕМАНТИЧЕСКАЯ МЕРА ИНФОРМАЦИИ

Для измерения смыслового содержания информации , т.е. её количества на семантическом уровне , наибольшее признание получила тезаурусная мера ,

которая связывает семантические свойства информации со способностью по-

льзователя принимать получившее сообщение . Для этого используется поня-

тие тезаурус пользователя .

ТЕЗАУРУС – это совокупность сведений , которыми располагает пользователь или система .

В зависимости от соотношений между смысловым содержанием информа-

ции S и тезаурусом пользователя Sp изменяется количество семантической

информации Ic , воспринимаемой пользователем и включаемой им в дальней-

шем в свой тезаурус . Характер такой зависимости показан на рис 2 . Рассмо-

трим два предельных случая , когда количество семантической информации

Ic равно 0 :

при Sр= 0 пользователь не воспринимает , не понимает поступающую информацию ;
при Sp- пользователь всё знает , и поступающая информация ему нужна .

Рис. 2 .Зависимость коли-

чества семантической ин-

формации, воспринимаемой

потребителем,от его тезауруса

lc =f (sp)

Максимальное количество семантической информации Ic потребитель приобретает при согласовании её смыслового содержания S со своим тезаур-

усом S p ( S P= Sp opt) , когда поступающая информация понятна пользователю и несёт ему ранее не известные (отсутствующие в его тезаурусе ) сведения .

Следовательно , количество семантической информации в сообщении , количество новых знаний , получаемых пользователём , является величиной

относительной . Одно и то же сообщение может иметь смысловое содержа-

ние для компетентного пользователя и быть бессмысленным (семантический шум ) для пользователя некомпетентного .

При оценке семантического ( содержательного ) аспекта информации необходимо стремиться к согласованию величин S и Sp .

Относительной мерой количества семантической информации может служить коэффициент содержательности C , который определяет как отноше-

ние количества семантической информации к её объёму :

C=Ic/Vд .

ПРАГРАМАТИЧЕСКАЯ МЕРА ИНФОРМАЦИИ

Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели .Эта мера также величина относительная ,

Обусловленная особенностями использования этой информации в той или иной системе . Ценность информации целесообразно измерять в те же самых единицах ( или близких к ним ) , в которых измеряется целевая функция .

Пример 5 . В экономической системе прагматические свой-

ства (ценность) информации можно определить приростом экономического эффекта функционирования , достигнутым благодаря использованию этой информации для управления системой :

Inb(y)=П(y/b)-П(y) ,

где Inb(y) – ценность информационного сообщения B для системы управления y ,

П(y) – априорный ожидаемый экономический эффект функционирования системы управления y ,

П(y/b) – ожидаемый эффект функционирования системы y , что для упра-

вления будет использована информация , содержащаяся в сообщении b .

Для сопоставления введённые меры информации представим в таблице 1 .

ТАБЛИЦА . 1 . ЕДИНИЦЫ ИЗМЕРЕНИЯ ИНФОРМАЦИИ И ПРИМЕРЫ

Мера информации	Единицы измерения	Примеры (для компьютерной области)
Синтаксическая : шенноновский подход компьютерный подход	Степень уменьшения неопределённости Единицы представления информации	Вероятность события Бит , байт , Кбайт и т.д.
Семантическая	Тезаурус Экономические показатели	Пакет прикладных програм , персональный компьютер, компьютерные сети и т.д. Рентабельность , производительность , коэф- Фициент амортизации и т.д.
Прагматическая	Ценность использования	Ёмкость памяти , производительность компьютера , скорость передачи данных и т.д. Денежное выражение Время обработки информации и принятия решений

КАЧЕСТВО ИНФОРМАЦИИ

Возможность и эффективность использования информации обусловливаются такими основаными ее потребительскими показателями качества ,как репрезентативность , содержательность , достаточность , доступность , актуальность , своевременность , точность ,достоверность , устойчивость .

Репрезентативность информации связана с правильностью её оборота

и формирования в целях адекватного отражения свойств объекта . Важней-

шее значение здесь имеют :

правильность концепции , на базе которой сформулировано исходное понятие ;
обоснованность отбора существенных признаков и связей отображаемо-

го явления .

Нарушение репрезентативности информации приводит нередко к суще-

ственным её погрешностям .

Содержательность информации отражает семантическую ёмкость , рав-

Ную отношению количества семантической информации в сообщении к объ-ёму обрабатываемых данных , т.е. C= I c/vд .

С увеличением содержательности информации растёт семантическая про-

пускная способность информационной системы , так как для получения од-

них и тех же сведений требуется преобразовать меньший объём данных .

Наряду с коэффициентом содержательности С , отражающим семантиче-

ский аспект , можно использовать и коэффициент информативности , хара-

ктеризующийся отношением количества синтаксической информации (по Шеннону) к объёу данных Y=1/Vд .

Достаточность (полнота) информации означает , что она содержит мини-

мальный , но достаточный для принятия правильного решения состав (набор показателей) . Понятие полноты информации связано с её смысловым соде-

ржанием (семантикой) и прагматикой . Как не полная , т.е. недостаточная для принятия правильного решения , так и избыточная информация снижает эф-

фективность принимаемых пользователем решений .

Доступность информации восприятию пользователя обеспечивается вы-

полнением соответствующих процедур её получения и преобразования . На-

пример , в информационной системе информация преобразовывается к дос-

тупной и удобной для восприятия пользователя форме . Это достигается , в

частности , и путём согласования её семантической формы и тезаурусом по-

льзователя .

Актуальность информации определяется степенью сохранения ценности информации для управления в момент её использования и зависит от дина-

мики изменения её характеристик и от интервала времени , прошедшего с момента возникновения данной информации .

Современность информации означает её поступление не позже заранее на-

значенного момента времени , согласованного с временем решения постав-

ленной задачи .

Точность информации определяется степенью близости получаемой информации к реальному состоянию объекта , процесса , явления , и т.п. Для информации , отображаемой цифровым кодом , известны четыре классифи-

кационных понятия точности :

формальная точность , измеряемая значением единицы младшего разряда числа ;
реальная точность , определяемая значением единицы последнего разряда числа , верность которого гарантируется ;
максимальная точность , которую можно получить в конкретных условиях функционирования системы ;

4. необходимая точность , определяемая функциональным назначением пользователя .

Достоверность информации определяется её свойством отражать реально существующие объекты с необходимой точностью . Измеряется достоверно-

сть информации доверительной вероятностью необходимой точности , т.е. вероятностью того , что отображаемое информацией значение параметра от-

личается от истиного значения этого параметра в пределах необходимой точ-

ности .

Устойчивость информации отражает её способность реагировать на изме-

нения исходных данных без нарушения необходимой точности . Устойчиво-

сть информации , как и репрезентативность , обусловлена выбранной мето-

дикой её отбора и формирования .

В заключение следует отметить , что такие параметры качества информа-

ции , как репрезентативность , содержательность , достаточность , доступ-

ность , устойчивость , целиком определяются на методическом уровне разработки информационных систем . Параметры актуальности , своевре-

менности , точности и достоверности обусловливаются в большей степени также на методическом уровне , однако на их величину влияет и характер фу-

нкционирования системы , в первую очередь её надёжность . При этом пара-

метры актуальности и точности жёстко связаны соответственно с парамет-

рами своевременности и достоверности .

studfiles.net

Реферат - Меры информации (синтаксическая, семантическая, прагматическая)

Тема 2. Основы представления и обработки информации в компьютере

Литература

1. Информатика в экономике: Учебное пособие/Под ред. Б.Е. Одинцова, А.Н. Романова. – М.: Вузовский учебник, 2008.

2. Информатика: Базовый курс: Учебное пособие/Под ред. С.В. Симоновича. – СПб.: Питер, 2009.

3. Информатика. Общий курс: Учебник/Соавт.: А.Н. Гуда, М.А. Бутакова, Н.М. Нечитайло, А.В. Чернов; Под общ. ред. В.И. Колесникова. – М.: Дашков и К, 2009.

4. Информатика для экономистов: Учебник/Под ред. Матюшка В.М. — М.: Инфра-М, 2006.

5. Экономическая информатика: Введение в экономический анализ информационных систем.- М.: ИНФРА-М, 2005.

Меры информации (синтаксическая, семантическая, прагматическая)

Для измерения информации могут применяться различные подходы, но наибольшее распространение получили статистический (вероятностный), семантический и прагматический методы.

Статистический (вероятностный) метод измерения информации был разработан К. Шенноном в 1948 году, который предложил количество информации рассматривать как меру неопределенности состояния системы, снимаемой в результате получения информации. Количественно выраженная неопределенность получила название энтропии. Если после получения некоторого сообщения наблюдатель приобрел дополнительную информацию о системе Х, то неопределенность уменьшилась. Дополнительно полученное количество информации определяется как:

где — дополнительное количество информации о системе Х, поступившее в форме сообщения;

— начальная неопределенность (энтропия) системы X;

— конечная неопределенность (энтропия) системы X, наступившая после получения сообщения.

Если система X может находиться в одном из дискретных состояний, количество которых n, а вероятность нахождения системы в каждом из них равна и сумма вероятностей всех состояний равна единице, то энтропия вычисляется по формуле Шеннона:

где — энтропия системы Х;

а — основание логарифма, определяющее единицу измерения информации;

n – количество состояний (значений), в котором может находится система.

Энтропия величина положительная, а так как вероятности всегда меньше единицы, а их логарифм отрицательный, поэтому знак минус в формуле К.Шеннона делает энтропию положительной. Таким образом, за меру количества информации принимается та же энтропия, но с обратным знаком.

Взаимосвязь информации и энтропии можно понимать следующим образом: получение информации (ее увеличение) одновременно означает уменьшение незнания или информационной неопределенности (энтропии)

Таким образом, статистический подход учитывает вероятность появления сообщений: более информативным считается то сообщение, которое менее вероятно, т.е. менее всего ожидалось. Количество информации достигает максимального значения, если события равновероятны.

Р. Хартли предложил следующую формулу для измерения информации:

I=log2n ,

где n — количество равновероятных событий;

I – мера информации в сообщении о наступлении одного из n событий

Измерение информации выражается в ее объёме. Чаще всего это касается объёма компьютерной памяти и объёма данных, передаваемых по каналам связи. За единицу принято такое количество информации, при котором неопределённость уменьшается в два раза, такая единица информации получила название бит.

Если в качестве основания логарифма в формуле Хартли используется натуральный логарифм ( ), то единицей измерения информации является нат (1 бит = ln2 ≈ 0,693 нат). Если в качестве основания логарифма используется число 3, то — трит, если 10, то — дит (хартли).

На практике чаще применяется более крупная единица — байт(byte), равный восьми битам. Такая единица выбрана потому, что с ее помощью можно закодировать любой из 256 символов алфавита клавиатуры компьютера (256=28).

Кроме байтов информация измеряется полусловами (2 байта), словами (4 байта) и двойными словами (8 байт). Широко используются также еще более крупные единицы измерения информации:

1 Килобайт (Кбайт — kilobyte) = 1024 байт = 210 байт,

1 Мегабайт (Мбайт — megabyte) = 1024 Кбайт = 220 байт,

1 Гигабайт (Гбайт — gigabyte) = 1024 Мбайт = 230 байт.

1 Терабайт (Тбайт — terabyte) = 1024 Гбайт = 240 байт,

1 Петабайт (Пбайт — petabyte) = 1024 Тбайт = 250 байт.

В 1980 году российский математик Ю. Манин предложил идею построения квантового компьютера, в связи с чем появилась такая единица информации как кубит (quantum bit, qubit)– «квантовый бит» – мера измерения объема памяти в теоретически возможном виде компьютера, использующем квантовые носители, например — спины электронов. Кубит может принимать не два различных значения («0» и «1»), а несколько, соответствующих нормированным комбинациям двух основных состояний спина, что дает большее число возможных сочетаний. Так, 32 кубита могут закодировать около 4 млрд состояний.

Семантический подход. Синтаксической меры не достаточно, если требуется определить не объем данных, а количество нужной в сообщении информации. В этом случае рассматривается семантический аспект, позволяющий определить содержательную сторону сведений.

Для измерения смыслового содержания информации можно воспользоваться тезаурусом ее получателя (потребителя). Идея тезаурусного метода была предложена Н. Винером и развита нашим отечественным ученым А.Ю. Шрейдером.

Тезаурусом называется совокупность сведений, которыми располагает получатель информации. Соотнесение тезауруса с содержанием поступившего сообщения позволяет выяснить, насколько оно снижает неопределенность..

Зависимость объема смысловой информации сообщения от тезауруса получателя

Согласно зависимости, представленной на графике, при отсутствии у пользователя какого-либо тезауруса (знаний о существе поступившего сообщении, то есть =0), или наличия такого тезауруса, который не изменился в результате поступления сообщения ( ), то объем семантической информации в нем равен нулю. Оптимальным будет такой тезаурус ( ), при котором объем семантической информации будет максимальным ( ). Например, семантической информации в поступившем сообщении на незнакомом иностранном языке будет ноль, но и такая же ситуация будет в том случае, если сообщение уже не является новостью, так как пользователю уже все известно.

Прагматическая мера информации определяет ее полезность в достижении потребителем своих целей. Для этого достаточно определить вероятность достижения цели до, и после получения сообщения и сравнить их. Ценность информации (по А.А. Харкевичу) рассчитывается по формуле:

где — вероятность достижения цели до получения сообщения;

— вероятность достижения цели поле получения сообщения;

www.ronl.ru

Доклад - Меры информации (синтаксическая, семантическая, прагматическая)

Тема 2. Основы представления и обработки информации в компьютере

Литература

1. Информатика в экономике: Учебное пособие/Под ред. Б.Е. Одинцова, А.Н. Романова. – М.: Вузовский учебник, 2008.

2. Информатика: Базовый курс: Учебное пособие/Под ред. С.В. Симоновича. – СПб.: Питер, 2009.

4. Информатика для экономистов: Учебник/Под ред. Матюшка В.М. — М.: Инфра-М, 2006.

5. Экономическая информатика: Введение в экономический анализ информационных систем.- М.: ИНФРА-М, 2005.

Меры информации (синтаксическая, семантическая, прагматическая)

где — дополнительное количество информации о системе Х, поступившее в форме сообщения;

— начальная неопределенность (энтропия) системы X;

— конечная неопределенность (энтропия) системы X, наступившая после получения сообщения.

где — энтропия системы Х;

а — основание логарифма, определяющее единицу измерения информации;

n – количество состояний (значений), в котором может находится система.

Р. Хартли предложил следующую формулу для измерения информации:

I=log2n ,

где n — количество равновероятных событий;

I – мера информации в сообщении о наступлении одного из n событий

1 Килобайт (Кбайт — kilobyte) = 1024 байт = 210 байт,

1 Мегабайт (Мбайт — megabyte) = 1024 Кбайт = 220 байт,

1 Гигабайт (Гбайт — gigabyte) = 1024 Мбайт = 230 байт.

1 Терабайт (Тбайт — terabyte) = 1024 Гбайт = 240 байт,

1 Петабайт (Пбайт — petabyte) = 1024 Тбайт = 250 байт.

Зависимость объема смысловой информации сообщения от тезауруса получателя

где — вероятность достижения цели до получения сообщения;

— вероятность достижения цели поле получения сообщения;

www.ronl.ru

Реферат - Подходы к измерению количества информации. Мера Хартли

1. Подходы к измерению количества информации. Мера Хартли.

Современная наука о свойствах информации и закономерностях информационных процессов называется теорией информации. Содержание понятия «информация» можно раскрыть на примере двух исторически первых подходов к измерению количества информации: подходов Хартли и Шеннона: первый из них основан на теории множеств и комбинаторике, а второй — на теории вероятностей.

Информация может пониматься и интерпретироваться в различных проблемах, предметных областях по-разному. Вследствие этого, имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.

Количество информации — числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.

Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации (события).

Мера — непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы равна сумме мер).

Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).

Существуют различные подходы к определению количества информации. Наиболее часто используются следующие два способа измерения информации: объёмный и вероятностный.

Объёмный подход

Используется двоичная система счисления, потому что в техническом устройстве наиболее просто реализовать два противоположных физических состояния: намагничено / не намагничено, вкл./выкл., заряжено / не заряжено и др.

Объём информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом невозмож¬но нецелое число битов.

Для удобства использования введены и более крупные, чем бит, единицы коли¬чества информации. Так, двоичное слово из восьми знаков содержит один байт информации, 1024 байта образуют килобайт (кбайт), 1024 килобайта – мегабайт (Мбайт), а 1024 мегабайта — гигабайт (Гбайт).

Энтропийный (вероятностный) подход

Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определённое представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределённостей называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.

Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень её неопределённости. Поступающее сообщение полностью или частично снимает эту неопределённость, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.

Другими, менее известными способами измерения информации являются:

Алгоритмический подход. Так как имеется много различных вычислительных машин и языков программирования, т.е. разных способов задания алгоритма, то для определённости задаётся некоторая конкретная машина, например машина Тьюринга. Тогда в качестве количественной характеристики сообщения можно взять минимальное число внутренних состояний машины, требующихся для воспроизведения данного сообщения.

Семантический подход. Для измерения смыслового содержания информации, т.е. её количества на семантическом уровне, наибольшее признание получила тезаурусная мера (тезаурус — совокупность сведений, которыми располагает пользо¬ватель или система), которая связывает семанти¬ческие свойства информации со способностью пользователя принимать поступившее сообщение.

Прагматический подход. Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели.

В основе всей теории информации лежит открытие, сделанное Р. Хартли в 1928 году, и состоящее в том, что информация допускает количественную оценку.

Подход Р. Хартли основан на фундаментальных теоретико–множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях.

Если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным. Необходимо найти вид функции, связывающей количество информации, получаемой при выборе некоторого элемента из множества, с количеством элементов в этом множестве, т.е. с его мощностью.

Если множество элементов, из которых осуществляется выбор, состоит из одного–единственного элемента, то ясно, что его выбор предопределен, т.е. никакой неопределенности выбора нет — нулевое количество информации.

Если множество состоит из двух элементов, то неопределенность выбора минимальна. В этом случае минимально и количество информации.

Чем больше элементов в множестве, тем больше неопределенность выбора, тем больше информации.

Количество этих чисел (элементов) в множестве равно:

N = 2i

Из этих очевидных соображений следует первое требование: информация есть монотонная функция от мощности исходного множества.

Выбор одного числа дает нам следующее количество информации:

i = Log2(N)

Таким образом, количество информации, содержащейся в двоичном числе, равно количеству двоичных разрядов в этом числе.

Это выражение и представляет собой формулу Хартли для количества информации.

При увеличении длины числа в два раза количество информации в нем также должно возрасти в два раза, несмотря на то, что количество чисел в множестве возрастает при этом по показательному закону (в квадрате, если числа двоичные), т.е. если

N2=(N1)2,

то

I2 = 2 * I1,

F(N1*N1)= F(N1) + F(N1).

Это невозможно, если количество информации выражается линейной функцией от количества элементов в множестве. Но известна функция, обладающая именно таким свойством: это Log:

Log2(N2) = Log2(N1)2= 2 * Log2(N1).

Это второе требование называется требованием аддитивности.

Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к своей мере на основе эвристических соображений, подобных только что изложенным, но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий.

Пример. Имеются 192 монеты. Известно, что одна из них — фальшивая, например, более легкая по весу. Определим, сколько взвешиваний нужно произвести, чтобы выявить ее. Если положить на весы равное количество монет, то получим 3 независимые возможности: а) левая чашка ниже; б) правая чашка ниже; в) чашки уравновешены. Таким образом, каждое взвешивание дает количество информации I=log23, следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где наименьшее k удовлетворяет условию log23k log2192. Отсюда, k 5 или, k=4 (или k=5 — если считать за одно взвешивание и последнее, очевидное для определения монеты). Итак, необходимо сделать не менее 5 взвешиваний (достаточно 5).

2. Социальные аспекты информатики.

Термин “социальные аспекты” применительно к большей части наук, тем более фундаментальных, звучит странно. Вряд ли фраза “Социальные аспекты математики” имеет смысл. Однако, информатика – не только наука.

И впрямь, мало какие факторы так влияют на социальную сферу обществ (разумеется, находящихся в состоянии относительно спокойного развития, без войн и катаклизмов) как информатизация. Информатизация общества – процесс проникновения информационных технологий во все сферы жизни и деятельности общества. Многие социологи и политологи полагают, что мир стоит на пороге информационного общества. В. А. Извозчиков предлагает следующее определение: “Будем понимать под термином “информационное” (“компьютеризированное”) общество то, во все сферы жизни и деятельности членов которого включены компьютер, телематика, другие средства информатики в качестве орудий интеллектуального труда, открывающих широкий доступ к сокровищам библиотек, позволяющих с огромной скоростью проводить вычисления и перерабатывать любую информацию, моделировать реальные и прогнозируемые события, процессы, явления, управлять производством, автоматизировать обучение и т.д.”. Под “телематикой” понимаются службы обработки информации на расстоянии (кроме традиционных телефона и телеграфа).

Последние полвека информатизация является одной из причин перетока людей из сферы прямого материального производства в, так называемую, информационную сферу. Промышленные рабочие и крестьяне, составлявшие в середине XX века более 2/3 населения, сегодня в развитых странах составляют менее 1/3. Все больше тех, кого называют “белые воротнички” – людей, не создающих материальные ценности непосредственно, а занятых обработкой информации (в самом широком смысле): это и учителя, и банковские служащие, и программисты, и многие другие категории работников. Появились и новые пограничные специальности. Можно ли назвать рабочим программиста, разрабатывающего программы для станков с числовым программным управлением? – По ряду параметров можно, однако его труд не физический, а интеллектуальный.

Информатизация сильнейшим образом влияет на структуру экономики ведущих в экономическом отношении стран. В числе их лидирующих отраслей промышленности традиционные добывающие и обрабатывающие отрасли оттеснены максимально наукоемкими производствами электроники, средств связи и вычислительной техники (так называемой, сферой высоких технологий). В этих странах постоянно растут капиталовложения в научные исследования, включая фундаментальные науки. Темпы развития сферы высоких технологий и уровень прибылей в ней превышают в 5-10 раз темпы развития традиционных отраслей производства. Такая политика имеет и социальные последствия – увеличение потребности в высокообразованных специалистах и связанный с этим прогресс системы высшего образования. Информатизация меняет и облик традиционных отраслей промышленности и сельского хозяйства. Промышленные роботы, управляемые ЭВМ, станки с ЧПУ стали обычным оборудованием. Новейшие технологии в сельскохозяйственном производстве не только увеличивают производительность труда, но и облегчают его, вовлекают более образованных людей.

Казалось бы, компьютеризация и информационные технологии несут в мир одну лишь благодать, но социальная сфера столь сложна, что последствия любого, даже гораздо менее глобального процесса, редко бывают однозначными. Рассмотрим, например, такие социальные последствия информатизации как рост производительности труда, интенсификацию труда, изменение условий труда. Все это, с одной стороны, улучшает условия жизни многих людей, повышает степень материального и интеллектуального комфорта, стимулирует рост числа высокообразованных людей, а с другой – является источником повышенной социальной напряженности. Например, появление на производстве промышленных роботов ведет к полному изменению технологии, которая перестает быть ориентированной на человека. Тем самым меняется номенклатура профессий. Значительная часть людей вынуждена менять либо специальность, либо место работы – рост миграции населения характерен для большинства развитых стран. Государство и частные фирмы поддерживают систему повышения квалификации и переподготовки, но не все люди справляются с сопутствующим стрессом. Прогрессом информатики порожден и другой достаточно опасный для демократического общества процесс – все большее количество данных о каждом гражданине сосредоточивается в разных (государственных и негосударственных) банках данных. Это и данные о профессиональной карьере (базы данных отделов кадров), здоровье (базы данных учреждений здравоохранения), имущественных возможностях (базы данных страховых компаний), перемещении по миру и т.д. (не говоря уже о тех, которые копят специальные службы). В каждом конкретном случае создание банка может быть оправдано, но в результате возникает система невиданной раньше ни в одном тоталитарном обществе прозрачности личности, чреватой возможным вмешательством государства или злоумышленников в частную жизнь. Одним словом, жизнь в “информационном обществе” легче, по-видимому, не становится, а вот то, что она значительно меняется – несомненно.

www.ronl.ru

Смотрите также

..:::Новинки:::..

Windows Commander 5.11 Свежая версия.

Новая версия
IrfanView 3.75 (рус)

Обновление текстового редактора TextEd, уже 1.75a

System mechanic 3.7f
Новая версия

Обновление плагинов для WC, смотрим :-)

Весь Winamp
Посетите новый сайт.

WinRaR 3.00
Релиз уже здесь

PowerDesk 4.0 free
Просто - напросто сильный upgrade проводника.

..:::Счетчики:::..