Понятие количества информации - Лекция, раздел Образование, Понятие информации. Общая характеристика процессов сбора, передачи, обработки и накопления информации
Свойство полноты информации предполагает, что имеется возможность измерять количество информации. Какое количество информации содержится в книге или популярной песенке? Что содержит больше информации роман «Война и мир» или сообщение, полученное от товарища? Ответы на подобные вопросы не просты и не однозначны, т.к. во всякой информации присутствует субъективная компонента. А возможно ли вообще объективно измерить количество информации?
Важнейшим результатом теории информации является вывод о том, что в определенных, весьма широких условиях, можно, пренебрегая качественными особенностями информации, выразить ее количество числом, а следовательно, сравнивать количество информации, содержащейся в различных группах данных.
Количеством информации называют числовую характеристику информации, отражающую степень неопределенности, которая исчезает после получения информации.
Пример, Дома осенним утром старушка предположила, что могут быть осадки, а могут и не быть, а если будут, то в форме снега или в форме дождя, т.е. «бабушка надвое сказала – то ли будет, то ли нет, то ли дождик, то ли снег». Затем, выглянув в окно, увидела пасмурное небо и с большой вероятностью предположила – осадки будут, то есть, получив информацию, снизила количество вариантов выбора. Далее, взглянув на термометр, она увидела, что температура отрицательная, значить осадки следует ожидать в виде снега. Т.о., получив последние данные о температуре, бабушка получила полную информацию о предстоящей погоде и исключила все, кроме одного, варианты выбора.
Данный пример показывает, что понятия «информация», «неопределенность», «возможность выбора» тесно связаны. Полученная информация уменьшает число возможных вариантов выбора (т.е. неопределенность), а полная информация не оставляет вариантов вообще.
За единицу информации принимается один бит (binary digit – двоичная цифра). Это количество информации, при котором неопределенность, т.е. количество вариантов выбора, уменьшается вдвое или, другими словами, это ответ на вопрос, требующий односложного разрешения – да или нет.
Бит – слишком мелкая единица измерения информации. На практике, чаще применяются более крупные единицы, например, байт – последовательность из восьми бит. Именно восемь бит, или один байт, используется для того, чтобы закодировать символы алфавита, клавиши клавиатуры компьютера. Один байт также является минимальной единицей адресуемой памяти компьютера, т.е. обратиться в память можно к байту, а не биту.
Широко используются еще более крупные производные единицы информации:
1 байт = 8 бит
1 Кбайт = 1024 байт
1 Мбайт = 1024 Кбайт
1 Гбайт = 1024 Мбайт
1 Тбайт = 1024 Гбайт.
Вопросы для самоконтроля
1. Что называется информацией?
2. В чем различие информации и данных?
3. Что такое адекватность информации, и в каких формах она проявляется?
4. Какие показатели качества информации вы знаете?
5. Как и чем измеряется информация?
Место информатики в современном научном знании В жизни современного человека слово «информация» очень распространено и часто используется в раз
Предмет и структура информатики Термин информатики получил распространение с середины 80-х г.г. прошлого века. Inform – «информация» и matic – «на
Понятия данные и информация Термин «информация» используется во многих науках и во многих сферах человеческой деятельности. Он происх
Свойства информации Понятие «информация» имеет большое количество разнообразных свойств, но для дисциплины информатика наибо
Общая характеристика процессов сбора, передачи, обработки и накопления информации Получение информации тесно связано с информационными процессами. Рассмотрим их виды. Сбор данных
Некоторые системы счисления Основание Система счисления Знаки Двоичная 0,1
Перевод десятичных чисел в систему с основанием В Целая и дробная части десятичного числа переводятся порознь. Чтобы перевести целую часть числа из дес
Соответствие чисел в различных системах счисления Десятичная Восьмеричная Шестнадцатеричная Двоичная
Таблицы сложения и умножения в двоичной системе +
Вопросы для самоконтроля 1. Что понимается под системой счисления? 2. Какие системы счисления вы знаете? 3. В чем отличие пози
Представление чисел в двоичном коде Представление чисел в памяти компьютера имеет специфическую особенность, связанную с тем, что в памяти ком
Представление символьных и текстовых данных Тесты являются важнейшим источником информации. Именно такой характер имеют экономические, плановые, учет
Представление звуковых данных Звук – это упругая продольная волна в воздушной среде. Чтобы ее представить в виде, читаемом компьютером, н
Представление графических данных. Понятие растровой и векторной графики Изображения представляются двумя способами. 1. Графические объекты создаются как совокупности линий,
Структуры данных Автоматизированная обработка больших объемов данных становится проще, если данные упорядочены (структури
Хранение данных При хранении данных решаются две задачи: - как сохранить данные; - как обеспечить быстрый удобный д
Два типа методов сжатия данных и области их применения С моделями представления информации тесно связана еще одна проблема – сжатие информации. При архивир
История развития средств ВТ Слово «компьютер» означает «вычислитель», т.е. устройство для вычислений. Потребность в автоматизации обра
Эволюция ЭВМ В развитии вычислительной техники принято выделять пять поколений ЭВМ. § ЭВМ 1 поколения. ЭВМ,
Компьютеры, как системы обработки информации Изыскание средств и методов механизации и автоматизации работ – одна из основных задач технических дисцип
Представление информации в технических устройствах В основу любого устройства, предназначенного для преобразования или хранения информации, должен быть поло
Элемент памяти Основой любого компьютера является ячейка памяти, которая может хранить данные или команды. Основой любой
Регистры Триггер служит основой для построения функциональных узлов, способных хранить двоичные числа, осуществлят
Понятие архитектуры вычислительной системы Под архитектурой ЭВМ понимают, прежде всего, основные устройства и блоки ЭВМ, а также структуру связей межд
Архитектуры ВС сосредоточенной обработки информации Современный компьютер состоит из нескольких функциональных узлов: процессор, память, контроллеры устройст
Архитектуры с фиксированным набором устройств Компьютерами с сосредоточенной обработкой называются вычислительные машины, у которых одно или несколько
Вычислительные системы с открытой архитектурой В начале 70-х г.г. фирмой DEC был предложен компьютер с архитектурой, позволяющей свободно подключать любые пе
Центральный процессор Центральный процессор (ЦП) – функционально-законченное программно-управляемое устройство обработки и
Внутренние шины Общая шина, наряду с центральным процессором и запоминающим устройством, во многом определяет производ
Внешние запоминающие устройства В отличие от оперативного запоминающего устройства, внешние запоминающие устройства (ВЗУ) обладают больши
Накопители на оптических дисках Оптический компакт-диск, который был предложен в 1982 г. фирмами Philips и Sony первоначально для записи звуковой и
Видеотерминалы Видеотерминалыпредназначены для оперативного отображения текстовой и графической информации в
Устройства ввода информации Клавиатура.Клавиатурой называется устройство для ручного ввода информации в компьютер. Современ
Устройства печати Существует несколько типов устройств, обеспечивающих получение твердой копии электронного документа на б
Сканеры. Сканеры являются наиболее распространенными устройства для решения задачи перевода бумажных документов в
Системное программное обеспечение компьютера Системный уровень ПО — переходный. Программы, работающие на этом уровне, обеспечивают взаимодействие проч
Операционная система. Назначение и основные функции ОС. Особое место среди программных средств всех типов занимают ОС, являясь ядром программного обеспеч
Эволюция ОС ОС за все время существования компьютеров претерпели значительную эволюцию. Первые операционные с
Пользовательские интерфейсы По реализации интерфейса пользователя различают неграфические и графические операционные системы
Разрядная архитектура Первая 32–разрядная ОС для компьютеров IBM PC - Windows 95. Она появилась в результате слияния ОС MS-DOS и ее графическ
Графический пользовательский интерфейс Пользовательский интерфейс Windows использует графический режим видеомонитора. Основу нового графическо
Подключение новых периферийных устройств по технологии Plug and Play Для подключения нового периферийного устройства в среде ОС MS-DOS пользователь должен обладать профессионал
Наличие коммуникационных программных средств Важнейшим направлением развития Windows является включение в ее структуру широко используемых и специальных
Интеграция с глобальной сетью Интернет Разработчики ОС Windows в последующих версиях (начиная с версии Windows 98) особое внимание уделили развитию ее к
Повышение надежности и качества управления Повышение надежности обеспечивают как новые, так и модернизированные старые служебные программы, которые
Повышение надежности Система Windows 98 и последующие версии более производительны по сравнению с предшествующими операционными си
Функции ОС по обслуживанию файловой структуры Несмотря на то, что данные о местоположении файлов хранятся в табличной структуре, пользователю они предст
Создание и именование файлов Файл – это поименованная последовательность байтов произвольной длины. Поскольку из этого определения вы
Особенности Windows Использование «длинных» имен файлов в операционной системе Windows имеет ряд особенностей. 3. Если «длинн
Общая характеристика программ служебного уровня Программное обеспечение этого уровня взаимодействует как с программами базового уровня, так и с прогр
Вычислительных систем Наряду с аппаратным и программным обеспечением средств вычислительной техники в некоторых случаях целесо
Текстовые редакторы Текстовые редакторы – это программы для создания и редактирования текстовых документов. Редакти
Основные версии текстового процессора MS Word Первоначальные версии текстового процессора MS Word относятся к 80-м годам, и соответственно, к ОС MS-DOS. Последне
Режимы отображения документов Начиная с шестой версии MS Word поддерживающей несколько режимов представления документов. В обычном режиме п
Специальные средства ввода текста Остановимся на особенностях текстового процессора Microsoft Word 2000, позволяющих автоматизировать ввод тек
Специальные средства редактирования текста Специальные средства редактирования, характерные для текстового процессора Microsoft Word, на примере последней
Характеристика основных шрифтов Windows По способу создания изображения шрифты подразделяются на растровые и векторные. Растровый шрифт по
Обычный режим В обычном режиме отображаются три области: область структуры, область слайда и область заметок. Эти области
Режим сортировщика слайдов В режиме сортировщика слайдов на экране в миниатюре отображаются сразу все слайды презентации. Это упрощае
Цели моделирования Практически во всех науках о природе, живой и неживой, об обществе, построение и использование моделей явля
Системный подход в моделировании систем Классический (или индуктивный) подход к моделированию рассматривает систему, переходя от частного
Искусственный интеллект Идеи моделирования человеческого разума известны с древнейших времен. Впервые об этом упоминается в сочин
База знаний База знаний – основа любой интеллектуальной системы. В ней хранятся знания, представляющие собой выявленн
Экспертные системы Экспертные системы предназначены для анализа данных, содержащихся в базах знаний, и выдачи рекомендаций по
Вопросы для самоконтроля 1. Перечислите основные направления искусственного интеллекта. 2. Что такое нейросет»? 3. Где приме
Понятие алгоритма Слово «алгоритм» происходит от «algorithmi» – латинской формы описания имени великого узбекского математика IХ
Свойства алгоритма Алгоритм должен быть составлен таким образом, чтобы исполнитель, в расчете на которого он создан, мог одноз
Способы описания алгоритмов Существуют несколько способов описания алгоритма: словесное, псевдокод, блок-схема, программа. Слове
Алгоритмы решения задач Логическая структура алгоритма решения любой задачи может быть выражена комбинацией трех базовых структу
Языки программирования Языки программирования - это искусственные языки. От естественных они отличаются ограниченным числом «сло
Поколение языков программирования Языки программирования принято делить на пять поколений. В первое входят языки, созданные в начале 50-х годо
Лекция 6.1. Системы программирования Процесс создания программы включает: Составление исходного кода программ (рис. 6.1) на языке программир
Обзор языков программирования высокого уровня Fortran (Фортран ). Первый компилируемый язык, созданный Джимом Бэкусом в 50-е годы. Основным критерием при
Языки программирования БД Эта группа отличается от алгоритмических языков, прежде всего решаемыми задачами. Первые БД появились очен
Этапы подготовки и решения задач на компьютере Компьютер предназначен для решения разнообразных задач: научно-технических, инженерных, разработки систем
Определение и назначение Компьютерной сетью называется объединение нескольких ЭВМ для совместного решения информационных, вычисли
Сетевое программное обеспечение Для реализации услуг в сети и доступа пользователей к услугам разрабатываются программное обеспечение. В н
Сетевая операционная система NET Ware В любой физической конфигурации поддержка доступа от одного компьютера к другому, наличие и отсутствие выд
Структура сетевой ОС Net Ware Сетевая ОС Net Ware координирует функционирование Р.С. и регулирует процесс совместного использовани
Утилиты Net Ware Утилиты разделяются на диалоговые и утилиты командной строки. Имеются варианты диалоговой утилиты выполня
Радиальная топология ЛВС С К
Ячеистая топология Сеть с ячеистой топологией обладает высокой избыточностью и надежностью, так как каждый компьютер в такой
Сетевые кабели НА сегодня подавляющая часть компьютерных сетей использует для соединения кабели. Это среда передачи сигн
Беспроводная среда Беспроводная среда не означает полное отсутствие проводов в сети. Обычно беспроводные компоненты взаимоде
Лекция 8.1. Информационная безопасность (ИБ) и ее составляющие В вычислительной технике понятие безопасности является весьма широким. Оно подразумевает и надежность раб
Компьютерные вирусы Компьютерный вирус — это программный код, встроенный в другую программу, или в документ, или в определенные
Методы защиты от компьютерных вирусов Существуют три рубежа защиты от компьютерных вирусов: • предотвращение поступления вирусов; • п
Средства антивирусной защиты Основным средством защиты информации является резервное копирование наиболее ценных данных. При резерви
Защита от несанкционированного вмешательства Организация надежной защиты КС невозможна с помощью только программно - аппаратных средств. Очень важным я
Понятие о несимметричном шифровании информации Системам шифрования столько же лет, сколько письменному обмену информацией. Обычный подход состоит в том, ч
Принцип достаточности защиты Защита публичным ключом (впрочем, как и большинство других видов защиты, информации) не является абсолютно
Понятие об электронной подписи Мы рассмотрели, как клиент может переслать организации свои конфиденциальные данные (например, номер элек
allrefers.ru
С позиции человека информация – это содержание разных сообщений, это самые разнообразные сведения, которые человек получает из окружающего мира через свои органы чувств.
Компьютер – это универсальный программно управляемый автомат для работы с информацией. Компьютер работает с двоичными кодами (1 и 0).
Термин «информация» начал широко употребляться с середины ХХ века. В наибольшей степени понятие информации обязано своим распространением двум научным направлениям: теории связи и кибернетике.
Автор теории связи Клод Шелдон, анализируя технические системы связи (телеграф, телефон, радио) рассматривал их как системы передачи информации. В таких системах информация передается в виде последовательностей сигналов: электрических или электромагнитных.
Основатель кибернетики Норберт Винер анализировал разнообразные процессы управления в живых организмах и в технических системах. Процессы управления рассматриваются в кибернетике как информационные процессы.
Информация в системах управления циркулирует в виде сигналов, передаваемых по информационным каналам.
В ХХ веке понятие информация повсеместно проникает в науку. Нейрофизиология (раздел биологии) изучает механизмы нервной деятельности животного и человека. Эта наука строит модель информационных процессов, происходящих в организме. Поступающая извне информация превращается в сигналы электрохимической природы, которые от органов чувств передаются по нервным волокнам к нейронам (нервным клеткам) мозга. Мозг передает управляющую информацию в виде сигналов той же природы к мышечным тканям, управляя органами движения. Описанный механизм хорошо согласуется с кибернетической моделью Н. Винера.
В другой биологической науке – генетике используется понятие наследственной информации, заложенной в структуре молекул ДНК, присутствующих в ядрах клеток живых организмов (растений, животных, человека). Генетика доказала, что эта структура является своеобразным кодом, определяющим функционирование всего организма: его рост, развитие, патологии и т.д. Через молекулы ДНК происходит передача наследственной информации от поколения к поколению.
Понятие информации относится к числу фундаментальных, т.е. является основополагающим для науки и не объясняется через другие понятия. В этом смысле информация встает в один ряд с такими фундаментальными научными понятиями, как вещество, энергия, пространство, время. Осмыслением информации как фундаментального понятия занимается наука философия.
Согласно одной из философских концепций, информация является свойством всего сущего, всех материальных объектов мира. Такая концепция информации называется атрибутивной (информация – атрибут всех материальных объектов). Информация в мире возникла вместе со Вселенной. С такой широкой точки зрения информация проявляется в воздействии одних объектов на другие.
Другую философскую концепцию информации называют функциональной. Согласно функциональному подходу, информация появилась лишь с возникновением жизни, так как связана с функционированием сложных самоорганизующихся систем, к которым относятся живые организмы и человеческое общество. Можно еще сказать так: информация – это атрибут, свойственный только живой природе. Это один из существенных признаков, отделяющих в природе живое от неживого.
Третья философская концепция информации – антропоцентрическая, согласно которой информация существует лишь в человеческом сознании, в человеческом восприятии. Информационная деятельность присуща только человеку, происходит в социальных системах. Создавая информационную технику, человек создает инструменты для своей информационной деятельности. Можно сказать, что употребление понятия «информация» в повседневной жизни происходит в антропологическом контексте.
Делая выбор между различными точками зрения, надо помнить, что всякая научная теория – это лишь модель бесконечно сложного мира, поэтому она не может отражать его точно и в полной мере.
| Понятие информации | ||
| Теория информации | Результат развития теории связи (К. Шеннон) | Информация – содержание, заложенное в знаковые (сигнальные последовательности) |
| Кибернетика | Исследует информационные процессы в системах управления (Н. Винер) | Информация – содержание сигналов, передаваемых по каналам связи в системах управления |
| Нейрофизиология | Изучает информационные процессы в механизмах нервной деятельности животного и человека | Информация – содержание сигналов электрохимической природы, передающихся по нервным волокнам организма |
| Генетика | Изучает механизмы наследственности, пользуется понятием «наследственная информация» | Информация – содержание генетического кода – структуры молекул ДНК, входящих в состав клетки живого организма |
| Философия | Атрибутивная концепция: Информация – всеобщее свойство (атрибут) материи | |
| Функциональная концепция: Информация и информационные процессы присущи только живой природе, являются ее функцией | ||
| Антропоцентрическая концепция: Информация и информационные процессы присущи только человеку |
Существует два подхода к измерению информации: содержательный (вероятностный) и объемный (алфавитный).
Процесс познания окружающего мира приводит к накоплению информации в форме знаний (фактов, научных теорий и т.д.). Получение новой информации приводит к расширению знания или к уменьшению неопределенности знаний. Если некоторое сообщение приводит к уменьшению неопределенности нашего знания, то можно говорить, что такое сообщение содержит информацию.
Пусть у нас имеется монета, которую мы бросаем. С равной вероятностью произойдет одно из двух возможных событий – монета окажется в одном из двух положений: «орел» или «решка». Можно говорить, что события равновероятны.
Перед броском существует неопределенность наших знаний (возможны два события), и, как упадет монета, предсказать невозможно. После броска наступает полная определенность, так как мы видим, что монета в данный момент находится в определенном положении (например, «орел»). Это сообщение приводит к уменьшению неопределенности наших знаний в два раза, так как до броска мы имели два вероятных события, а после броска – только одно, то есть в два раза меньше.
Чем больше неопределенна первоначальная ситуация (возможно большее количество информационных сообщений – например, бросаем не монету, а шестигранный кубик), тем больше мы получим новой информации при получении информационного сообщения (в большее количество раз уменьшится неопределенность знания).
Количество информацииможно рассматривать как меру уменьшения неопределенности знания при получении информационных сообщений.
Существует формула – главная формула информатики, которая связывает между собой количество возможных информационных сообщений N и количество информации I, которое несет полученное сообщение:
N = 2I
За единицу количества информации принимается такое количество информации, которое содержится в информационном сообщении, уменьшающем неопределенность знания в два раза. Такая единица названа бит.
Если вернуться к опыту с бросанием монеты, то здесь неопределенность как раз уменьшается в два раза и, следовательно, полученное количество информации равно 1 биту.
2 = 21
Бит – наименьшая единица измерения информации.
С помощью набора битов можно представить любой знак и любое число. Знаки представляются восьмиразрядными комбинациями битов – байтами.
1байт = 8 битов = 23 битов
Байт– это 8 битов, рассматриваемые как единое целое, основная единица компьютерных данных.
Некоторые языки используют в качестве знаков не буквы и цифры, а другие символы, например химические формулы, ноты, изображения элементов электрических или логических схем, дорожные знаки, точки и тире (код азбуки Морзе и др.).
Представление информации может осуществляться с помощью языков, которые являются знаковыми системами. Каждая знаковая система строится на основе определенного алфавита и правил выполнения операций над знаками.
Знаки могут иметь различную физическую природу. Например, для представления информации с использованием языка в письменной форме используются знаки, которые являются изображением на бумаге или других носителях; в устной речи в качестве знаков языка используются различные звуки (фонемы), а при обработке текста на компьютере знаки представляются в форме последовательностей электрических импульсов (компьютерных кодов).
При хранении и передаче информации с помощью технических устройств информация рассматривается как последовательность символов – знаков (букв, цифр, кодов цветов точек изображения и т.д.)
Набор символов знаковой системы (алфавит) можно рассматривать как различные возможные состояния (события).
Тогда, если считать, что появление символов в сообщении равновероятно, по формуле
N = 2I
где N– это количество знаков в алфавите знаковой системы, можно рассчитать I – количество информации, которое несет каждый символ.
Информационная емкость знаков зависит от их количества в алфавите. Так, информационная емкость буквы в русском алфавите, если не использовать букву «ё», составляет:
32 = 2I, т.е.I = 5 битов
В латинском алфавите 26 букв. Информационная емкость буквы латинского алфавита также 5 битов.
На основании алфавитного подхода можно подсчитать количество информации в сообщении Ic, для этого необходимо умножить количество информации, которое несет один символ I, на количество символов K в сообщении:
Ic = I ´ K
Например, в слове «информатика» 11 знаков (К=11), каждый знак в русском алфавите несет информацию 5 битов (I=5), тогда количество информации в слове «информатика» Iс=5х11=55 (битов).
С помощью формулы N = 2Iможно определить количество информации, которое несет знак в двоичной знаковой системе: N=2 Þ 2=2I Þ 21=2I Þ I=1 бит
Таким образом, в двоичной знаковой системе 1 знак несет 1 бит информации. При двоичном кодировании объем информации равен длине двоичного кода.
Интересно, что сама единица измерения количества информации бит (bit) получила свое название от английского словосочетания BInary digiТ, т.е. двоичная цифра.
Чем большее количество знаков содержит алфавит знаковой системы, тем большее количество информации несет один знак.
www.ronl.ru
Объемная характеристика информации представляет собой количество символов, содержащихся в конкретном сообщении.
Например, одно и тоже число можно записать разными способами: 1-й способ – 20; 2-й способ – “двадцать”; 3-й способ – ХХ; 4-й способ – 011 000.
Любой из этих способов чувствителен к форме представления (записи) числа.
Символьный подход не связывает количество информации в сообщении с его содержанием.
Алфавит – все множество символов данного языка, включая цифры, знаки препинания и даже пробел.
Полное количество символов – мощность алфавита N. В русском языке N=54. При этом (принимаем, что появление символов равновероятно)
I = log254 = 5,755.
Если количество символов в тексте равно М, то текст несет объем информации I54*М или 5,755 М (при любом содержании!)
Значит, количество информации – функция от мощности алфавита и объема текста.
Книга толще – при прочих равных условиях – объем информации больше (если язык один и тот же!).
Одна страница текста на разных языках – разные объемы информации. Мощность алфавита может быть любой.
Достаточный алфавит содержит 256 символов – русский и латинский алфавиты, цифры, знаки препинания и др. символы, включая элементы псевдографики.
Бит слишком мелкая единица измерения. На практике чаще применяется более крупная единица – байт, равная восьми битам.
Именно восемь бит требуется для того, чтобы закодировать любой из 256 символов. Считая появление различных символов равновероятным, находим, что энтропия достаточного алфавита составляет
I256 = log2 256 = 8 бит = 1 байт.
Значит, любая книга, набранная на компьютере, имеет объем информации 8S байт, где S – число символов. При 40 строках по 60 символов 1 страница содержит 2400 байт информации.
При строгом подходе для определения объема информации на одной странице надо брать формулу Шеннона.
В русском алфавите на 34 символа (все буквы + пробел) при написании русского текста вероятности появления различных символов составляют:
Pа =0,062 Pе=0,072 Pф=0,002 Pо=0,010 Pп=0,032.
Самые высокие вероятности – у О, Е (0,072), самые низкие – у Э(0,003) и Ф(0,002) – для букв. Самый частый – пробел. При равновероятном появлении символов вероятность составила бы
1/34=0,029411764.
При этом на один символ пришлась бы энтропия I=1,2 бит. В немецком алфавите одному символу соответствует энтропия I=1,6 бит.
Широко используются также еще более крупные производные единицы информации:
1 Килобайт (Кбайт) = 1024 байт = 210 байт,
1 Мегабайт (Мбайт) = 1024 Кбайт = 220 байт,
1 Гигабайт (Гбайт) = 1024 Мбайт = 230 байт,
1 Терабайт (Тбайт) = 1024 Гбайт = 240 байт,
1 Петабайт (Пбайт) = 1024 Тбайт = 250 байт.
Скорость передачи информации измеряется в Кбайт/с, бит/с, байт/с.
В силу безусловного приоритета двоичной системы счисления при внутреннем представлении информации в компьютере кодирование «внешних» символов основывается на сопоставлении каждому из них определенной группы двоичных знаков. При этом из технических соображений и из соображений удобства кодирования-декодирования следует пользоваться равномерными кодами, т.е. двоичными группами равной длины.
Попробуем подсчитать наиболее короткую длину такой комбинации с точки зрения человека, заинтересованного в использовании лишь одного естественного алфавита — скажем, английского: 26 букв следует умножить на 2 (прописные и строчные) — итого 52; 10 цифр, будем считать, 10 знаков препинания; 10 разделительных знаков (три вида скобок, пробел и др.), знаки привычных математических действий, несколько специальных символов (типа #, $, & и др.) — итого — 100. Точный подсчет здесь не нужен, поскольку нам предстоит решить простейшую задачу: имея, скажем, равномерный код из групп по N двоичных знаков, сколько можно образовать разных кодовых комбинаций. Ответ очевиден:. Итак, при N=6 К = 64 -явно мало, при N = 7 К = 128 -вполне достаточно.
Однако, для кодирования нескольких (хотя бы двух) естественных алфавитов (плюс все отмеченные выше знаки) и этого недостаточно. Минимально достаточное значение N в этом случае 8; имея 256 комбинаций двоичных символов, вполне можно решить указанную задачу. Поскольку 8 двоичных символов составляют 1 байт, то говорят о системах «байтового» кодирования.
Выводы, касающиеся статистической меры количества информации Шеннона После получения сообщения получатель приобретает такое количество информации, которое равно энтропии полученного сообщения. Если известно, что данное событие наверняка произойдет или не произойдет, его энтропия минимальна и равна 0.
Энтропия максимальна, если ожидаемые события могут произойти с равной вероятностью.
Количество информации, получаемое при приеме равновероятных сообщений, максимально и равно количеству информации по Хартли.
Энтропия сложного события, состоящего из нескольких независимых событий, равна сумме энтропий этих событий.
Энтропия сложного события, состоящего из нескольких зависимых событий, равна не сумме энтропий этих событий и может быть найдена с использованием матрицы взаимных вероятностей получения всевозможных комбинаций этих сообщений.
www.ronl.ru
