Технологии создания и обработки мультимедийной информации

ТИТУЛЬНЫЙ ЛИСТ

Содержание  
 

1 Технологии создания  и обработки мультимедийной информации 

     Мультимедиа - это интерактивные системы, обеспечивающие работу с неподвижными изображениями и движущимся видео, анимированной компьютерной графикой и текстом, речью и высококачественным звуком.

     Термин  «мультимедиа» можно перевести  на русский язык как «много сред» (иногда переводят как много носителей). Как правило, под термином мультимедиа  подразумевают взаимодействие визуальных и аудио эффектов под управлением интерактивного программного обеспечения.

     Приведем  еще несколько определений термина «мультимедиа»:

• Мультимедиа (multimedia) - это современная компьютерная информационная технология, позволяющая объединить в компьютерной системе текст, звук, видеоизображение, графическое изображение и анимацию (мультипликацию).
• Мультимедиа - это сумма технологий, позволяющих компьютеру вводить, обрабатывать, хранить, передавать и отображать (выводить) такие типы данных, как текст, графика, анимация, оцифрованные неподвижные изображения, видео, звук, речь.

     Мультимедиа-технологии являются одним из наиболее перспективных  и популярных направлений информатики. Они имеют цель создание продукта, содержащего "коллекции изображений, текстов и данных, сопровождающихся звуком, видео, анимацией и другими визуальными эффектами (Simulation), включающего интерактивный интерфейс и другие механизмы управления".

     Несомненным достоинством и особенностью технологии являются следующие возможности мультимедиа, которые активно используются в представлении информации:

• возможность хранения большого объема самой разной информации на одном носителе;
• возможность увеличения (детализации) на экране изображения или его наиболее интересных фрагментов, иногда в двадцатикратном увеличении (режим "лупа") при сохранении качества изображения. Это особенно важно для презентации произведений искусства и уникальных исторических документов;
• возможность сравнения изображения и обработки его разнообразными программными средствами с научно- исследовательскими или познавательными целями;
• возможность выделения в сопровождающем изображение текстовом или другом визуальном материале "горячих слов (областей)", по которым осуществляется немедленное получение справочной или любой другой пояснительной (в том числе визуальной) информации (технологии гипертекста и гипермедиа);
• возможность осуществления непрерывного музыкального или любого другого аудиосопровождения, соответствующего статичному или динамичному визуальному ряду;
• возможность использования видеофрагментов из фильмов, видеозаписей и т.д., функции "стоп-кадра", покадрового "пролистывания" видеозаписи;
• возможность включения в содержание диска баз данных, методик обработки образов, анимации (например, сопровождение рассказа о композиции картины графической анимационной демонстрацией геометрических построений ее композиции) и т.д.;
• возможность подключения к глобальной сети Internet;
• возможность работы с различными приложениями (текстовыми, графическими и звуковыми редакторами, картографической информацией);
• возможность создания собственных "галерей" (выборок) из представляемой в продукте информации (режим "карман" или "мои пометки");
• возможность "запоминания пройденного пути" и создания "закладок" на заинтересовавшей экранной "странице";
• возможность автоматического просмотра всего содержания продукта ("слайд-шоу") или создания анимированного и озвученного "путеводителя-гида" по продукту ("говорящей и показывающей инструкции пользователя"); включение в состав продукта игровых компонентов с информационными составляющими;
• возможность "свободной" навигации по информации и выхода в основное меню (укрупненное содержание), на полное оглавление или вовсе из программы в любой точке продукта.

       Стандаpт  МРС (точнее сpедства пакета пpогpамм Multimedia Windows  - опеpационной сpеды для создания и воспpоизведения мультимедиа-инфоpмации) обеспечивают pаботу с pазличными типами данных мультимедиа.  

       НЕПОДВИЖНЫЕ ИЗОБРАЖЕНИЯ. Сюда входят вектоpная  гpафика и pастpовые каpтинки; последние включают изобpажения, полученные путем оцифpовки с помощью pазличных плат захвата, гpаббеpов, сканеpов, а также созданные на компьютеpе или закупленные в виде готовых банков изображений.

       Человек воспринимает 95% поступающей к нему извне информации визуально в виде изображения, то есть "графически". Такое представление информации по своей природе более наглядно и легче воспринимаемое чем чисто текстовое, хотя текст это тоже графика. Однако в силу относительно невысокой пропускной способности существующих каналов связи, прохождение графических файлов по ним требует значительного времени. Это заставляет концентрировать внимание на технологиях сжатия данных, представляющих собой методы хранения одного и того же объема информации путем использовании меньшего количества бит.

       Оптимизация (сжатие) - представление графической  информации более эффективным способом, другими словами "выжимание воды" их данных. Требуется использовать преимущество трех обобщенных свойств  графических данных: избыточности, предсказуемости и необязательности. Схема, подобная групповому кодированию (RLE), которая использует избыточность, говорит: "здесь три идентичных желтых пиксела", вместо "вот желтый пиксел, вот еще один желтый пиксел, вот следующий желтый пиксел". Кодирование по алгоритму Хаффмана и арифметическое кодирование, основанные на статистической модели, использует предсказуемость, предполагая более короткие коды для более часто встречающихся значений пикселов. Наличие необязательных данных предполагает использование схемы кодирование с потерями ("JPEG сжатие с потерями").

       Например, для случайного просмотра человеческим глазом не требуется того же разрешения для цветовой информации в изображении, которая требуется для информации об интенсивности. Поэтому данные, представляющие высокое цветовое разрешение, могут быть исключены. Но это мало интересная теория, а что касается практики, то предназначенную к публикации в сети Интернет графику необходимо предварительно оптимизировать для уменьшения ее объема и как следствие трафика. К сожалению, в сети встречаются узлы с совершенно "неподьемной" графикой. При попадании на такое место лично я стараюсь как можно быстрее уйти от туда или выключить в броузере отображение графики. Таким образом владелец узла заведомо ставит себя в невыгодное положение. Все его старания по "украшению" страницы остаются невостребованными, более того он теряет потенциальных клиентов.

       Сетевая графика представлена преимущественно  двумя форматами файлов - GIF (Graphics Interchange Format) и JPG (Joint Photographics Experts Group). Оба этих формата являются компрессионными, то есть данные в них уже находятся в сжатом виде. Сжатие, тем не менее, представляет собой предмет выбора оптимального решения. Каждый из этих форматов имеет ряд настраиваемых параметров, позволяющих управлять соотношением качество-размер файла, таким образом за счет сознательного снижения качества изображения, зачастую практически не влияющего на восприятие, добиваться уменьшения объема графического файла, иногда в значительной степени. GIF поддерживает 24-битный цвет, реализованный в виде палитры содержащей до 256 цветов. К особенностям этого формата следует отнести последовательность или перекрытие множества изображений (анимация) и отображение с чередованием строк (Interlaced). Несколько настраиваемых параметров GIF формата, позволяют управлять размером получаемого файла.  

       Наибольшее  влияние оказывает глубина цветовой палитры. GIF-файл может содержать  от 2-х до 256 цветов. Соответственно меньшее  содержание цветов в изображении (глубина  палитры), при прочих равных условиях, дает меньший размер файла. Другой параметр влияющий на размер GIF-файла - диффузия. Это позволяет создавать плавный переход между различными цветами или отображать цвет отсутствующий в палитре путем смешения пикселов разного цвета.

       Применение  диффузии увеличивает размер файла, но зачастую это единственный способ более менее адекватной передачи исходной палитры рисунка после  редуцирования. Другими словами  применение диффузии позволяет в  большей степени урезать глубину  палитры GIF-файла и тем самым способствовать его "облегчению". При создании изображения, которое в последующем будет переведено в GIF формат, следует учитывать следующую особенность алгоритма LZW сжатия. Степень сжатия графической информации в GIF зависит не только от уровня ее повторяемости и предсказуемости (однотонное изображение имеет меньший размер, чем беспорядочно "зашумленное"), но и от направления, т.к. сканирование рисунка производится построчно. Это хорошо видно на примере создания GIF-файла с градиентной заливкой. Для примера приведены два рисунка. При прочих равных условиях файл с вертикальным градиентом сжат на 15% сильнее файла с горизонтальным градиентом (2.6 Кб против 3.0 Кб). На самом деле не существует формата JPG, как такового. В большинстве случаев это файлы форматов JFIF и JPEG-TIFF сжатые по JPEG технологиям сжатия.

       Однако  для практики это не имеет особого  значения, поэтому будем придерживаться общепринятой терминологии. Алгоритм сжатия JPEG с потерями не очень хорошо обрабатывает изображения с небольшим количеством цветов и резкими границами их перехода. Например нарисованную в обыкновенном графическом редакторе картинку или текст. Для таких изображений более эффективным может оказаться их представление в GIF-формате.

       В то же время он незаменим при подготовке к web-публикации фотографий. Этот метод может восстанавливать полноцветное изображение практически неотличимое от подлинника, используя при этом около одного бита на пиксел для его хранения. Алгоритм сжатия JPEG достаточно сложен, поэтому работает медленнее большинства других. Кроме того к этому типу сжатия относится несколько близких по своим свойствам JPEG технологий. Основным параметром присутствующим у всех них является качество изображения (Q-параметр) измеряемое в процентах. Размер выходного JPG-файла находится в прямой зависимости от этого параметра, т.е. при уменьшении "Q", уменьшается размер файла.  

       Видео и анимация.  Сейчас, когда сфера применения персональных компьютеров всё расширяется, возникает идея создать домашнюю видеостудию на базе компьютера. Однако, при работе с цифровым видеосигналом возникает необходимость обработки и хранения очень больших объёмов информации, например одна минута цифрового видеосигнала с разрешением SIF (сопостовимым с VHS) и цветопередачей true color (миллионы цветов) займёт (288 x 358) пикселов x 24 бита x 25 кадров/с x 60 c = 442 Мб. С помощью MPEG-сжатия объем видеоинформации можно заметно уменьшить без заметной деградации изображения.  

       Что такое MPEG?  

       MPEG - это аббревиатура от Moving Picture Experts Group. Эта экспертная группа работает под совместным руководством двух организаций - ISO (Организация по международным стандартам) и IEC (Международная электротехническая комиссия). Официальное название группы - ISO/IEC JTC1 SC29 WG11. Ее задача - разработка единых норм кодирования аудио- и видеосигналов. Стандарты MPEG используются в технологиях CD-i и CD-Video, являются частью стандарта DVD, активно применяются в цифровом радиовещании, в кабельном и спутниковом ТВ, Интернет-радио, мультимедийных компьютерных продуктах, в коммуникациях по каналам ISDN и многих других электронных информационных системах.

       Часто аббревиатуру MPEG используют для ссылки на стандарты, разработанные этой группой. На сегодняшний день известны следующие:

• MPEG-1предназначен для записи синхронизированных видеоизображения (обычно в формате SIF, 288 x 358) и звукового сопровождения на CD-ROM с учетом максимальной скорости считывания около 1.5 Мбит/с.
• Качественные параметры видеоданных, обработанных MPEG-1, во многом аналогичны обычному VHS-видео, поэтому этот формат применяется в первую очередь там, где неудобно или непрактично использовать стандартные аналоговые видеоносители.
• MPEG-2 предназначен для обработки видеоизображения соизмеримого по качеству с телевизионным при пропускной способности системы передачи данных в пределах от 3 до 15 Мбит/с, профессионалы используют и большие потоки. На технологии, основанные на MPEG-2, переходят многие телеканалы, сигнал сжатый в соответствии с этим стандартом транслируется через телевизионные спутники, используется для архивации больших объёмов видеоматериала.
• MPEG-3 - предназначался для использования в системах телевидения высокой чёткости (high-defenition television, HDTV) со скоростью потока данных 20-40 Мбит/с, но позже стал частью стандарта MPEG-2 и отдельно теперь не упоминается. Кстати, формат MP3, который иногда путают с MPEG-3, предназначен только для сжатия аудиоинформации и полное название MP3 звучит как MPEG Audio Layer III.
• MPEG-4 - задает принципы работы с цифровым представлением медиа-данных для трех областей: интерактивного мультимедиа (включая продукты, распространяемые на оптических дисках и через Сеть), графических приложений (синтетического контента) и цифрового телевидения.

         Как происходит сжатие?  

       Базовым объектом кодирования в стандарте MPEG является кадр телевизионного изображения. Поскольку в большинстве фрагментов фон изображения остается достаточно стабильным, а действие происходит только на переднем плане, сжатие начинается с создания исходного кадра. Исходные (Intra) кадры кодируются только с применением внутрикадрового сжатия по алгоритмам, аналогичным используемым в JPEG. Кадр разбивается на блоки 8х8 пикселов. Над каждым блоком производится дискретно-косинусное преобразование (ДКП) с последующим квантованием полученных коэффициентов. Вследствие высокой пространственной корелляции яркости между соседними пикселами изображения, ДКП приводит к концентрации сигнала в низкочастотной части спектра, который после квантования эффективно сжимается с использованием кодирования кодами переменной длины. Обработка предсказуемых (Predicted) кадров производится с использованием предсказания вперёд по предшествующим исходным или предсказуемым кадрам.

       Кадр  разбивается на макроблоки 16х16 пикселов, каждому макроблоку ставится в соответствие наиболее похожий участок изображения  из опорного кадра, сдвинутый на вектор перемещения. Эта процедура называется анализом и компенсацией движения.

       Допустимая  степень сжатия для предсказуемых  кадров превышает возможную для  исходных в 3 раза. В зависимости  от характера видеоизображения, кадры  двунаправленной интерполяции (Bi-directional Interpolated) кодируются одним из четырёх  способов: предсказание вперёд; обратное предсказание с компенсацией движения - используется когда в кодируемом кадре появляются новые объекты изображения; двунаправленное предсказание с компенсацией движения; внутрикадровое предсказание - при резкой смене сюжета или при высокой скорости перемещения элементов изображения. С двунаправленными кадрами связано наиболее глубокое сжатие видеоданных, но, поскольку высокая степень сжатия снижает точность восстановления исходного изображения, двунаправленные кадры не используются в качестве опорных. Если бы коэффициенты ДКП передавались точно, восстановленное изображение полностью совпадало бы с исходным. Однако ошибки восстановления коэффициентов ДКП, связанные с квантованием, приводят к искажениям изображения.

       Чем грубее производится квантование, тем меньший объём занимают коэффициенты и тем сильнее сжатие сигнала, но и тем больше визуальных искажений.  

       ЗВУК. Возможна цифpовая запись, pедактиpование, pабота с волновыми фоpмами звуковых данных (WAVE), а также фоновое воспpоизведение цифpовой музыки. Пpедусмотpена pабота чеpез поpты MIDI. Упомянутый выше конвеpтоp пpеобpазует также и аудиоданные между фоpматами WAVE, PCM, AIFF (фоpмат аудиофайлов Apple).В последнее время особую популярность получил формат Mp3. В его основу лег MPEG-1 Layer III (об этой части стандарта у на и идет речь) положены особенности человеческого слухового восприятия, отраженные в "псевдоаккустической" модели. Разработчики MPEG исходили из постулата, что далеко не вся информация, которая содержится в звуковом сигнале, является полезной и необходимой - большинство слушателей ее не воспринимают. Поэтому определенная часть данных может быть сочтена избыточной. Эта "лишняя" информация удаляется без особого вреда для субъективного восприятия. Приемлемая степень "очистки" определялась путем многократных экспертных прослушиваний. При этом стандарт позволяет в заданных пределах менять параметры кодирования - получать меньшую степень сжатия при лучшем качестве или, наоборот, идти на потери в восприятии ради более высокого коэффициента компрессии. Звуковой wav-файл, преобразованный в формат MPEG-1 Layer III со скоростью потока (bitrate) в 128 Кбит/сек, занимает в 10-12 раз меньше места на винчестере. При кодировании со скоростью 256 Кбайт/сек на компакт-диске можно записать около 6 часов музыки при разнице в качестве по сравнению с живым звучанием, доступной лишь тренированному экспертному уху.