Технологии мультимедия

Технологии мультимедия

Содержание:

Введение 3

Что может звук? 3

3D-звук 7

Creative или Aureal? 10

Применение звука 12

Мультимедиа в сети Интернет 12

Сам себе видеорежиссер 13

Компьютерная графика 14

Различные области применения мультимедиа 14

Обучение с использованием компьютерных технологий 14

Фирменные презентации и реклама продукции 16

Моделирование на компьютере и кибернетическое пространство (Cyberspace) 17

"Живое" видео на PC 19

Другие области применения 20

Мультимедиа в учреждениях 20

Мультимедиа в организации службы агентов (внешняя служба) 21

Система ориентирования 22

Справочники и руководства 22

Обслуживание и ремонт 23

Производство и производственный контроль 23

Архивирование и документирование 24

Заключение 24

Список литературы 26

Введение

Термин «мультимедиа» можно перевести на русский язык как «много сред»

(иногда переводят как много носителей). Как правило, под термином

мультимедиа подразумевают взаимодействие визуальных и аудиоэффектов под

управлением интерактивного программного обеспечения.

Понятие «мультимедиа» настолько широко и расплывчато, что в него можно

включить огромный спектр программного и аппаратного обеспечения, от 8-

битной звуковой платы и накопителя для компакт-дисков с одинарной скоростью

до профессиональных программ и компьютеров, используемых при создании

специальных киноэффектов и даже целых компьютерных фильмов.

Мультимедиа-продукты можно разделить на несколько категорий в

зависимости от того, на какие группы потребителей они ориентированны. Одна

предназначена для тех, кто имеет компьютер дома, - это обучающие,

развивающие программы, всевозможные энциклопедии и справочники, графические

программы, простые музыкальные редакторы и т.п. Компакт-диски с программами

пользуются такой популярностью у пользователей домашних мультимедиа-систем,

что количество предлагаемых на рынке наименований компакт-дисков ежегодно

удваивается. Другая категория – это бизнес-приложения. Здесь мультимедиа

служит для иных целей. С ее помощью оживают презентации, становится

возможным организовать видеоконференции «в живую», а голосовая почта

настолько хорошо заменяет офисную АТС, что обычный телефон начинает

восприниматься как архаизм. И, конечно, в настоящее время компьютер

становится незаменимым для бухгалтера, экономиста, менеджера и многих

других специалистов, использующих его для сложных бухгалтерских и

статистических расчетов. В наши дни персоналки становятся незаменимыми

помощниками, без которых не обходится ни малое предприятие, не

разветвленные корпорации.

А есть еще немногочисленная группа продуктов, ориентированных

исключительно на профессионалов. Для них предлагаются средства производства

видеофильмов, компьютерной графики, а также домашние музыкальные студии.

Что может звук?

Мультимедиа началась со звука, поэтому вполне логично, что этому

направлению следует впервую очередь уделить внимание. Звуковые устройства

значительно видоизменились в ходе эволюционного развития. Сейчас очень

интересно проследить изменение подхода к проектированию звуковых плат для

компьютеров, а также определить цели, для которых они предназначались.

Персональный компьютер фирмы IBM был вооружен PC-Speaker'ом, ставшим на

долгие годы единственным средством внести разнообразие в монотонный гул

блоков питания и вентиляторов. Сколько выдумки и фантазии было проявлено,

чтобы звуки, издаваемые "изначальным средством воспроизведения", хоть как-

то походили на прототипы из реального мира. И так было до тех пор, пока не

явилась Ad Lib – первая звуковая карта для PC. Она могла только

синтезировать звуки по командам центрального процессора, так как ни

цифровой записи, ни воспроизведения не было. Синтезатор от фирмы "Ямаха"

(OPL2, микросхема YM3812), использовавший метод частотной модуляции

(Frequency Modulation - FM), то есть метод синтеза музыкальных звуков, при

котором итоговый звук получается в результате взаимной модуляции

синусоидальных сигналов, создаваемых несколькими генераторами. Звуковая

(правильнее – музыкальная) карта Ad Lib, фактически захватившая рынок в

1987-88 годах, была столь популярна, что появившийся немного позднее - в

ноябре 1989 года - первый Sound Blaster (SB) был сделан с нею совместимым.

Кстати, предтечами SB были аудиокарта Creative Music System (C/MS),

выпущенная в августе 1987 года, и стереофоническая (!) карта Creative Game

Blaster, появившаяся ровно годом позже. Звуковая карта Sound Blaster, от

мало кому тогда известной фирмы Creative, никогда не добилась бы и толики

выпавшей на ее долю популярности, если бы не обладала одним чрезвычайно

важным свойством: это была первая звуковая карта для PC, которая, помимо FM-

синтезатора, обладала цифровой записью и воспроизведением звука. Именно с

этого устройства начинается отсчет времени существования того, что сегодня

есть почти в каждом компьютере и называется собственно звуковой картой.

Разрядность оцифровки, которую обеспечивала Sound Blaster, составляла 8

бит, а частота дискретизации составляла 4-11 Кгц при записи и 4-22 Кгц при

воспроизведении, карта поддерживала только монорежимы. До качества,

обеспечиваемого звуковыми компакт-дисками (16 бит, 44,1 Кгц, стерео),

конечно, далеко, но и это уже было кое-что. Феноменальный успех SB сделал

ее имя чуть ли не нарицательным, и до сих пор многие в нашей стране

называют так любую звуковую карту. Новые возможности стали тут же

использовать производители игр, и видеоряд дополнился звуковым.

После революции, совершенной SB, развитие звуковых карт некоторое время

шло эволюционно. В модели Sound Blaster версии 2.0 увеличилась частота

дискретизации: при записи звука – до 15 Кгц, а при воспроизведении – до

45,4 Кгц. Затем появилась и стереофоническая карта – Sound Blaster Pro (май

1991 года), в которой частота дискретизации в режиме записи догнала

воспроизведение и составила 45,4 Кгц, однако максимальная частота для

работы со стереозвуком была меньше – 22,05 Кгц. Развивались и методы

синтеза. Sound Blaster Pro II имела синтезатор OPL3, обеспечивающий

значительно более качественное звучание. Следующим шагом стала звуковая

карта Sound Blaster 16, выпущенная в июне 1992 года. Цифра 16 в названии

отражает основное достоинство карты: запись и воспроизведение цифрового

звука в PC стали 16-разрядными. Качество CD становилось все ближе и ближе,

оставалось только разобраться с шумами (разбираемся и до сих пор). Частота

дискретизации новой карты в любом режиме составляла 4-45,4 Кгц, добавились

регуляторы тембра по низким и высоким частотам. Вариантов SB 16

существовало столько, что перечислить их все не сможет, наверное, и сама

фирма Creative. SB 16 завершила эволюционный ряд первого поколения SB и

стала предтечей новой революции.

Революция случилась в методах синтеза звука, но прежде чем к ней

перейти, отметим еще один момент. SB в чем-то повторила судьбу самого IBM

PC, став индустриальным стандартом и вызвав к жизни многочисленные клоны (у

нас наиболее популярны были карты на чипах ESS - Enhanced Sound Source).

Независимые производители стали обеспечивать совместимость подавляющего

большинства выпускаемых звуковых карт с принятым за основу Sound Blaster

Pro. Практически любая звуковая карта 1999 года выпуска, даже рассчитанная

на шину PCI и выполненная на самом современном звуковом чипсете, продолжает

хотя бы декларироваться, как совместимая с Sound Blaster Pro. Более того

производители материнских плат стали предусмотривать на многих из них

специальный разъем для обеспечения SB-совместимости PCI-звуковых плат – так

называемый SB Link. Кроме того, часто обеспечивалась также программная или

аппаратная совместимость еще с одним пионером отрасли, хорошо

зарекомендовавшим себя прежде всего на корпоративном рынке, – звуковой

картой Microsoft Windows Sound System, построенной на чипе AD1848 от фирмы

Analog Devices.

Качество FM-синтеза не удовлетворяло музыкантов и очень скоро перестало

удовлетворять рядовых пользователей. Как решение, был предложен метод WT

(WaveTable – волновая таблица) – воспроизведение заранее записанных в

цифровом виде звуков реальных инструментов – сэмплов (samples). Для

изменения высоты звука сэмпл воспроизводится с большей или меньшей

скоростью по отношению к нормальной, то есть той, на которой он был

записан. WT быстро завоевал место под солнцем, сначала в виде

дополнительных WT-плат (например, Wave Blaster, дочерняя плата от фирмы

Creative на основе технологий фирмы E-mu, выпущенная в ноябре 1992 года, и

Wave Blaster II, поступившая на рынок в январе 1995 года). Wave Blaster и

ее аналоги подключались к специально предусмотренному разъему на SB 16.

Были и другие варианты подключения. WT затем нашла свое место и в

технологии AWE (Advanced Wave Effects), реализованной в звуковой карте SB

AWE32 (март 1994 года), ее многочисленных вариантах исполнения и в

пришедшей ей на смену в ноябре 1996 года SB AWE64 (и ее разновидностях). С

этого момента цифра в названии звуковой карты от Creative стала означать не

разрядность платы, а количество одновременно воспроизводимых голосов.

Запись и воспроизведение цифрового звука на платах этого семейства

реализованы аналогично SB 16 Pro (SB 16+ASP), а WT-синтезатоp построен на

базе чипа EMU8000, обеспечивающего синтез 32 голосов на основе

высококачественных 16-pазpядных сэмплов с частотой дискретизации до 45,4

Кгц. EMU8000 также имел эффект-пpоцессоp, позволяющий создавать эффекты

реверберации (эхо, многочисленные повторения звука для придания звуку

объемности), хорус (хор, "размножение инструментов", имитация ансамбля) и

некоторые другие. SB AWE64 помимо 32 аппаратных голосов поддерживал еще и

32 программных, благодаря наличию в своем составе программного WT-

синтезатоpа WaveSynth/WaveGuide, использующего элементы новой технологии

физического моделирования акустических инструментов, что позволило повысить

качество звучания струнных и духовых инструментов.

Здесь намеренно делается акцент на звуковых платах фирмы Creative. В то

время она выпускала безусловный мэйнстрим, а полупрофессиональные и

профессиональные карты от Gravis Ultrasound, Voyetra Turtle Beach и других

производителей хоть и обладали целым рядом уникальных характеристик, но не

определяли развитие отрасли в целом. Это было прерогативой Creative, так

как, по большому счету, конкурентов на потребительском рынке у нее не было.

В результате случился застой, длившийся целых четыре (!) года (1994-1998).

В этот период даже новые модели аудиокарт являлись лишь модернизацией

старых. Наиболее показательна в этом отношении AWE64 по отношению к AWE32.

Возможно, такое положение продолжалось бы и дольше, но назрел переход на

шину PCI и 3D-звук.

Все звуковые платы SB вплоть до AWE64 включительно были реализованы в

конструктиве под шину ISA. Однако тенденция отказа от наследия IBM PC

требовала перехода на шину PCI, значительно более быструю, а также

позволявшую разделять ресурсы компьютера, что существенно упрощало его

конфигурирование. Более того, переход на PCI легко решал вопрос организации

хранения банков инструментов не в ПЗУ или ОЗУ на самой звуковой карте, а в

системном ОЗУ компьютера. Немаловажно и то, что PCI-карты были заметно

дешевле. Первую реально работоспособную PCI-аудиокарту создала фирма

Ensoniq, которую шустрая Creative тут же и купила. Произошло это в декабре

1997 года. После доработки и модернизации программного обеспечения карта

стала называться довольно своеобразно - Creative Labs Ensoniq AudioPCI

(апрель 1998 года).

3D-звук

Его элементы появлялись на звуковых картах уже давно, но, как правило,

в реализации, аналогичной применяемой в бытовой аудиотехнике низшей ценовой

категории. Это, например, расширение стереобазы (кое-кто вообще скажет, что

к 3D это не имеет никакого отношения) и самые простейшие варианты Surround

("звук вокруг"). Кто бы мог подумать, что компьютерные игры простимулируют

наряду с 3D-видео интерес к "настоящему" 3D-звуку, вокруг которого и

развернулась борьба за передел рынка.

Борьба за первенство в 3D-звуке развернулась между двумя крепостями,

первая из которых звалась A3D, а вторая - EAX. Но сначала несколько слов о

самом 3D-звуке. Дело в том, что под этим термином, как правило, понимаются

три различные технологии.

. Stereo Expansion (расширение стереобазы) - технология, которая

увеличивает ширину звукового поля, используя избыточную информацию,

содержащуюся в стереосигнале. Вариантов исполнения существует

множество, из них самые известные – Sound Retrieval System (SRS) от

фирмы SRS Labs и Spatializer 3-D от фирмы Spatializer Labs.

. Surround ("звук вокруг") – технология, которая использует специально

закодированные данные в формате surround с целью воспроизведения

нескольких звуковых каналов в их пространственной перспективе на

небольшом числе реальных источников звука, к примеру, пяти звуковых

каналов на двух колонках. Одна из последних реализаций технологии в

компьютерной технике – Creative Multi-Speaker Surround (CMSS).

. Positional 3D Audio (позиционируемый 3D-звук) – технология, которая

основывается на определении местоположения в трехмерном пространстве

каждого из множества звуковых потоков.

Первые две технологии применяются в основном при воспроизведении музыки

как на персональных компьютерах, так и на специализированной бытовой и

профессиональной аудиоаппаратуре, в домашних кинотеатрах и т. п. Следует

отметить, что продвинутые варианты технологии Surround широко

распространены также в киноиндустрии. Третья технология прочно обосновалась

в новейших компьютерных играх. В чистом виде эти технологии встречаются все

реже, и в настоящее время появляется все больше реализаций 3D-звука, где

они комбинируются самым причудливым образом.

Но это еще не все. Для обеспечения реализма звучания, помимо точного

позиционирования источников звука необходима имитация взаимодействия звука

с окружающим пространством, то есть, прежде всего, имитация звуков,

отраженных от стен, пола и потолка (реверберация), прошедших через

препятствие (окклюзия) и поглощенных препятствием (обструкция). Необходимо

также произвести дистанционное моделирование, то есть учесть удаленность

источника звука от слушателя.

Фирма Aureal выпускает прикладной интерфейс программирования (API) под

названием A3D. При подготовке этой технологии Aureal опиралась на

разработки лаборатории исследований компьютерного звука (Computer Audio

Research Laboratory) университета Сан-Диего, выполненные под руководством

Дика Мура (Dick Moore) в начале 80-х годов. Помимо этого, фирма Aureal

приобрела компанию Crystal River, в которой трудился Скотт Фостер (Scott

Foster), в свое время по заказу NASA разработавший Convolvotron – одну из

первых реализаций технологии виртуальной реальности. Второй крепостью стала

технология от фирмы Creative под названием EAX (Environmental Audio

Extensions), расширяющая возможности прикладного интерфейса

программирования (API) Microsoft Direct Sound 3D. Creative использовала

результаты работ, проведенных Джоном Чоунингом (John Chowning) в

Стэнфордском университете в конце 70-х годов, а также четвертьвековой опыт

компании E-mu Systems, которая занималась созданием звукового оборудования

для Голливуда и в марте 1993 года была приобретена фирмой Creative.

В связи с тем, что EAX не является полноценным звуковым API, так как в

ней отсутствуют средства позиционирования 3D-звука (используются

возможности Microsoft Direct Sound 3D, или DS3D), мы этот вопрос опустим, а

более подробно поговорим о методах имитации взаимодействия звука с

окружающей средой. Единственное, отметим, что при позиционировании 3D-звука

в настоящее время все чаще используются бинауральные процессы обработки

звука, и, как правило, это функции HRTF (Head Related Transfer Function),

посредством которых наши органы слуха совместно с соответствующими центрами

головного мозга определяют местоположение источника звука. Качество

реализации 3D-позиционирования в A3D и DS3D схожи, хотя существует мнение,

что позиционирование звука в вертикальной плоскости реализовано в A3D

лучше.

Так в чем же разнятся подходы Aureal и Creative к имитации

взаимодействия звука с окружающей средой? Различия корнями уходят в

университетскую науку США. Упомянутый выше Дик Мур разрабатывал методы, с

помощью которых можно точно вычислить все необходимые параметры звука в

зависимости от физических свойств среды. Джон Чоунинг пошел другим путем, и

основой его метода моделирования акустической среды стал учет особенностей

восприятия звука человеком. Фирма Aureal выбрала первый путь, а Creative –

второй.

Реализацией подхода фирмы Aureal является технология WaveTracing, суть

которой заключается в проведении анализа упрощенной геометрии окружающего

пространства и расчете в режиме реального времени путей распространения

звуковых волн, их отражения и поглощения в пассивных объектах акустической

среды. У этой технологии есть и недостатки. Прежде всего, она по понятным

причинам требует больших вычислительных ресурсов. Существуют также проблемы

и с качеством, достижимым в реальных условиях. Дело в том, что алгоритмы,

применяемые в WaveTracing, используют только ранние отраженные звуки,

напрочь отбрасывая их рассеянные остатки (diffuse tail), играющие огромную

роль в акустическом представлении пространства. И это зачастую приводит к

явно слышимым артефактам.

Технология EAX от Creative использует для моделирования акустических

свойств среды некую обобщенную модель (прежде всего, реверберации), при

этом заранее создаются так называемые пресеты, содержащие в себе набор

параметров звука для каждого типа среды. Creative руководствовалась, по-

видимому, следующими соображениями. Широко известно, что в кинематографии

(кстати, вспомните об опыте создания звуковых студий для Голливуда, который

имеет E-mu) звук практически никогда не записывается сразу при съемках, а

добавляется позже в студийных условиях. И дело не только в том, что на

натуре трудно получить высокое качество. В искусстве всегда присутствует

некоторая доля условности, более того, она даже необходима для увеличения

степени воздействия на зрителя. Например, по замыслу режиссера необходимо,

чтобы в какой-то момент на плотном звуковом фоне (шум автомобилей и т. п.)

стало отчетливо слышаться тиканье часов. В жизни такого не бывает. А по

сюжету фильма – надо. Естественно, звуковой фон и часы записываются

отдельно, а потом сводятся воедино нужным способом. Все вышесказанное

относится и к компьютерным играм, которые в своих лучших проявлениях, типа

"Half-Lifе", уже относятся скорее к категории интерактивных игровых

компьютерных фильмов. Раз так, то зачем заниматься расчетами путей

прохождения звука в виртуальной акустической среде, когда можно, как в

кинематографии, использовать заранее подготовленную высококачественную

модель. Результат, утверждает Creative, не хуже, чем обеспечивает

WaveTracing, а во многих случаях и лучше. Не все с этим согласны, и такой

подход обычно критикуется за отсутствие интерактивности.

Справедливости ради, необходимо упомянуть компанию QSound, которая не

смогла возвести свою крепость, но хорошо подготовленные позиции

оборудовала. Компания предлагает целое семейство API (как полноценных, так

и для очень специфических применений) под названиями Q3D, QMSS, QSoft3D,

Qmixer и др., алгоритмы работы которых основываются не столько на

формальных (прежде всего, математических) методах, сколько на результатах,

Страницы: 1, 2, 3