Устинов В.А.
Высоконадежная система BML
вещательного назначения
(сокращенный
вариант)
В настоящее время фирма SeaChange
International продолжает оставаться
единственным в мире изготовителем
вещательного накопительного
оборудования с полной
устойчивостью к отказам при
хранении лишь одной копии данных.
Базовая структура групповых
видеосерверов вещательного
назначения, разработанная
специалистами фирмы SeaChange International,
обеспечила фирме лидерство в
области больших многоканальных
серверов и позволила организовать
массовое производство очень
больших и надежных дисковых
библиотечных систем онлайновой
структуры. В 1999 г. фирма SeaChange
International начала серийный выпуск
своего первого сервера для
хранения аудиовизуальных данных
(видео- или медиасервер),
выполненный по новейшей и
запатентованной технологии RAID2. Для
обеспечения доставки данных с
высокой степенью защиты дисковых
систем хранения были созданы
опытные RAID-системы типа RAID 3 и RAID 5.
В технологии RAID2 используют два
блока RAID 5: один — в качестве
дискового привода для защиты от
отказа этого привода, а второй
(параллельный) блок — в качестве
сервера для защиты всей системы
против отказа всего узла. Групповой
видеосервер Broadcast MediaCluster (BMC)
состоит из узловых накопителей
конфигурации RAID 5, которая
характеризуется равномерным
распределением блоков данных и
проверочных блоков по всем
дисководам (рис. 1). Благодаря такой
архитектуре обеспечивается
высокая отказоустойчивость
каждого накопителя в отдельности.
Выход из строя одного внутреннего
дисковода остается незаметным для
всех пользователей.
Рис. 1. Внутренняя архитектура узлового накопителя BML 24000
Особенности архитектуры MediaCluster
дополнительно реализуются при
увеличении размера видеосервера,
например, при расширении
количества узлов I/О (вход/выход). С
присоединением еще одного узла к
MediaCluster дополнительно подключаются
16 дисководов для хранения
аудиовизуальных данных. Это не
только увеличивает объем хранения,
но и повышает количество
дисководов (от 96 до 112), работающих
параллельно для чтения и записи
всех файлов, тем самым наращивая
общую пропускную способность
дискового привода.
Использование RAID2 позволяет
отказаться от дублирования
видеоматериала и получить очень
надежный видеосервер, использующий
лишь одну копию данных.
Структура библиотеки Broadcast
MediaLibrary (BML).
Основываясь на архитектурных и
технологических достижениях, фирма
SeaChange International выпустила видеосервер
следующего поколения,
представляющий систему хранения
массива данных и выполняющий роль
цифровой библиотеки онлайновой
ТВ-станции. В библиотеке BML могут
храниться видео/аудиофайлы любого
стандарта, с использованием любой
системы сжатия файлов. Независимо
от имеющейся серверной
инфраструктуры, любая ТВ-студия
может воспользоваться
преимуществами, заложенными в
сервере MediaCluster. Не применяя кодеры
и декодеры реального времени, BML
может использовать всю свою
большую пропускную способность для
передачи видеофайлов в сеть из
системы хранения или для приема и
записи файлов.
Особенности BML.
На рис. 2 представлена структура BML
24000, состоящая из восьми узловых
накопителей. С помощью гигабитного
переключателя в единую систему
можно объединить несколько BML.
Каждый из узловых накопителей RAID2
обладает полезным объемом порядка
2,94 Тбайт, а система, состоящая из 8
узловых накопителей, — более 20
Тбайт. Добавляя к каждому узлу
системы блоки дополнительных
дисководов (Disk Expansion Chassis), полезный
объем хранения можно увеличить до 40
Тбайт, доводя продолжительность
записи до 400 суток при потоке 10
Мбит/с.
 Рис. 2. Библиотека BML 24000 |
Каждый узловой накопитель BML снабжается двумя магистральными линиями связи с подсистемами хранения (одна линия — для записи и хранения данных, вторая — для доставки данных из накопителя). При сетевой передаче пропускная способность каждого узла может составлять 600 Мбит/с. В 8-узловом BML сетевая пропускная способность достигает 4,2 Гбит/с, а доступ осуществляется через 8 раздельных гигабитных соединений на один узловой накопитель. Библиотека BML комплектуется новой сетевой платой (Cluster Interconnect), заменяющей плату IOP (Input/Output Processor) в существующих системах доставки данных с помощью видеосерверов. |
Новая плата повышает
внутриузловую пропускную
способность в 20 раз, создавая
встроенную высокоскоростную
распределенную сеть,
обеспечивающую быстрый доступ к
видеоданным видеосервера MediaCluster
RAID2. Каждый узел BML обладает
надежным соединением с
интегрированным 8-портовым
переключателем (коммутатором). Семь
портов соединены с другими
узловыми накопителями для создания
единой структуры. Восьмой порт
зарезервирован для внутреннего
соединения с дополнительными BML,
позволяющими расширять
многослойные BML для операторов в
тех случаях, когда требуется, чтобы
общий объем памяти был выше 40 Тбайт.
Несколько BML можно соединить друг с
другом (и внешними клиентами), так
как каждый узел каждого
видеосервера MediaCluster имеет
гигабитный порт прямо на
переключателе. Для сетевой
избыточности к каждому узлу можно
присоединить дополнительный
гигабитный порт. Такое соединение
обеспечивает распределение
аудиовизуального материала между
всеми имеющимися BML с сохранением
независимости при обмене данными с
внешними устройствами и
поддержанием высокой степени
надежности хранения и
использования данных.
По сравнению с сетями накопителей
данных (SAN) переключаемая структура
видеосерверов MediaCluster не имеет ни
одного узкого места,
ограничивающего скорость потока
данных при использовании BML.
Наращивание системы подразумевает
увеличение скорости потока данных
с каждым дополнительным узлом,
расширение полосы пропускания при
взаимном соединении кластеров и
сетевом соединении. Возможности
масштабирования оборудования SAN
ограничиваются необходимостью
использовать громоздкие и дорогие
переключатели Fibre Channel. Проблема
обостряется при расширении
подсистемы хранения SAN. Чем больше
памяти добавляется к SAN, тем больше
снижается скорость передачи данных
(пропускная способность). Для SAN с
дублированием расходы на
модернизацию удваиваются из-за
необходимости применять более
дорогие коммутаторы
волоконно-оптического канала и
обеспечения избыточности данных.
Таким образом, использование
библиотек BML с видеосерверами
MediaCluster при наращивании ведет к
удвоенной рентабельности по
сравнению с сетями накопителей
данных SAN.
Экономические факторы
Решение о целесообразности
применения «онлайновых» библиотек
принимается исходя из
экономических факторов. Что
касается создателей
видеосодержимого, то онлайновое
хранение видеоданных ведет к
получению дополнительных доходов.
При использовании технологии RAID2
библиотеки типа BML обладают более
значительными экономическими
выгодами, чем аналогичное
библиотечное оборудование на
дисковых носителях, работающее в
режиме прямого
многопользовательского доступа.
Дополнительные непроизводственные
(накладные) расходы, связанные с
библиотеками BML, способными
доставлять аудиовизуальные данные
даже в случае, когда один узловой
накопитель из восьми является
полностью независимым, составляют
всего 12,5%, что значительно ниже
расходов на другие аналогичные
системы (см. таблицу). Преимущество
MediaCluster по стоимости становится еще
более очевидным при учете расходов
на обеспечение пропускной
способности сети.
Использование
видеосодержимого библиотеки BML
BML поддерживает различные
протоколы доступа к файлам и
управления ими. Самый простой
способ использования BML — в
качестве сервера FTP/НТТР общего
назначения. Запросы сторонних
клиентов и доступ к BML
обеспечивается с помощью обычного
процесса аутентификации
пользователя (через IР-протокол).
После аутентификации пользователи
получают право быстро
просматривать содержимое BML,
запрашивать нужные файлы,
производить запись нового
материала и стирать данные.
Другим распространенным способом
является использование BML в
качестве аудиовизуального архива
(Media Archive) с автоматическим
управлением (рис. 3) или с
управлением через архивного
менеджера (Archive Manager) (рис. 4). В
традиционной вещательной среде BML
может работать, как быстрая
кэш-память файлового сервера
цифрового архива на магнитной
ленте. Здесь с помощью сетевого
IР-коммутатора BML должна иметь
несколько гигабитных соединений с
вещательными видеосерверами или
сторонними видеосерверами.
Рис.3. Библиотека BML в
качестве автоматизированного
архива аудиовизуальных данных
Рис.4. Библиотека BML как архив с управлением через Archive Manager
В случае использования более
совершенных систем управления
данными доступ к BML должен
осуществляться через специальное
оборудование Archive Manager и системы
иерархического управления памятью
(HSM). В этом случае BML может также
использоваться в виде
дополнительного устройства к
архиву данных на магнитной ленте
(или вместо него) с дополнительными
параметрами и повышенной степенью
безопасности. Управление
видеосодержимым библиотеки BML
осуществляется устройствами Archive
Manager/HSM с помощью интерфейса VStream API.
Обмен файлами между обычными и
вещательными видеосерверами и
пользователями FTP/НТТР не
осуществляется с обращением
непосредственно к библиотеке BML.
Пользователь размещает свой запрос
в устройстве Archive Manager/HSM,
функционирующем в качестве сервера
доступа для BML и распознает все
запросы на видеосодержимое.
Выполняя функцию промежуточного
сервера (сервера-представителя,
proxy-server) для BML, Archive Manager
осуществляет аутентификацию
пользователя и разрешает доступ к
содержимому BML. Если необходимо, то
видеосодержимое BML может быть
представлено в виде иерархической
файловой системы посредством
логического разделения физической
памяти BML между несколькими
пользователями. Как только
аутентификация и право доступа
запрашивающего пользователя
подтверждены, промежуточный сервер
завершает прием запроса и дает
команду BML выполнить запрос
первоначального пользователя,
которым теперь является сервер. Так
как при этом BML выполняет функции
пользователя, библиотека
изолируется от внешних клиентов, и
применение файлового сервера
логически исключается. Это
повышает безопасность BML в условиях
ограничения физического доступа со
стороны пользователей и сети к
архиву видеоданных.
Совместно с библиотекой BML Archive
Manager/HSM обладает некоторыми
дополнительными свойствами,
повышающими безопасность и
функциональность всей системы. К
таким свойствам относятся:
– использование масштабируемой
базы данных для управления
массивами аудиовизуальных данных;
– логическое разделение памяти BML;
– представление содержимого BML в
виде иерархической файловой
системы;
– оперативная аутентификация
запросов клиентов, то есть
авторизация пользователя для
выполнения операций чтение/запись
или удаление содержимого,
обеспечение совместимости формата
видеосодержимого с приложением
пользователя и т.д.;
– изменение методов управления
массивом данных (автоматическое
перемещение данных между приемными
серверами, нелинейными монтажными
устройствами, передающими
серверами, BML и ленточным или
дисковым архивом);
– частичная реставрация файла на
основе временного кода;
– транскодирование между
форматами видеоизображения,
схемами сжатия и форматами файлов;
– создание миниатюрных копий
видеофайлов для просмотра и поиска;
– объединение файлов клиента для
максимального увеличения
пропускной способности сети.
Полный текст - в № 11 журнала "ТКТ" за 2003 год
Реставрация
кинофильмов в Швеции
(сокращенный
вариант)
В последние годы в Швеции большое
внимание уделяется реставрации
кинофильмов, ставших
классическими, снятых выдающимися
режиссерами: Бергманом, Шёбергом,
Хальстрёмом, Видербергом и др.
Несмотря на относительно небольшую
численность населения страны (9 млн
человек), собрание киноархива
отличается богатством и
разнообразием и включает не только
художественные, но и
документальные кинопроизведения.
Компания AB Svensk Filmindustri, которой
принадлежат права на большинство
архивных материалов, проявила
инициативу по восстановлению
первоначального качества
«золотого» кинофонда страны для
демонстрации на экранах страны и за
рубежом. В качестве основного
носителя для записи мастер-копии и
распределения кинофильмов были
выбраны DVD, изготовленные с
HD-разрешением и предназначенные
для последующей демонстрации как с
кинопленки, так и с помощью
цифровой аппаратуры. В будущем
предусматривается реализация
кинофильмов, записанных в
стандарте HD DVD.
Во время обследования состояния
архивных кинофильмов было
обнаружено, что многие оригиналы
нуждаются в реставрации, так как
при их хранении в течение
нескольких десятилетий произошли
необратимые изменения качества
изображения. Выполнить реставрацию
и изготовить новые
мастер-оригиналы кинофильмов было
поручено компании Marsmotel,
находящейся в Стокгольме.
На первом этапе реставрации
киноизображение сканировалось с
пленки с отсчетами 1920 x 1080р и без
сжатия записывалось в стандарте D6
на видеоленте в цифровом виде. Для
сканирования использовался один из
двух имеющихся в Швеции
телекинодатчиков марки Philips Spirit.
Основной этап реставрации фильма,
записанного на видеоленте с
частично отреставрированным
киноизображением на стадии
сканирования, происходит на
оборудовании iQ, установленном в
производственном цехе компании
Marsmotel. В рабочий блок устройства iQ
оцифрованные кинокадры вводятся с
магнитной ленты через пульт
управления с лентопротяжным
механизмом Philips Voodoo D6. После ввода в
устройство iQ кадры, подготовленные
к основным реставрационным
операциям, через гигабитную сеть
Ethernet из файлового сервера
становятся доступными для
оборудования Discreet Inferno и Softimage XSI.
Управление перемещением рабочего
материала осуществляется
специальной программой, с помощью
обычной компьютерной сети. Если
изображение имеет искажения, то
кадр подвергается развертыванию до
тех пор, пока не будет достигнуто
максимально реалистичное
изображение. Средняя скорость
реставрации — 1500 кадр/ч, или около 1
мин кинофильма. Таким образом, за
три 6-ч рабочих смены в день
реставрируется приблизительно 18
мин кинофильма, а полная
реставрация полнометражного
художественного фильма занимает от
10 дней до трех недель.
Сравнение затрат времени на
реставрационную обработку цветных
и черно-белых кинофильмов
показывает, что они примерно
одинаковы. В основном это
объясняется тем, что черно-белые
ленты имеют больше повреждений и
других физических дефектов, чем
цветные.
После завершения обработки каждого
кадра кинофильм вновь переносится
на магнитную ленту D6, на пост
авторизации DVD, или передается в
комплекс Chimney Pot для
постпроизводства, оснащенный
аппаратом Arrilaser, осуществляющим
покадровый перенос изображений на
кинопленку для последующей
демонстрации кинофильма на большом
экране.
Полный текст - в № 11 журнала "ТКТ" за 2003 год
