Устинов В.А.
Мощные автоматические системы для
цифровой реставрации
архивных киновидеодокументов
(сокращенный
вариант)
Типичными модулями реставрационного оборудования, предназначенными для снижения ошибок и помех, являются устройства, устраняющие дрожание и вспышки, царапины и пятна (а также следы пыли, искры и т.п.), шум различной природы. Как правило, блок-схема реставрационного оборудования состоит из ряда модулей (рис. 1), предназначенных для автономного устранения каждого дефекта видеоизображения. Некоторые модули являются основными при обработке последовательности изображений, например, отображающие движение или действие, и они указываются в качестве модулей, расположенных параллельно звеньям реставрационного оборудования. На рис. 1 представлено несколько внешних блоков, которые должны работать автономно, не требуя вмешательства оператора, хотя это трудно выполнимо.
Рис. 1. Блок-схема
цепочки оборудования для
рестраврационной обработки
видеоизображений
Несмотря на появление
разнообразных систем реставрации
архивных киновидеоматериалов,
полностью автоматизированный
процесс восстановления
документальной аудиовизуальной
информации пока продолжает
оставаться несбыточной мечтой. Это
объясняется, главным образом,
невозможностью разработать точные
математические модели
последовательного преобразования
изображений, которые могли бы
успешно работать с изображениями
любого типа, гарантируя при этом
получение готового материала
отличного качества.
Таким образом, несмотря на
доступность модулей
автоматического уменьшения
дефектов, реставрация остается
процессом, требующим много времени
для выполнения. Во-первых, из-за
того, что оператор должен правильно
выбрать модули и их рабочие
параметры, пригодные для
исправления дефектов в
последовательных кадрах
видеоматериалов, подвергающихся
реставрации. Дефекты, намеченные
оператором реставрации архивных
документов для устранения,
являются лишь частью широкого
диапазона имеющихся на
видеоматериалах артефактов.
Во-вторых, если учитывать все
возможности перемещения объекта,
невозможно одновременно применить
все модули устранения дефектов на
последовательностях изображений.
Некоторые типы перемещения
объекта, например движение ткани,
воды, дыма в применяемом процессе
оценки движения всегда вызовут
проблемы. Этот процесс заложен в
основу многих полезных модулей
реставрационного оборудования, и
отказ блока оценки движения позже
может привести к очень плохому
результату. Это особенно заметно,
когда выявляются и устраняются
пятна, которые, например, могут
появиться вследствии разложения
триацетилцеллюлозной основы при
длительном архивном хранении
киноматериалов (так называемый
«уксусный синдром»).
В 1998 г. для решения большинства
описанных выше проблем был создан
европейский консорциум BRAVA
(BRoadcast Archives restoration through Video Analysis
— «Реставрация архивов
вещательных материалов с помощью
анализа видеоизображений»). В
консорциум вошли известные
организации из разных стран:
Institut National de l’Audiovisuel (координатор),
RЗdiotelevisЛo Portuguesa, SGT, Snell & Wilcox, Technical
University Delft и Trinity College Dublin.
Основной целью консорциума
является разработка более
совершенных и надежных методов
анализа видеоизображений
применительно к задачам
реставрации. Участники проекта BRAVA
разработали целый ряд комплексных
подходов к решению задач
реставрации видеоизображений;
достигли более высокого уровня
диагностики видеопотоков для
конкретизации задач, выполняемых
различными модулями
реставрационного оборудования при
устранении таких дефектов
изображения, как пятна и муаровые
помехи.
Точная оценка архивного
видеоизображения для обработки
утраченных данных
Если движение предмета проследить
нельзя, то оригинальный материал
невысокого качества ошибочно
распознается как материал с
утраченными данными (причиной
является присутствие на
изображении следов пыли, искр и
т.д.). Дефект затем переносится на
изображение с заменой участков, на
которых данные интерполированы
неправильно. Такой вид перемещения
условно назван «патологическим
движением» (РМ — pathological motion).
Появление этого перемещения можно
предотвратить с помощью двух
способов: во-первых, создать более
надежный детектор утраченных
данных для больших участков, так
как не выявленное и не отслеженное
перемещение может привести к
появлению «ложной» опасности, и,
во-вторых, идентифицировать и
классифицировать типы
патологического движения при его
появлении, передавая на
реставрационное оборудование
предупреждение о том, что эти
участки необходимо оставить в
неприкосновенности, или применить
иной тип консервативной
реставрации, не предполагающий
существование сплошных временных
данных. Ниже описаны три способа
решения описанной проблемы.
Усреднение качества
видеоизображения для ликвидации
пятен. Для оператора было бы
удобно помечать кадры с
«проблемными» участками на
изображении, вызывающими трудности
для оптимального функционирования
оборудования, предназначенного для
устранения пятна в реальном
времени. Кроме того, выяснено, что
весьма трудно выявить утраченные
данные на границах кадра, так как
обычные детекторы ориентируются на
временную гладкость изображения и
динамичной последовательности
киновидеокадров. Чтобы общая
сводка о качестве изображения была
эффективной, она должна быть
составлена быстро и обладать
высокой степенью надежности.
Полученная сводка используется для
указания границ кадра (с тем, чтобы
обработку утраченных данных
выполнить на всей площади кадра), а
также для того, чтобы отметить
кадры, которые могут вызвать
проблемы при обработке.
Для сравнения содержимого
изображения независимо от движения
широко используются гистограммы
изображения. Гистограммы особенно
полезны при выявлении вырезок в
видеопоследовательности. Границы
кадра указываются в том случае,
если гистограммы двух
последовательных кадров сильно
различаются. Однако в серьезно
поврежденных последовательностях
ощутимые изменения в гистограммах
появляются и при повреждении
больших участков, но на одном кадре.
К сожалению, данный метод не
позволяет определить точное
местоположение дефекта, так как
гистограммы изображения работают
эффективно только при обработке
данных с большого участка
изображения.
Консорциум BRAVA использовал эти идеи
для разработки процесса получения
подробной сводки о качестве кадра.
Созданная система функционирует на
субдискретизированных
изображениях (Qcif) и поэтому
работает в реальном времени с
помощью соответствующего ПО. На
последовательности из трех кадров,
представленной на рис. 2, видно, что
средний кадр имеет серьезный
дефект в виде пятна.
Рис. 2. Последовательность кадров с дефектом на втором кадре
Идентификация и
классификация участков РМ. Как
отмечалось выше, неверная оценка
движения деталей объекта или всего
объекта в целом может ошибочно
указать на присутствие
повреждений, которых на самом деле
нет. Чтобы отличить дефект,
вызванный патологическим
движением, и дефект, вызванный
повреждением, необходимо
внимательно изучить превалирующие
параметры, характерные для обоих
явлений. Вначале запрашиваются
отмеченные участки, на которых,
по-видимому, движение оценить
невозможно, затем эти участки
метятся, при этом выявляются и
классифицируются различные типы
патологического движения и
разрушения пленки, имеющиеся в этих
зонах. Учитывая соответствующие
характеристики, можно выделить
различные типы РМ. Например,
участки, показывающие смаз
движения, могут аппроксимироваться
до линейного сочетания цветов двух
объектов (передний и задний фон) в
расположенных рядом кадрах. На
основании дальнейшего анализа
гистограмм изображения,
ограниченного рамками квадрантов,
можно установить значительное
смещение объекта или его элементов
при большом значении DFD (Displaced Frame
Difference — «Различие в смещенном
кадре»).
На рис. 3 представлены изображения,
которыми заинтересовались ученые,
принимающие участие в выполнении
проекта BRAVA. На этих кадрах
идентифицированное РМ
отображается серым цветом, а
артефакты — черным.
Реставрационная обработка
выполнялась не на элементах
изображения, а на сегментах.
Изображение вначале разбивалось на
мелкие участки с относительно
однородной окраской.
Рис. 3. Классификация
комбинированных дефектов
изображения:
слева — оригинальное изображение;
справа — оригинальное изображение
с наложенными масками
(белый цвет — защищенные области;
серый цвет — патологическое
движение;
черный цвет — артефакты)
Дальнейшей обработке подлежат
только участки с артефактами.
Реставрационная обработка должна
проводиться с помощью специальных
алгоритмов, разработанных
специально для зон с высокой
неоднородностью из-за
патологического движения.
Защитный резерв для
интерполяции изображения.
Если пятна выявляются на
внутренних и внешних участках
изображения с патологическим
движением, для восстановления
утраченной информации на этих
участках должна применяться
интерполяция. На участках с простым
движением пятна могут быть
автоматически вырезаны из
предыдущего или последующего
кадра. Но в зонах с патологическим
движением количество
соответствующей временной
информации недостаточно.
В результате глубоких исследований
параметров изображений, имеющих
дефекты, на основе самых последних
алгоритмов синтеза текстуры
разработана технология
интерполяции. Эта технология
направлена на преобразование
простой текстуры в большие и/или
наслаиваемые текстурированные
пятна, которые можно использовать
для преобразования данных.
Наиболее успешные из них
базируются на допущении Марковиана
(Markovian) с прямым исчерпывающим
поиском образцовой текстуры для
аппроксимации приблизительной
вероятности, что представляет
интерес в отношении к утраченным
участкам, которые содержатся в
пределах неизменяемых частей
изображения. Совершенствование
стратегии поиска позволило
ускорить процесс: вместо того,
чтобы начать поиск от царапины,
проходящей через каждый новый
синтезируемый элемент изображения,
был сделан упор на результаты,
полученные на ранее
синтезированных пикселах.
Основным принципом нового процесса
поэтому является поиск
«образцовых» фрагментов
изображения из предыдущего,
текущего или следующего кадров
вокруг каждого утраченного пиксела
и выбор из них подходящего элемента
изображения для замены. Основное
преимущество такого подхода в том,
что он может быть использован в
широком диапазоне характеристик
движения. Описанная интерполяция
проиллюстрирована на рис. 4.
Рис. 4. Пространственная коррекция изображения с помощью интерполяции части изображения со следующего кадра киновидеопоследовательности
Новый инструмент для удаления
муаровых полос Kinescope — система для
записи вещательных программ
непосредственно с экрана монитора
Television на кинопленку,
использовалась в 1950–60-х гг. При
повторном сканировании кинопленки
телекинодатчиком появились
муаровые полосы (муар). Этот
артефакт, названный Kinescope MoirО, есть
на многих видеоматериалах, которые
в то время были получены с
кинопленки. Подавление муарового
шума с помощью нелинейного фильтра
пока является нерешенной
проблемой. Удаление
квазипериодических муаровых помех
очень затруднено из-за того, что эти
помехи не являются линейными и
геометрия ТВ-монитора на них влияет
не стационарно.
Создана математическая модель
муарового искажения на
видеоносителе. Необходимо
отметить, что испытания,
проведенные с одномерными
сигналами, показали, что эффект
муара является не дополнительным, а
мультипликативным
(увеличивающимся) и не может быть
смоделирован с помощью закона
Гаусса. Поэтому было создано
устройство для удаления муара,
включающее створку, работающую по
спектральному принципу. Работа
створки базируется на
идентификации выбросов в 2D-спектре
Фурье (Fourier) дефектного изображения
и уничтожении этих выбросов при
допущении, что они являются
муаровыми полосами. В системе
используется технология получения
перекрывающих блоков и размещение
выбросов артефактов при
автоматической установке
порогового значения. Технология
основана на анализе совместного
вероятностного распределения
составляющих спектра. Результаты
моделирования, выполненного на
неподвижных (статических)
изображениях, а также на реальных
видеопоследовательностях, были
положительными и
продемонстрировали возможность
применения предложенного метода
фильтрации. Кадры, представленные
на рис. 5, дают представление о
результатах реставрации
последовательности кинокадров в
реальном времени.
Рис. 5. Удаление муаровых полос с помощью нового фильтра
Интеграция оборудования и ПО
— ключ к успеху
Система BRAVA создана для
эксплуатации в вещательной среде и
предназначена для реставрации
видеоматериалов, находящихся на
архивном хранении. Первый прототип
системы был разработан для работы
на ленточном оборудовании и
обеспечивал эффективное
управление в реальном времени
инструментами, созданными в рамках
проекта для обработки оцифрованных
изображений: удаление следов пыли и
искр, царапин на кинопленке и
видеоленте шириной 2", выпадений,
зерна и шума, мерцаний,
неоднородности, а также выполнение
стандартных функций —
цветокоррекции, линейной
фильтрации и расширения границ
кадра. Эта система находится в
рабочем состоянии и уже
использовалась для реставрации
программ полной продолжительности.
В оборудование интегрированы
инструменты распознавания
изображения, обеспечивающие
идентификацию кадра,
высокоактивное детектирование и
разбиение кадров на группы.
Очевидно, с помощью
квалифицированного оператора
интеграция программ распознавания
изображения и всех необходимых
операций обработки архивных
изображений позволит размещать в
глобальной сети
отреставрированные видеопрограммы
большой продолжительности, а также
кинофильмы.
Полный текст - в № 3 журнала "ТКТ" за 2003 год
