Сотрудники Массачусетского технологического института разработали алгоритм, восстанавливающий резкость размытых фотографий, снятых дрожащей камерой.

В основе нового метода обработки изображений лежит алгоритм, который определяет путь перемещения камеры при съемке, а затем на основе этой информации в значительной степени устраняет вызванную этим перемещением размытость. Данный метод не является панацеей, однако ученые в Массачусетском технологическом институте и в Университете Торонто с его помощью смогли улучшить качество самых разнообразных пробных фотографий.

На одной пробной фотографии снята птица с черными, белыми и коричневатыми перьями. Вследствие размытости кадра лапы птицы почти не различимы. После обработки стали различимы не только лапы, но также темные пятна вокруг глаз, белый узор на черных перьях и другие мелкие детали.

«Впервые при устранении размытости изображений успешно используются естественные статистические данные изображения», — сказал ведущий исследователь Массачусетского технологического института Роб Фергюс (Rob Fergus) в своем интервью после демонстрации метода на конвенции по вопросам компьютерной графики Siggraph, прошедшей на прошлой неделе. Авторы метода уже подали патентную заявку на него.

На отработку нового метода уходит 10–15 минут для обычных фотографий. При обработке используются статистические свойства, описывающие переход между светлыми и темными участками кадра, говорит г-н Фергюс. Эти свойства одинаковы во всех изображениях реального мира, поэтому анализ их отклонений в конкретной фотографии позволяет определить путь движения камеры.

Обработка изображений — это крупный бизнес, и компенсирование ошибок человека и фотокамеры составляет его значительную часть. Сегодня обычной функцией для программных продуктов по обработке изображений, а также для многих фотоаппаратов является удаление «красных глаз» на фотографиях, сделанных со вспышкой. Новейшие фотоаппараты привлекают покупателя функциями, позволяющими устранить эффект дрожания рук фотографа. Кроме того, существует множество плагинов для Adobe Photoshop, позволяющих удалять зернистость изображений и наводить резкость.

На сегодняшний день в самой последней версии Photoshop CS2 в фильтре «умная резкость» реализована технология устранения размытости. Она позволяет ограниченно исправлять проблемы фокусировки и размытости изображения, если камера перемещалась по прямой. Новый подход, напротив, способен справиться с более сложными движениями тряски. «Реальные траектории бывают очень странными», — говорит г-н Фергюс.

Дэйв Стори (Dave Story), вице-президент по разработке продуктов обработки цифровых изображений в Adobe, считает, что группа ученых движется в правильном направлении. «Результаты получаются немного лучше, чем мы видели до сих пор, — говорит он. — Теперь можно более точно и автоматически определять, на каком направлении возникла размытость, а также новый метод способен обрабатывать нелинейные пути движения камеры».

Однако после обработки по новому процессу на изображении все еще остаются артефакты, что означает, что предстоит еще много работы. «В этой области мы ведем исследования уже 3– 4 года, и в ней по-прежнему остается ряд проблем, не позволяющих сделать весь процесс достаточно предсказуемым, чтобы люди начали его использовать, и в результате этого не возникало никаких неестественных артефактов», — говорит г-н Стори.

В методе, разработанном г-ном Фергюсом, используется статистическое свойство фотоснимков, которое неизменно даже у самых разнообразных фотографий. Это свойство — совокупное измерение отличий по яркости между соседними точками изображения. «Оказалось, что в реальном мире изображения имеют четкое распределение (светотеневых градиентов), — говорит г-н Фергюс. — Даже у множества разных фотографий распределение (градиентов) очень похоже».

Однако изображения, случайным образом сформированные компьютером, имеют другое распределение. «Реальные изображения не похожи на случайным образом построенные точки в пространстве пикселей. Они имеют определенную структуру», — говорит г-н Фергюс. В частности, снимки реальных сцен, с одной стороны, характеризуются схожим количеством высококонтрастных переходов между яркими и темными пикселями, а с другой — количеством мягких переходов между похожими соседними пикселями, говорит г-н Фергюс. У размытых изображений совокупность этих градиентов контраста отличается. «Все эти четкие переходы размазываются», — говорит г-н Фергюс.

Основа процесса — оценка пути движения камеры на основе отсутствующих градиентов контраста. Сначала при помощи версии оригинального изображения с очень низким разрешением определяется траектория движения камеры. Затем этот процесс повторяется для версий изображения с более высоким разрешением. «На основе распределения резких градиентов мы находим истинное резкое изображение, — говорит г-н Фергюс. — Разбивая весь процесс на более мелкие шаги, мы можем успешно распутывать даже очень сложные траектории, характерные для реального дрожания камеры». То, что получается в результате, ученые назвали ядром размытия.

Затем на основе ядра размытия выполняется вторая стадия метода — процесс под названием «обратная свертка», разработанный в начале 1970-х гг. Этот процесс используется для удаления результата размытия.

В целом весь процесс обработки обычных изображений, сделанных цифровым фотоаппаратом, занимает около 10–15 минут. Однако г-н Фергюс не тратил время на доведение процесса до максимальной эффективности, то есть в дальнейшем его можно значительно усовершенствовать. «В Photoshop приемлемым для пользователя временем выполнения плагина является максимум 1 минута, — говорит г-н Фергюс. — Уверен, мы сможем сделать его гораздо более быстрым — возможно, даже достаточно быстрым для встраивания в фотоаппарат».

Кроме того, метод требует определенных действий пользователя: необходимо выбрать прямоугольную область оригинального изображения, где есть контуры. Если выбран слишком маленький участок, метод дает плохие результаты, а если слишком большой — требует много времени, говорит г-н Фергюс.

Также метод плохо работает с изображениями, где есть крайне яркие или темные участки — так называемый эффект «отсечения». По этой причине метод лучше работает на «сырых» изображениях хороших цифровых фотоаппаратов, на которых передается большее разнообразие освещенности.

Еще одна трудность — зашумленные снимки, получаемые на дешевых фотоаппаратах с маленькими формирователями изображения, особенно в условиях низкой освещенности. Зерна помех для алгоритма устранения размытости похожи на контуры, говорит г-н Фергюс.

Покупателям не стоит ожидать скорого появления этой технологии в программном обеспечении. Г-н Фергюс говорит: «Это лишь первая попытка. Предстоит еще много работы, прежде чем технология попадет в реальное приложение».