Инновации 23 января 2024

Нейросеть для Ферапонтова монастыря

Сотрудники Института космических исследований РАН и их коллеги из Музея фресок Дионисия (входит в состав Кирилло-Белозерского музея-заповедника) применяют нейросети для восстановления первоначального облика поврежденных росписей собора Рождества Богородицы Ферапонтова монастыря
Нейросеть для Ферапонтова монастыря
Собор Рождества Богородицы Ферапонтова монастыря. Роспись центральной части. Съёмка в видимом свете 2016 г.
ИКИ РАН

Ферапонтов монастырь — это единственное место, где произведения великого русского мастера XVI века Дионисия Мудрого сохранились почти полностью. К сожалению, некоторые фрагменты росписей утрачены. К примеру, части фресок, украшающих подкупольный барабан: в XVIII веке в нем пробили окна.

Основой проекта стала коллекция фотографий, полученных в ходе мультиспектральной съемки росписей собора. В 2016 году эту работу провели ученые Института космических исследований (ИКИ) РАН вместе со специалистами Московского государственного университета геодезии и картографии, Национального исследовательского центра «Курчатовский институт» и Государственного научно-исследовательского института реставрации.

«Перед руководством Ферапонтова стоит задача поддерживать фрески в нужном состоянии. Это большая проблема, и мы стараемся помочь им своей научной фотографией», — говорят ученые ИКИ.


АНДРЕЕВ.jpg
Главный специалист ИКИ РАН Александр Андреев
ИКИ РАН

От спутникового снимка до фрески

«Нас объединят то, что мы любим иконопись, — рассказал “Стимулу” один из инициаторов проекта, главный специалист ИКИ РАН Александр Андреев. — Мы часто ездим по монастырям, и вот мой коллега в 2008 году очутился в Ферапонтове. Его поразила копия фрески работы Дионисия “Встреча Марии и Елизаветы”, составленная из множества фотографий. Ведущий специалист Государственного НИИ реставрации Николай Брегман сделал порядка ста аналоговых снимков и собрал из них такую мозаику. Потом мы познакомились с ним и сказали, что все это можно сделать более качественно и уже с помощью цифровых технологий».

В это время специалисты ИКИ занимались примерно тем же самым: склеивали и обрабатывали спутниковые снимки, в том числе сделанные в инфракрасном диапазоне. «Мы тогда как раз интересовались мультиспектральной съемкой, — говорит Александр Андреев. — И родилось такое волонтерское направление. Мы начали делать снимки росписей под руководством специалистов, которые в восьмидесятые годы отреставрировали Ферапонтов монастырь».

Сотрудники ИКИ РАН изготовили инструменты для мониторинга состояния фресок, разработали методики. Очень пригодился опыт работы в разных диапазонах. Для съемок собрали небольшую раму, которая двигалась по заданному маршруту: вправо, потом немного вниз, потом влево и так далее. Специалисты делали снимки в зависимости от задач размером до 6 на 10 мм, потом их склеивали, и получалась фреска с гигантским разрешением. На ней можно было смотреть микроскопические изменения.


ПЛАТФОРМА.jpg
Планарная платформа для съемки мозаичных макрофрагментов. Платформа позволяет снимать в автоматическом режиме макрофрагменты общей площадью 1-2 кв. м.
ИКИ РАН

И надписи прочитать, и плесень выявить

Под конкретную задачу подбирается своя длина волны. Как рассказали сотрудники ИКИ РАН, обычно они делают пробник из светодиодов, потом с шагом 40 нм проходят от ультрафиолета через синий, желтый, зеленый, оранжевый и красный. Затем — весь инфракрасный спектр, и становится понятно, в каком диапазоне нужно работать.

Белый диапазон необходим для исследования цвета, структуры, границ цветов. Он является опорным, потому что для обработки математическими методами нужно как минимум два диапазона. Второй — для отслеживания специальных параметров: либо инфракрасный, либо ультрафиолетовый. Ультрафиолет помогает контролировать биологические проявления, в этом диапазоне светится любая плесень. Режим дает возможность отслеживать появление новых трещин. Чем короче излучение, тем больше вероятность, что какой-то минерал начнет флуоресцировать. Поэтому ультрафиолет также позволяет проявлять то, что очень плохо видно.

magnifier.png «Можете ли вы восстановить изображения так, как это было при Дионисии? — спросили у Александра Андреева реставраторы. — Как будто мастер только что закончил работу, вытер тряпкой руки, получил зарплату, отправился с сыновьями в Москву и оставил собор в таком виде»

Посредством мультиспектральной съемки специалисты ИКИ научились читать стертые тексты. В алтарной части есть изображения святителей, они держат свитки с изречениями из Священного писания. Реставраторы ничего не смогли разобрать на этих свитках, поэтому надписи не отреставрировали и оставили белые пятна.

«Однажды вечером, когда мы сидели за чаем, — рассказывает Александр Андреев, — реставраторы попросили нас этим заняться: восстановить надписи, которые лет двести назад стерли бабушки, слишком активно действовавшие тряпками в поисках пыли. И уже на следующий день утром мы, совершенно неожиданно для себя, взяли и прочли эти тексты. С помощью мультиспектральных осветителей, по счастью оказавшихся с нами. При съемке ультрафиолетом в определенном диапазоне под определенным углом происходит флуоресценция минералов, которыми были написаны эти тексты. Сейчас мы этот метод активно используем в Государственном историческом музее для чтения палимпсестов, рукописей, написанных на пергаменте поверх смытого или соскобленного текста».

Основное преимущество инфракрасного спектра — он позволяет ненамного, на миллиметр, заглянуть под поверхность, поскольку при большой длине волны некоторые минералы становятся прозрачными. Еще одна область применения этого диапазона, и в Ферапонтове монастыре такой способ очень хорошо себя показал, — определять, когда была дописана икона. Съемка позволяет выяснить, каким минералом сделаны мазки.

«Минералы, изготовленные в разное время и имеющие разный состав, в инфракрасном свете будут вести себя по-разному, — поясняет Александр Андреев. — К примеру, в Ферапонтовом монастыре есть фреска, на которой изображен святой Василий Великий. И когда ее сняли в инфракрасном свете, стало видно, что позем (условное изображение земли в нижней части иконы, где стоит святой) явно был дописан позднее».


ЕВА.jpg
Изображение фрески праматери Евы на стене собора Рождества Богородицы Ферапонтова монастыря. Слева фотография фрески в современном состоянии, справа — после реконструкции с помощью нейросети Stable Diffusion. Заметно искажение черт лица
ИКИ РАН

Возвращение первоначального облика

Ферапонтов монастырь — уникальное место. Главный храм обители — собор Рождества Богородицы — от пола и до потолка расписан Дионисием и его учениками. Ученики — это его сыновья, то есть вся роспись сделана в едином стиле. В соборе на нас смотрят и Христос, и Богоматерь, и Николай Угодник, и праотцы, и святые воины. В верхней части храма есть подкупольный барабан. Наверху по традиции изображен Христос Пантократор, ниже идут ангелы. Когда в куполе в XVIII веке прорубали окна, им частично обрезали крылья. И одно из желаний специалистов из Ферапонтова монастыря — убрать окна и восстановить росписи, какими они были при Дионисии.

«Помимо ангелов в барабане изображены праотцы: Адам, Ева, Авель, Сиф, Енох, Мафусаил, и так до Ноя, — рассказывает Александр Андреев. — Эти фрески написаны в виде медальонов, примерно 70 на 70 сантиметров, с пола их практически не видно. Была идея их качественно отснять и потом показывать посетителям на большом экране. В процессе изготовления этих материалов мы разработали определенную методику. Если снимать раз в несколько лет, можно, написав специальные программы, выявлять, как изменяются фрески».

Когда фотографии этих медальонов были сделаны в хорошем разрешении, с правильней цветопередачей, как раз началось активное использование нейронных сетей.

«Можете ли вы восстановить изображения так, как это было при Дионисии? — спросили у Александра Андреева реставраторы. — Как будто мастер только что закончил работу, вытер тряпкой руки, получил зарплату, отправился с сыновьями в Москву и оставил собор в таком виде».

Как поясняет ученый, реставраторы, когда восстанавливали фрески, стремились именно к первозданному виду, но у них свой подход, и те места, где не было информации, где они не знали, какой нужен минерал, оставляли пустыми.

magnifier.png В ближайших планах ученых — попробовать научить нейронную сеть работать с ультрафиолетовыми изображениями, наложенными на снимки в видимом глазу диапазоне. В результате должны получиться качественные изображения с правильной цветопередачей, в которые заложено больше информации для реставраторов

«Но почему бы не восстановить утраты на фотографиях, в компьютерном виде? — считает ученый. — Это не инструмент для реставраторов, это способ показать людям, как росписи могли выглядеть изначально. Ведь представители разных художественных школ будут проводить реставрацию субъективно, исходя из своего опыта и предпочтений, а нейросеть, обученная на большой выборке изображений, попытается повторить мазки Дионисия».

Для работы с поврежденными фресками использовалась нейросеть Stable Diffusion. Это глубокая модель машинного обучения, которая способна создавать изображения на основе текстовых описаний. Нейросеть в целом хорошо справляется с «ретушированием» и малых, и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, но даже фрагменты фигур святых, направление взгляда и положение рук.

Были и ошибки: в частности, у праматери Евы положение глаза сильно смещено относительно естественного. Но такие неточности можно исправить, продолжая «обучать» нейронную сеть на специально подобранных снимках фресок и их частей. Эти исследования сейчас продолжаются.

Изображения, восстановленные искусственным интеллектом, можно оценивать двумя способами: либо отдать на суд специалистов — но это в любом случае будет субъективный взгляд, — либо подвергнуть обработке математическими методами. Стоит отметить, что и реставраторы, и специальная программа дали хорошую оценку результатам работы энтузиастов из ИКИ РАН.

«Это все равно наш первый успех, — говорит Александр Андреев. — Я показывал фреску специалистам по Дионисию, и они сказали, что, если не считать смещенный глаз, то остальное — в точности Дионисий. И это при условии, что весь лик Евы был утрачен. Такие исследования были бы очень актуальны для многих музеев. Но дальше методики наш проект, к сожалению, пока не пошел. Как часто бывает, все уперлось в финансирование. Кроме того, работу должны выполнять специалисты высокой квалификации».


3Д.jpg
3D-реконструкция из планарной панорамы стенной росписи на примере фрески собора Рождества Богородицы Ферапонтова монастыря
ИКИ РАН

Об оценке качества реконструкции с помощью специализированных метрик, также использующих нейронные сети, рассказал ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов ИКИ РАН Артем Просветов. По словам специалиста, первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети Inception понять, какие детали и объекты присутствуют на «типичном» рисунке. Для ее расширения к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений.

Исследователи получают набор изображений с минимальными повреждениями и серию реконструированных рисунков. А это, в свою очередь, дает статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения «хороших» и реконструированных изображений, тем выше качество реконструкции.

В результате сравнивается общее впечатление нейронной сети от каждого из наборов, поэтому присутствие конкретного объекта играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов.

В ближайших планах ученых — попробовать научить нейронную сеть работать с ультрафиолетовыми изображениями, наложенными на снимки в видимом глазу диапазоне. В результате должны получиться качественные изображения с правильной цветопередачей, в которые заложено больше информации для реставраторов. К примеру, и то, что воспринимает человек, и те надписи, которые в обычном диапазоне не видны.

Вторая, более глобальная задача — начать создавать цифровой паспорт, модель с гигантским разрешением и в разных диапазонах, по которой можно путешествовать, приближаться к фрескам и рассматривать детали. Основная цель — мониторинг росписей. Благодаря регулярно обновляемой цифровой модели специалисты смогут отслеживать происходящие изменения: есть ли новые трещины, появилась ли плесень и многое другое.

Темы: Инновации

Еще по теме:
27.02.2024
В «Росатоме» создали баллоны сверхвысокого давления (на 700 атмосфер) для хранения и транспортировки водорода. С...
20.02.2024
Ученые из ИТМО разработали усовершенствованную систему сканирования пространства. Она формирует тепловизионную панораму ...
19.02.2024
Ученые Всероссийского института генетических ресурсов растений им. Н. И. Вавилова развернули научный поиск подходящих со...
16.02.2024
В новом докладе авторитетной американской компании CB Insights «2024 Tech Trends» обозначены наиболее значимые, по мнени...
Наверх