Нейросеть для Ферапонтова монастыря

Ферапонтов монастырь — это единственное место, где произведения великого русского мастера XVI века Дионисия Мудрого сохранились почти полностью. К сожалению, некоторые фрагменты росписей утрачены. К примеру, части фресок, украшающих подкупольный барабан: в XVIII веке в нем пробили окна.

Основой проекта стала коллекция фотографий, полученных в ходе мультиспектральной съемки росписей собора. В 2016 году эту работу провели ученые Института космических исследований (ИКИ) РАН вместе со специалистами Московского государственного университета геодезии и картографии, Национального исследовательского центра «Курчатовский институт» и Государственного научно-исследовательского института реставрации.

«Перед руководством Ферапонтова стоит задача поддерживать фрески в нужном состоянии. Это большая проблема, и мы стараемся помочь им своей научной фотографией», — говорят ученые ИКИ.

Главный специалист ИКИ РАН Александр Андреев

ИКИ РАН

От спутникового снимка до фрески

«Нас объединят то, что мы любим иконопись, — рассказал “Стимулу” один из инициаторов проекта, главный специалист ИКИ РАН Александр Андреев. — Мы часто ездим по монастырям, и вот мой коллега в 2008 году очутился в Ферапонтове. Его поразила копия фрески работы Дионисия “Встреча Марии и Елизаветы”, составленная из множества фотографий. Ведущий специалист Государственного НИИ реставрации Николай Брегман сделал порядка ста аналоговых снимков и собрал из них такую мозаику. Потом мы познакомились с ним и сказали, что все это можно сделать более качественно и уже с помощью цифровых технологий».

В это время специалисты ИКИ занимались примерно тем же самым: склеивали и обрабатывали спутниковые снимки, в том числе сделанные в инфракрасном диапазоне. «Мы тогда как раз интересовались мультиспектральной съемкой, — говорит Александр Андреев. — И родилось такое волонтерское направление. Мы начали делать снимки росписей под руководством специалистов, которые в восьмидесятые годы отреставрировали Ферапонтов монастырь».

Сотрудники ИКИ РАН изготовили инструменты для мониторинга состояния фресок, разработали методики. Очень пригодился опыт работы в разных диапазонах. Для съемок собрали небольшую раму, которая двигалась по заданному маршруту: вправо, потом немного вниз, потом влево и так далее. Специалисты делали снимки в зависимости от задач размером до 6 на 10 мм, потом их склеивали, и получалась фреска с гигантским разрешением. На ней можно было смотреть микроскопические изменения.

Планарная платформа для съемки мозаичных макрофрагментов. Платформа позволяет снимать в автоматическом режиме макрофрагменты общей площадью 1-2 кв. м.

ИКИ РАН

И надписи прочитать, и плесень выявить

Под конкретную задачу подбирается своя длина волны. Как рассказали сотрудники ИКИ РАН, обычно они делают пробник из светодиодов, потом с шагом 40 нм проходят от ультрафиолета через синий, желтый, зеленый, оранжевый и красный. Затем — весь инфракрасный спектр, и становится понятно, в каком диапазоне нужно работать.

Белый диапазон необходим для исследования цвета, структуры, границ цветов. Он является опорным, потому что для обработки математическими методами нужно как минимум два диапазона. Второй — для отслеживания специальных параметров: либо инфракрасный, либо ультрафиолетовый. Ультрафиолет помогает контролировать биологические проявления, в этом диапазоне светится любая плесень. Режим дает возможность отслеживать появление новых трещин. Чем короче излучение, тем больше вероятность, что какой-то минерал начнет флуоресцировать. Поэтому ультрафиолет также позволяет проявлять то, что очень плохо видно.

Посредством мультиспектральной съемки специалисты ИКИ научились читать стертые тексты. В алтарной части есть изображения святителей, они держат свитки с изречениями из Священного писания. Реставраторы ничего не смогли разобрать на этих свитках, поэтому надписи не отреставрировали и оставили белые пятна.

«Однажды вечером, когда мы сидели за чаем, — рассказывает Александр Андреев, — реставраторы попросили нас этим заняться: восстановить надписи, которые лет двести назад стерли бабушки, слишком активно действовавшие тряпками в поисках пыли. И уже на следующий день утром мы, совершенно неожиданно для себя, взяли и прочли эти тексты. С помощью мультиспектральных осветителей, по счастью оказавшихся с нами. При съемке ультрафиолетом в определенном диапазоне под определенным углом происходит флуоресценция минералов, которыми были написаны эти тексты. Сейчас мы этот метод активно используем в Государственном историческом музее для чтения палимпсестов, рукописей, написанных на пергаменте поверх смытого или соскобленного текста».

Основное преимущество инфракрасного спектра — он позволяет ненамного, на миллиметр, заглянуть под поверхность, поскольку при большой длине волны некоторые минералы становятся прозрачными. Еще одна область применения этого диапазона, и в Ферапонтове монастыре такой способ очень хорошо себя показал, — определять, когда была дописана икона. Съемка позволяет выяснить, каким минералом сделаны мазки.

«Минералы, изготовленные в разное время и имеющие разный состав, в инфракрасном свете будут вести себя по-разному, — поясняет Александр Андреев. — К примеру, в Ферапонтовом монастыре есть фреска, на которой изображен святой Василий Великий. И когда ее сняли в инфракрасном свете, стало видно, что позем (условное изображение земли в нижней части иконы, где стоит святой) явно был дописан позднее».

Изображение фрески праматери Евы на стене собора Рождества Богородицы Ферапонтова монастыря. Слева фотография фрески в современном состоянии, справа — после реконструкции с помощью нейросети Stable Diffusion. Заметно искажение черт лица

ИКИ РАН

Возвращение первоначального облика

Ферапонтов монастырь — уникальное место. Главный храм обители — собор Рождества Богородицы — от пола и до потолка расписан Дионисием и его учениками. Ученики — это его сыновья, то есть вся роспись сделана в едином стиле. В соборе на нас смотрят и Христос, и Богоматерь, и Николай Угодник, и праотцы, и святые воины. В верхней части храма есть подкупольный барабан. Наверху по традиции изображен Христос Пантократор, ниже идут ангелы. Когда в куполе в XVIII веке прорубали окна, им частично обрезали крылья. И одно из желаний специалистов из Ферапонтова монастыря — убрать окна и восстановить росписи, какими они были при Дионисии.

«Помимо ангелов в барабане изображены праотцы: Адам, Ева, Авель, Сиф, Енох, Мафусаил, и так до Ноя, — рассказывает Александр Андреев. — Эти фрески написаны в виде медальонов, примерно 70 на 70 сантиметров, с пола их практически не видно. Была идея их качественно отснять и потом показывать посетителям на большом экране. В процессе изготовления этих материалов мы разработали определенную методику. Если снимать раз в несколько лет, можно, написав специальные программы, выявлять, как изменяются фрески».

Когда фотографии этих медальонов были сделаны в хорошем разрешении, с правильней цветопередачей, как раз началось активное использование нейронных сетей.

«Можете ли вы восстановить изображения так, как это было при Дионисии? — спросили у Александра Андреева реставраторы. — Как будто мастер только что закончил работу, вытер тряпкой руки, получил зарплату, отправился с сыновьями в Москву и оставил собор в таком виде».

Как поясняет ученый, реставраторы, когда восстанавливали фрески, стремились именно к первозданному виду, но у них свой подход, и те места, где не было информации, где они не знали, какой нужен минерал, оставляли пустыми.

«Но почему бы не восстановить утраты на фотографиях, в компьютерном виде? — считает ученый. — Это не инструмент для реставраторов, это способ показать людям, как росписи могли выглядеть изначально. Ведь представители разных художественных школ будут проводить реставрацию субъективно, исходя из своего опыта и предпочтений, а нейросеть, обученная на большой выборке изображений, попытается повторить мазки Дионисия».

Для работы с поврежденными фресками использовалась нейросеть Stable Diffusion. Это глубокая модель машинного обучения, которая способна создавать изображения на основе текстовых описаний. Нейросеть в целом хорошо справляется с «ретушированием» и малых, и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, но даже фрагменты фигур святых, направление взгляда и положение рук.

Были и ошибки: в частности, у праматери Евы положение глаза сильно смещено относительно естественного. Но такие неточности можно исправить, продолжая «обучать» нейронную сеть на специально подобранных снимках фресок и их частей. Эти исследования сейчас продолжаются.

Изображения, восстановленные искусственным интеллектом, можно оценивать двумя способами: либо отдать на суд специалистов — но это в любом случае будет субъективный взгляд, — либо подвергнуть обработке математическими методами. Стоит отметить, что и реставраторы, и специальная программа дали хорошую оценку результатам работы энтузиастов из ИКИ РАН.

«Это все равно наш первый успех, — говорит Александр Андреев. — Я показывал фреску специалистам по Дионисию, и они сказали, что, если не считать смещенный глаз, то остальное — в точности Дионисий. И это при условии, что весь лик Евы был утрачен. Такие исследования были бы очень актуальны для многих музеев. Но дальше методики наш проект, к сожалению, пока не пошел. Как часто бывает, все уперлось в финансирование. Кроме того, работу должны выполнять специалисты высокой квалификации».

3D-реконструкция из планарной панорамы стенной росписи на примере фрески собора Рождества Богородицы Ферапонтова монастыря

ИКИ РАН

Об оценке качества реконструкции с помощью специализированных метрик, также использующих нейронные сети, рассказал ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов ИКИ РАН Артем Просветов. По словам специалиста, первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети Inception понять, какие детали и объекты присутствуют на «типичном» рисунке. Для ее расширения к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений.

Исследователи получают набор изображений с минимальными повреждениями и серию реконструированных рисунков. А это, в свою очередь, дает статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения «хороших» и реконструированных изображений, тем выше качество реконструкции.

В результате сравнивается общее впечатление нейронной сети от каждого из наборов, поэтому присутствие конкретного объекта играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов.

В ближайших планах ученых — попробовать научить нейронную сеть работать с ультрафиолетовыми изображениями, наложенными на снимки в видимом глазу диапазоне. В результате должны получиться качественные изображения с правильной цветопередачей, в которые заложено больше информации для реставраторов. К примеру, и то, что воспринимает человек, и те надписи, которые в обычном диапазоне не видны.

Вторая, более глобальная задача — начать создавать цифровой паспорт, модель с гигантским разрешением и в разных диапазонах, по которой можно путешествовать, приближаться к фрескам и рассматривать детали. Основная цель — мониторинг росписей. Благодаря регулярно обновляемой цифровой модели специалисты смогут отслеживать происходящие изменения: есть ли новые трещины, появилась ли плесень и многое другое.