С помощью чего осуществляется распознавание экспонатов выставок размещенных на платформе artefact
Форма подачи заявки на участие в Национальном проекте «Культура»
1.1 Подача заявок на создание мультимедиа-гидов по экспозициям и выставочным проектам осуществляется онлайн (посредством заполнения веб-формы).
1.2 Сбор заявок на создание мультимедиа-гидов по экспозициям и выставочным проектам осуществляется непрерывно в течение года.
1.3 Подготовка к подаче заявки:
1.3.1 Регистрация музея в цифровой платформе «Артефакт»
1.3.2 Ознакомление с инструкциями, справочными и методическими материалами, размещенными по адресу: https://ar.culture.ru/quickstart
1.3.3 Подготовка материалов и создание черновика мультимедиа-гида, соответствующего критериям, указанным в пункте 1.4.
1.4 Черновик мультимедиа-гида должен соответствовать следующим критериям:
1.4.1 Создан в цифровой платформе «Артефакт» не ранее 01.01.2018.
1.4.2 Содержит 40 экспонатов из постоянной экспозиции музея, описания которых представлены на русском языке.
1.4.3 Для каждого из экспонатов в черновике мультимедиа-гида на русском языке должен быть представлен следующий контент:
1.5 При подаче заявки авторизованный пользователь должен заполнить все поля веб-формы, а именно:
Гарантийное письмо директора музея о принятии музеем следующих обязательств:
2. Перечень критериев для отбора заявок
2.1 Количество музейных предметов, планируемых ко включению в мультимедиа-гид (40 экспонатов из постоянной экспозиции).
2.2 Наличие общих сведений о музейном предмете (этикетаж).
2.3 Наличие информации о ключевых деталях музейного предмета.
2.4 Наличие аннотации, дополнительной информации (статьи) о музейном предмете.
2.5 Наличие текста о музейном предмете для записи аудиогида.
2.6 Технологическая оценка вероятности успешной идентификации музейного предмета мобильным приложением цифровой платформы «Артефакт».
2.7 Посещаемость музея (оценивается по данным формы статистического наблюдения 8-НК за год, предшествующий году подачи).
2.8 Посещаемость экспозиции, на которую подается заявка – указание общего количества посетителей экспозиции за год, предшествующий году подачи заявки;
2.9 Посещаемость экспозиции, на которую подается заявка, иностранными туристами – указание количества иностранных туристов, посетивших экспозицию за год, предшествующий году подачи заявки.
2.10 Наличие в экспозиции беспроводного доступа в информационно-телекоммуникационную сеть Интернет для посетителей: на основе технологии Wi-Fi либо на основе технологий мобильной сотовой связи.
2.11 Культурная, художественная, социальная и/или историческая ценность экспозиции.
2.12 Потенциальный интерес аудитории к создаваемому мультимедиа-гиду.
2.13 Соблюдение принципа мультирегиональности – равномерное распределение мультимедиа-гидов в пропорции к количеству музеев.
2.14 Наличие гарантийного письма директора музея.
Гид по музеям России с технологией дополненной реальности Artefact
Artefact — мультимедийный гид, который позволяет взаимодействовать с объектами искусства в формате дополненной реальности. Чтобы узнать новое об авторе и истории произведения без помощи гида и платных экскурсий пользователю достаточно включить мобильное приложение и навести камеру на картину или скульптуру: Artefact расскажет множество интересных фактов, а также покажет процесс реставрации и предыдущие версии. Знакомиться с искусством можно в музеях или дома.
Платформа дополненной реальности помогает музеям и зрителям стать ближе друг другу в эпоху цифровой реальности. Контент приложения создают сами музеи — они могут загружать информацию о произведениях из своих коллекций, а Artefact преобразует её в AR-формат. Платформа разработана при поддержке Министерства культуры Российской Федерации и национального проекта «Культура».
Как работает Artefact?
Мобильное приложение Artefact превращает ваш смартфон в интерактивного гида, который готов рассказать интересные факты о произведениях искусства и познакомить с историей их создания.
Чтобы начать экскурсию, нужно просто навести камеру смартфона на экспонат. Вам не потребуется считывать QR-код или вводить номер экспоната. Ваш персональный гид начнёт работу, как только смартфон распознает произведение искусства благодаря технологиям компьютерного зрения.
Поверх изображения появятся специальные метки. Нажмите на одну из выделенных областей, и вы сможете узнать об авторе, сюжете произведения и этапах его создания. Например, гид расскажет, кто изображён на картине и с кого написан тот или иной образ, продемонстрирует, как выглядела работа до реставрации, позволит увидеть оборотную сторону изображения. Если за слоем краски скрывается другая картина, приложение покажет полотно в ультрафиолетовом световом диапазоне.
Чтобы воспользоваться приложением, необязательно идти в музей. Можно отсканировать изображение в каталоге, на открытке или магните, выбрать любой музей из списка в приложении или с компьютера, найти интересующий вас экспонат и прочитать его историю. А пользователи iOS могут не просто изучать произведения искусства дома, но и разместить их у себя как часть интерьера с помощью Artefact.
Приложение для посетителей музеев Artefact глазами разработчиков и пользователей
«Хабр», 20 апреля 2020 года
AR-приложение Artefact помогает посетителям музеев быстро получать информацию о предметах искусства. Вы приходите в музей и наводите камеру смартфона на арт-объект. Artefact распознает экспонат и подсвечивает «точки интереса» – контент-пойнты с информацией о картине или контексте ее создания. Кроме того, приложение показывает первые эскизы к работе, предлагает прослушать запись из аудиогида или прочесть подробную статью. По нашей просьбе искусствовед, программист, аналитик (и не только) опробовали Artefact, а его разработчики ответили на вопросы.
Чтобы протестировать приложение «в бою», еще до карантина мы сходили в ГМИИ им. А.С.Пушкина на одну из постоянных экспозиций. Наши знакомые, причастные к искусству и не очень, сделали то же самое. Кому-то не удалось попасть в музей, и они протестировали Artefact удаленно.
Александр, разработчик в финтех-компании:
Я пришел в музей с установленным приложением и загруженным в него архивом выставки. Провел некоторые тесты, и вот какие два момента меня заинтересовали. Во-первых, картины – объекты сложные, с большим количеством деталей, а во-вторых, не слишком контрастные, если не сказать, бледные. Чтобы опознать картины, алгоритмы должны быть устойчивы к большому числу разнообразных помех и искажений. Большинство из нас знакомо с понятиями сигнала, шума и фильтрации. Однако пространственные искажения – это не случайный шум, который можно подавить линейным фильтром. А голова какого-нибудь посетителя музея, который заслонил ею часть картины – это своего рода «шум бесконечной амплитуды». Его уровень нельзя уменьшить путем линейной фильтрации. Значит, алгоритмы должны уметь распознавать изображение, используя только видимую часть.
Чтобы проверить, насколько устойчив алгоритм к помехам, возникающим в реальных условиях, я проделал два эксперимента. Сперва я попробовал распознать картину, наводя на нее смартфон не прямо, а под углом. Для эксперимента я выбрал картину Пикассо «Старый еврей с мальчиком». С этой проблемой приложение справилось без особого труда, успешно определив произведение даже тогда, когда угол наклона составлял 45 градусов.
Во втором эксперименте я отошел от картины и подождал, пока ее частично заслонит от меня другой посетитель. Площадь, которая оказалась недоступна, составила при этом около трети изображения. Приложение на некоторое время задумалось (или мне так показалось), однако через несколько секунд опознало картину и выдало дополнительную информацию. Конечно, интересно, какими способами разработчикам удалось достичь такой устойчивости распознавания к помехам.
Важно понимать, что используется не просто распознавание изображения, а трекинг. В задачи трекинга, помимо распознавания искомого изображения во входном видеопотоке, входит также определение перспективных искажений и последующие преобразования этих искажений в позицию «метки в пространстве». Таким образом, справляться с наведением камеры под разными углами – это основная функция алгоритма.
Для успешного распознавания изображения необходимо выделить в эталонном изображении характерные точки, главным образом, в местах с резким перепадом яркости. Так же характерные точки выделяются в кадре видеопотока. Наборы этих точек сравниваются между собой. Естественно, имеет смысл сравнивать не весь набор точек, а небольшие области, на которых перспективные искажения играют меньшую роль. Это позволяет алгоритму быть устойчивым к потере части изображения в видеопотоке или, наоборот, к шуму в виде посторонних объектов в кадре. При совпадении нескольких таких областей можно сравнить расстояние между ними на эталонном изображении и полученным с камеры для последующего вычисления перспективных искажений и позиции метки.
На устройстве есть не только камера, но и другие средства связи с внешним миром: акселерометр, компас и гироскоп. Данные с них помогают не потерять уже обнаруженную метку.
Григорий, аналитик исследовательской компании:
В музей я пришел в выходной, и там было много посетителей. Пока я стоял в очереди за билетом, вызвал приложение Artefact, нашел выставку в списке и скачал архив с необходимыми для работы данными (108 мегабайт). В музеях я бываю нечасто, но раз уж это случилось, то осмотрел все залы на обоих этажах. Приложение сумело опознать около 80% объектов, на которые я наводил камеру, а я наводил ее на все картины, которые привлекали внимание. Не скрою, меня впечатлило, что задачу распознавания рутинно выполняет смартфон – мобильное устройство, которое обладает не самым мощным процессором и обязано быть энергоэффективным. К тому же приложение в реальном времени обрабатывает видео, захватывает часть кадров и сопоставляет их с какими-то эталонами. Но ведь мобильное устройство должно беречь энергию, да и к тому же обычно заряжено далеко не на все сто процентов. Напрашивается предположение, что одним из желательных свойств приложения Artefact является минимизация объема вычислений, которые выполняются непосредственно смартфоном. А значит, либо используются специализированные алгоритмы, хорошо решающие узкий класс задач распознавания, либо вычисления должны производиться в облаке. Интересно, какие библиотеки используются при разработке — open source или проприетарные?
Весь алгоритм распознавания действует на устройстве, так что приложение может работать без подключения к интернету. Архив содержит необходимый набор эталонных изображений и меток для сравнения, а также метрик и метаданных для идентификации меток. Для каждой выставки можно сформировать набор пакетов, которые позволят пользователю заранее загрузить все материалы на устройство. Тогда автономно можно не только распознавать экспонаты, но также читать статьи и слушать аудиогиды. Ранее загруженные данные кешируются, уже просмотренные данные остаются доступны пользователю без подключения к интернету. Пользователь может очистить весь кеш или удалить отдельные пакеты со своего устройства.
В разработке используются открытые библиотеки, в основном это широко используемые библиотеки общего назначения. Их достаточно для таких задач, как работа с сетью, кеширование изображений и UI. В плане проприетарных библиотек наибольшее внимание сейчас привлекают разработки, внедренные за последнее время в сами операционные системы.
Со стороны дополненной реальности важным этапом стало появление ARKit. Фреймворк мы используем для реализации функции «Музей дома». Она оказалась очень популярной у пользователей, и мы планируем развивать ее. Также ARKit поддерживает трекинг изображений, и последние тесты этих функций показывают хорошие результаты. Возможно, скоро полностью перейдем на ARKit.
На Android мы сейчас смотрим в сторону ARCore и Sceneform.
Иван, завкафедрой гуманитарного вуза:
В музее мое внимание привлекла картина Луиджи Луара «Дым окружной парижской железной дороги», написанная в 1885 году. Раньше я не знал про этого художника и не видел его картин, зато мне нравятся работы многих его современников. Дым, занимающий две трети полотна, говорит о том, что дорога была оживленной. Увы, в приложении информация о художнике и о его творчестве, не говоря уж о парижском аналоге МЦК, оказалась скупой. В аудиогиде, который я нашел в том же Artefact, интересных сведений было чуть больше. Позже оказалось, что в интернете полно релевантной информации, и это навеяло мысль о том, что качественное контент-наполнение может представлять широкое поле для деятельности.
Кстати, экскурсоводы в музеях часто рассказывают захватывающие, эксклюзивные вещи, которые трудно извлечь из каталогов и альбомов, так что даже возникает подозрение – уж не сами ли они это все сочинили? Однако, такие истории вызывают эмоции и запоминаются зрителями. Смогут ли мобильные приложения добавить в просмотр эту человеческую компоненту? Думаю, что если бы удалось сформировать сообщество энтузиастов, которые могли бы превратить сухую информационную сводку в гипертекст, в окно, ведущее в энциклопедии и специальные труды, это было бы по-настоящему здорово. Возможно, подобную роль могли бы взять на себя гуманитарные вузы.
Контент в приложении разрабатывают музеи. Сотрудники музея отбирают экспонаты и решают, какую историю рассказать посетителям. Со своей стороны мы стараемся помочь музею адаптировать и подобрать новый контент под формат дополненной реальности. У нас жесткая система модерации, чтобы поддерживать качество контента на высоком уровне.
В рамках национального проекта «Культура» мы проводим конкурсный отбор заявок от музеев на создание гидов в приложении. При необходимости адаптируем текст, помогаем с его версткой на платформе. Еще переводим контент на иностранные языки, в основном на английский. Профессиональные аудиогиды записываются на русском и английском языках.
Юлия, редактор в IT-издании и скульптор-любитель:
В интернете я провожу много времени в поисках вдохновения, художественных референсов, которые давали бы идеи для будущих работ или новое видение. Это важная часть вынашивания творческих планов. В моем Pinterest тысячи изображений скульптур, фрагменты живописных работ, древнее искусство, керамика, костюмы, образцы фактур и прочее. Я часто задумываюсь о том, что приложение, которое могло бы распознать работу, определив ее происхождение и выходные данные, стало бы неоценимым помощником в моем творчестве и художественном самообразовании. Ведь творческий процесс – это в некотором роде сталкинг: никогда не знаешь, где попадется тот референс, который определит твою будущую работу.
Я загрузила Artefact и попробовала протестировать его на изображениях в интернете. Оказалось, что приложение умеет распознавать изображения с экрана ноутбука, но информацию дает лишь по тем работам, которые есть на экспозиции в ряде конкретных музеев. Этот инструмент мне показался удобным, потому что можно заранее посмотреть на галерею работ, выхватить о них какие-то факты и после принять решение о том, стоит ли идти смотреть на работу вживую. Мне любопытно узнать, есть ли возможность распознавать через приложение скульптуры?
Ирина, домохозяйка, родитель:
В этом году я взяла детям абонемент на серию экскурсий в Третьяковку. Они занимаются в художественной студии, поэтому важно, чтобы просмотр работ сопровождался осмысленным рассказом о произведениях, адаптированным для детского восприятия. Я не большой фанат идеи использовать гаджеты в музеях. Мне кажется, что контента там и без того достаточно. Но если есть приложение, которое можно запустить в музее, чтобы обеспечить некий игровой нарратив, помогающий детям усваивать информацию, я бы отнеслась к нему со вниманием.
В приложении Artefact я заметила наличие аудиогидов к экспонатам. Это удобно, ведь аудиогиды — это отдельная платная услуга в стенах музея. Получается, если прийти в музей с приложением, то можно немного сэкономить. Как вариант, прослушать информацию самой, а после переложить ее детям на понятном языке.
Ориентируясь на детскую аудиторию, мы внедрили поддержку квестовых механик. Маленькие посетители музея смогут изучать экспозицию музея в игровой форме. Ведь всем нам интересно отгадывать загадки. Сначала распознаем экспонат, отвечаем на вопрос (найти ответы пользователи смогут в самом экспонате). Что нужно сделать дальше? Внимательно рассмотреть дополнительные изображения в AR (например, на рентгенограмме автопортрета Рембрандта можно увидеть, что сначала художник изобразил себя в берете, но по какой то причине потом «снял» его), открыть все точки интереса или найти ответ в аудиогиде или интерактивной статье. В общем, изучить всю доступную информацию об экспонате. Элементы игровой механики позволяют усилить вовлеченность в процесс изучения материалов экскурсии.
Также мы разработали механику поиска экспоната по самому вопросу. Читаем вопрос, ходим по залу и сканируем подходящий под ответ экспонат. Подтверждаем свою уверенность в ответе. Посетители музея смогут соревноваться между собой, проходя викторину в режиме скрытого подсчета очков, сражаться друг с другом, чтобы выяснить в конце посещения, кто набрал больше баллов. Недавно Мурманский областной художественный музей воспользовался именно этой механикой и провел олимпиаду для школьников прямо в нашем приложении.
В прошлом году в рамках нацпроекта «Культура» мы сделали много гидов для краеведческих музеев. Например, «Природа Зауралья» – постоянная экспозиция Курганского областного краеведческого музея. Она рассказывает о географическом положении края и представляет посетителям его многообразный животный мир. А в приложении можно услышать голоса разных животных. Думаю, что это будет интересно как для детей, так и их родителей.
На мой взгляд, в последние годы посещение выставок стало трендом. Периодические выставки проходят при аншлаге, зрительская аудитория разнообразная: от домохозяек до профессиональных искусствоведов. Не все из них готовы следовать за экскурсоводом от начала до конца. Люди постигают новое по-разному, кто-то способен слушать рассказ лектора или гида, а кому-то обязательно нужно посмотреть, пощупать и обнюхать все самостоятельно. А у экскурсовода время строго ограничено, и он или она не может рассказать про каждый экспонат. Каждый выстраивает введение в художественные направления в соответствии с некоторой идеей и показывает лишь те работы, которые являются опорными или знаковыми. Многие могут вспомнить случай, когда внимание привлекла какая-нибудь замечательная картина, но гид уже ведет группу дальше. Что выбрать? Ведь кажется, что проходишь мимо той самой работы, ради которой и стоило прийти в музей. Но если задержаться — потеряешь нить рассказа экскурсовода. Приложение Artefact тут способно помочь. Посетитель мгновенно получает информацию о произведении, которое привлекло его внимание, и не отстает от группы. Проекту хотелось бы пожелать развивать уже намеченные направления, охватывать еще большее количество периодических выставок и музейных пространств. Интересно, какие следующие большие цели и задачи ставят перед собой авторы проекта?
Большой целью может стать уход от пакетного распознавания к облачному. Таким образом мы могли бы распознавать все объекты Музейного фонда РФ.
Также мы стараемся придумать новый механизм для распознавания трехмерных объектов, который давал бы более стабильный результат.
Но самая важная задача — сделать «Артефакт» базовым гидом и инструментом, который был бы полезен как пользователям так и музеям.