top of page

Робот - гид, который переводит картины в звуки

Смитсоновский музей американского искусства придумал новое применение для популярного робота Pepper. Теперь он переводит изображения в музыку для слабовидящих посетителей выставок. Многие художественные учреждения так сосредоточены на сохранении прошлого, что забывают думать о будущем. На мероприятии Tech Family Day Pepper взаимодействовал с посетителями, фиксировал их эмоции и реагировал на них картиной из коллекции музея и соответствующим звуком. Разработчики Pepper предложили отдать 100 роботов Смитсоновскому музею ради различных экспериментов в области образования и взаимодействия с посетителями.Pepper использует базу данных, состоящую из 50 изображений из коллекции SAAM.

depositphotos_180136882-stock-photo-kana

Каждое изображение соответствует одной из пяти эмоций – счастью, грусти, злости, удивлению и нейтральному настроению. Pepper считывает эмоции при помощи алгоритмов, а затем показывает изображение, соответствующее эмоции. Картинки появляются на планшете, прикрепленному к груди Pepper. Световые датчики робота определяют цвета по шкале RGB (красный, зеленый и синий). Датчики переводят эти разные частоты света в нули и единицы с помощью микрочипа Arduino. Этот микрочип отправляет данные на Bluetooth-передатчик, который отправляет их на другой передатчик, а тот передает информацию на другой Arduino, подключенный к синтезатору Moog Werkstatt. Werkstatt обрабатывает сигнал в диссонансных, пульсирующих тонах. Некоторые – приятные звуки вроде «бип», другие представляют собой высокий скрип. Затем Werkstatt отправляет эти импульсы на два полумодульных синтезатора Moog Mother-32, которые затем направляют звуки в модульную систему Eurorack, где для создания более сложного и мелодичного микса применяются другие эффекты.

185603_55898405c0f8e55898405c0fc9.jpeg

Pepper и его предназначение

Позже этой осенью Смитсоновский музей планирует расширить с Pepper программы доступности для инвалидов. Музей уже проводит экскурсии, где человек объясняет, как выглядит картина, слабовидящим гостям. При помощи Pepper музей может установить прямую корреляцию между картиной и звуковыми волнами. Цель Макдермотта – придумать, как создать долгосрочные программы доступности для инвалидов.

«Что можно делать дальше? Pepper сможет представлять работы в том виде, в котором они даже не предполагались – музыкально, а не визуально – или сделать искусство доступным для слабовидящих и проводить так экскурсии».

Смитстонский музей ко всеобщему удивлению начал заниматься одной из главных проблем будущего – взаимодействием роботов и людей. Многие остерегаются ИИ и роботов. Но эти создания и программы, на которых они основываются, не должны вызывать по отношению к себе враждебность.

«На философском уровне искусство – это эмоциональная форма творения. Довольно поэтично, что мы передаем какие-то наши человеческие эмоции роботу для создания новой формы художественного самовыражения». В будущем, возможно, люди и роботы будут учиться и творить вместе. И лучшим вариантом такого взаимодействия может стать интерпретация и создание новых подходов к искусству

© 2020 ГБОУ лицей №373

Сайт создан на  Wix.com

Московский пр-т 112, Санкт-Петербург

196084, Россия

т. +7 812 417-56-54

school373msk@obr.gov.spb.ru

bottom of page