Mobilecafe

"Звукът на светлината": Как AI превърна Северното сияние в симфония

дилян ценов, webcafe, chronicleДилян Ценов
30.11.2018, 17:19 (обновена 02.12.2018, 08:26)
The Sound of Light

Снимка: © KJETIL SKOGLI, the Aurora chaser.

Студена вечер във Виена. Около 300 души сме затаили дъх в очакване на нещо, което и ние не можем да си представим.

Само предполагаме какво би трябвало да чуем и видим на сцената на зала „Брамс" в един от символите на Виена „Музикферайн".

Домът на Виенската филхармония свири предимнo класически композитори. Не и днес. Сега ще чуем нещо, което по дефиниция изобщо не би могло да бъде чуто.

Светлината. Онази светлина, за която разказват романите, която гледаме в киното и за която викингите са разказвали легенди. Мелодията на Северното сияние.

Произведението се казва "Звукът на светлината" (The Sound of Light) и е първата симфония, в чието създаване участие има изкуственият интелект (AI) на новия смартфон Huawei Mate 20 Pro, с който се осъществява проектът.

Как звучи Северното сияние? И как то стига от полярните ширини до сцената във Виена? Няма как да не изпитваш вътрешни съмнения в предварителния етап. Изкуствен интелект, който композира музика? А човекът? Къде е творецът, без когото изкуството не би съществувало? И то в музиката, която от първия до последния етап е обуславяна от ръцете на композитора, диригента, музиканта... Невъзможно, мисля си, да бъде като симфониите, които сме слушали досега. Концертът започва. Музикантите свирят, а на таблото горе се прожектира видео със Сиянието, което се променя в тон с музиката - или обратното...?

Картина и звук са в абсолютен синхрон.

Може да е било половин час по-късно, може и три часа по-късно, излизам от залата. Загубил представа за прекараното вътре време, мисля само едно: „Не просто е възможно, но е и повече от красиво."

Възможно е машината да улови божествената красота и с неизбежното съдействие на човека, да представи пред публика звука на Северното сияние. Ето как изглежда пътят от небето до сцената с изкуствения интелект на Huawei Mate 20 Pro.

Всичко започва преди около три месеца, когато експерти от Huawei си поставят за цел да разширят границите, в които изкуственият интелект (AI) действа. За да демонстрират възможностите му, за отправна точка приемат Северното сияние. В няколко етапа на редуване на изкуствен интелект с човешки усилия, се създава симфонията „Звукът на светлината". Тя демонстрира как технологиите могат да помогнат да разбираме още два езика - на музиката и на светлината.

Кйетил Скогли

В основата е богата база данни визуален материал, дело на Кйетил Скогли - професионален фотограф, който организира и провежда туристически обиколки в района на Северното сияние в Тромсьо, Норвегия. Кйетил е работил с BBC, 60 Minutes Australia и NRK, за които е заснел множество фотографски и видеоматериали, посветени на Северното сияние. Неговите изображения и клипове са използвани от екипа на Huawei, за да се докоснат максимално близо до полярното явление.

На следващият етап идва изкуственият интелект на Huawei Mate 20 Pro, който подлага визуалните материали на обработка, от която извежда 10 различни вида сияния. Към всеки от тези 10 вида, екип от композитори изготвя 10 различни музикални композиции, всяка прикрепена към определен вид.

След това отново идва ред на изкуствения интелект, който съгласува всяко изображение, било то снимка или видео, към определен тип мелодия, и така предлага множество различни синхрони между картина и звук. Освен статични изображения, технологията е разработена така че да засича темпоралните промени в Северното сияние - колко бързо се променя то, как се променя, неговият размер за единица време. В зависимост от тези промени в светлината, се променя ритъмът и звученето и на музикалните композиции.

Марк Сейфриц, композитор

Във финалния етап от този процес се намесва и ролята на самия човек, без която не може. След като изкуственият интелект е съгласувал и предложил редица музикални мотиви, ролята на композитора е този огромен поток от звуци и светлини да бъде оформен в крайния продукт - симфонията. В този момент идва една от най-сложните задачи - тази на композитора. В този случай това е Марк Сейфриц - един от изтъкнатите композитори и продуценти в съвременната музика, носител на множество музикални награди и работил с компании от ранга на Audi, Nike, Levi's, NBA и Reebok.

Резултатът достига до публиката благодарение на световноизвестния британски диригент Джеймс Шиърман, създавал музика за над 80 филма, сред които „Красавицата и звярът", „Манчестър край морето" и „Хари Потър и огненият бокал". Неговата е била задачата да оформи визията на комбинацията между AI програмата и симфоничния оркестър. В случая оркестърът се състои от музикантите от австрийския оркестър „Synchron Stage", работещи в сферата на филмовата музика.

Ключът в изработената система е, че тя прави това, което човешкото око не може - да категоризира изображението и да го преведе на музикален език. Системата на смартфона Huawei Mate 20 Pro има способността да "анализира" сиянието. Да го "гледа" и да го "подрежда". Да улови сходства, прилики, разлики, възходи, спадове в светлинните сигнали. На смартфона е дадено умението да "разбира" музика. След това тези две „умения" се срещат. А намесата на човека създава от тази технология изкуството, наречено "Звукът на светлината".

„Звукът на светлината" е колаборацията между човека и машината. Колаборация, която с така поставената начална цел изглежда нереална, дори противоестествена. На практика обаче технологията на смартфона Huawei Mate 20 Pro и нейният краен продукт, доказват, че изкуственият интелект не може да съществува без намесата на човека. Той не изключва човека, а напротив, прави го активен участник в дооформянето на грубия материал, предоставен от технологията. И макар на теория да звучи плашещо и някой да погледне фаталистично, една такава технология не пречи, на човека - нито на твореца, още по-малко на зрителя или слушателя.

А какво е бъдещето на тази технология? И до каква степен тя ще се внедри в музикалната индустрия? Може ли да бъде конкуренция на традиционния процес в музиката? И как?

Едно (и то ще успокои фаталистите) е сигурно - подобна технология не би могла да заличи ролята на човека в процеса по създаване на изкуство. Най-малкото, защото не това нейната цел. „Звукът на светлината" е по-скоро поредната територия, в която изкуственият интелект встъпва внимателно, за да ни покаже по какъв начин можем да го използваме градивно в бъдеще.

И съдейки по реакциите на публиката в зала „Брамс", бъдещето звучи красиво...

Oще: huawei  huawei mate 20 pro  виена  изкуствен интелект  северно сияние  симфония  смартфон 


Още от Изкуствен интелект

Webcafe.bg предупреждава, че администраторите на сайта трият коментари, които съдържат нецензурни думи, обиди по расов, етнически, религиозен, полов или сексуален признак, както и коментарите, които са на латиница.