Neyroşəbəkəyə şəkilləri musiqiyə çevirmək öyrədilib

Niderland istehsalçıları vizual-səsli sinesteziyanın (vizual hislərin səslərlə əlaqələndirilməsi qabiliyyəti) süni analoqunu nümayiş etdirmək imkanına malik neyroşəbəkə yaradıblar. Alqoritm iki hissədən ibarətdir: biri təsviri yüksək səviyyəli təqdimata kodlaşdırır, ikinci isə, bu təqdimatı musiqiyə dekodlaşdırır.

Amsterdam Universitetindən Maksimilian Müller-Eberştayn və Nanne van Noord təsvirlər və musiqi arasında dəyişiklik aparan alqoritm hazırlayıblar. Təlimlər zamanı o, musiqi ilə təsvirləri əlaqələndirməyi tələb etmir və bunu təlim metodunu tətbiq edərək müəllimlərin iştirakı olmadan özü sərbəst öyrənir.

Alqoritm avtomatik kodlaşdırıcı arxitekturası üzərində qurulub. Belə alqoritm dəyişikliyi ilkin məlumatlardan özündə ilkin məlumatlar haqqında əsas informasiyanı ehtiva edən və onları kifayət qədər oxşar formada bərpa etməyə imkan verən gizli təqdimatlara çevirir. Avtomatik kodlaşdırıcılar kodlaşdırıcı və dekodlaşdırıcıdan ibarətdir. Bu kimi alqoritmlərin xüsusiyyəti ondan ibarətdir ki, bir qayda olaraq, kodlaşdırıcı və dekodlaşdırıcılar müxtəlif məlumatlar üzərində işləyirlər.

Niderland istehsalçıları öz işlərində daha qeyri-adi yanaşmadan istifadə edərək təsvirlərlə işləyən kodlaşdırıcı və musiqi ilə işləyən dekodlaşıdırıcı tətbiq ediblər.

nanonewsnet.ru saytının məlumatına görə, istehsalçılar alqoritmi 60 min əl ilə yazılmış simvolu özündə saxlayan tanınmış məlumat bazası MNIST, həmçinin təxminən 180 min yağlı boya və akvarellə çəkilmiş şəkildən istifadə etdikləri Behance Artistic Media məlumat bazası üzərində öyrədiblər. Musiqi dekodlaşdırıcısı kimi isə, onlar öyrədilmiş neyroşəbəkə modeli MusicVAE-ni istifadə ediblər.

Təlimdən sonra müəlliflər alqoritmin işinin dəqiqliyini kəmiyyət və keyfiyyət baxımından yoxlayıblar. İkinci qiymətləndirilmə üçün onlar könüllülərdən məlumat bazasındakı şəkilli təsvirlərə baxış zamanı öz emosiyalarını təsvir etməyi xahiş ediblər.

Sınaqlar göstərib ki, emosiyanın əks avtokodlaşdırılmasından sonra ilkin təsvirin qiymətləndirilməsi zamanı emosiyalar 71 faiz orta dəqiqliklə üst-üstə düşür. 

© Bütün hüquqlar qorunur. Xəbərlərdən istifadə edərkən www.ict.az saytına istinad zəruridir.