KAIST araştırma ekibi, Güney Kore İleri Bilim ve Teknoloji Enstitüsü (KAIST) profesörü Nam Ju-han'ın yönettiği bir çalışmada geliştirdiği yapay zekâ modelleriyle ülkenin önde gelen caz festivallerinden birinde ilk kez insan sanatçılarla birlikte doğaçlama caz çaldı.
Üniversitenin cuma günü yaptığı açıklamaya göre ekip, 9-11 Ekim tarihleri arasında Gyeonggi Eyaleti'ndeki Gapyeong ilçesinde düzenlenen 23. Jarasum Jazz Festivali'nde, insanların performansının akışını gerçek zamanlı analiz eden bir insan-yapay zekâ müzik iş birliği teknolojisi sergiledi. Bu teknoloji, yapay zekânın performansı devralmasına ya da doğaçlama bir eşlik üretmesine olanak tanıyor.
Festivalde toplam 12 insan caz sanatçısı yer aldı. Sanatçılar 12 performansta, 26 parçada yapay zekâyla birlikte çaldı.
Bu teknoloji, doğaçlamaya dayanan bir tür olan caz alanında insan müzisyenlerle iş birliği yapılmasını mümkün kıldığı için mevcut müzik yapay zekâ hizmetlerinden ayrılıyor.
Caz müzisyenleri çoğu zaman o anki hislerine göre tempoyu değiştirir ya da yeni melodiler yaratır. Aynı parça her seferinde farklı çalındığı için müzisyenlerin birbirini dinleyip çalışlarını buna göre ayarlaması gerekir.
Yapay zekânın caz performansına katılabilmesi için önceden bestelenmiş müziği çalmanın ötesine geçmesi, insan müzisyenleri dinleyebilmesi ve performanslarındaki değişikliklere yanıt verebilmesi gerekiyor.
Ekip festivalde iki yapay zekâ modeli sahneye çıkardı: yapay zekâ piyanisti Scott ve yapay zekâ eşlikçisi DeepPocket.
Scott, insan müzisyenlerin performanslarını gerçek zamanlı olarak nota ile karşılaştırıyor. Uygun anlarda devreye giriyor ve önceki müzisyenlerin melodi ile ritimlerini yansıtan yeni solo bölümler üretiyor.
Scott'ın ürettiği müzik, Yamaha'nın Disklavier akustik yeniden üretim piyanosuna aktarıldı. Piyano, performansı gerçek tuş ve pedal hareketleriyle çaldı.
Sahnede, canlı kamera görüntüsünün üzerine bir piyanistin el hareketlerini simüle eden teknolojinin ürettiği hareket verileriyle hazırlanmış bir artırılmış gerçeklik karakteri yerleştirildi.
DeepPocket ise insan müzisyenleri dinleyerek onların notalarına, ritimlerine ve temposuna uyum sağlayan piyano, bas ve davul eşliğini gerçek zamanlı üretti. Model, önceden hiçbir hazırlık yapmadan piyanistler ve gitaristlerle birlikte doğaçlama yaptı ve çalışını sürekli onların çalışına göre ayarladı.
Araştırma ekibi 2023'te, soprano Sumi Jo'nun bir performansı sırasında piyano eşliğinin zamanlamasını ayarlayan bir yapay zekâ teknolojisi sergilemişti. Bu kez ekip teknolojiyi bir adım öteye taşıyarak yapay zekânın caz sahnesinde kendi solo ve eşlik partilerini üretmesini sağladı.
Nam, “Performanslar, yapay zekânın insan müzisyenleri dinleyebildiğini ve onların performansının akışına yanıt vererek onlarla birlikte müzik üretebildiğini gösterdi. Bu, önceden tanımlanmış müziği çalmaktan önemli bir ilerleme anlamına geliyor” dedi.
Nam ayrıca şunları ekledi: “Araştırmalarımızı, yapay zekâyı sadece bir araç olmaktan çıkarıp insan müzisyenlerle yaratıcı ilham alışverişi yapabilen bir müzik ortağına dönüştürmek için sürdüreceğiz.”
