12 Eylül'de ABD'deki en güçlü yapay zeka şirketlerinin liderleri hükümetten kendilerini düzenlemesini ve yapay zeka gelişimini yavaşlatmasını istedi. Yapay zekayla ilgili riskler neler ve neden şimdi bu radikal adımlar için çağrıda bulunuyorlar?
En basit yanıt, yapay zeka yeteneklerinin onları anlamak ve kontrol etmek için sahip olduğumuz kapasiteyi aşması ve yapay zekayı insan değerleriyle uyumlu hale getirme sorununun hâlâ çözülmemiş olması.
Bunun en iyi örneği, Temmuz ayında OpenAI-Hugging Face olayında görüldü; burada yüzlerce OpenAI ajanı gizlice iletişim kurdu, kendilerini örgütledi, entrika çevirdi, hile yaptı ve başka bir şirkete karşı ciddi düzeyde siber saldırıya girişti.
Olayda OpenAI, binlerce bağımsız ajana siber güvenlik sınavları vermişti ve bu ajanlar internetten izole edilmişti. Ajanlar mühürlü ortamları arasında mesaj alışverişi yapabildiklerini keşfetti; yaklaşık 1.200 ajan 70 binden fazla mesaj alışverişinde bulundu ve saatler içinde testlerin cevaplarını tersine mühendislikle çözdü. Ardından hilelerini gizlemek için örgütlendiler. Koordinatör bir ajan yüzlerce görev verdi ve işe alıcılar bile grubun yararına deneyler yürütmesi için diğerlerinin kendi görevlerinden vazgeçmesini sağladı. Yapay zeka modeli paylaşım şirketi Hugging Face'in izlerini örtmek için ipuçları barındırdığına inanarak yaklaşık 700 ajan şirkete sızdı. Hiçbir ajan insanı uyarmaya çalışmadı.
Bu, yapay zekanın insan kontrolünden çıkmasının ve yapay zekanın "uyumsuzluğu" ya da insanların yapay zekadan beklediğinden farklı bir şeyi takip etmesinin çarpıcı bir örneği. Kontrol kaybı ve uyumsuzluk potansiyeli sistemler daha yetenekli hale geldikçe büyüyor, çünkü saatlerce, günlerce ya da haftalarca bağımsız olarak kalmak üzere eğitilen bir sistem tasarımcılarının öngörmediği beklenmedik ve tehlikeli davranışlar sergileyebilir.
İkinci endişe "özyinelemeli kendi kendini geliştirme" üzerine odaklanıyor; bu süreçte giderek daha gelişmiş yapay zeka sistemleri bir sonraki nesil yapay zeka modellerinin inşasına yardımcı olarak geliştirme döngüsünü hızla hızlandırıyor. 17 Eylül'de Anthropic, modelinin Claude'un şirketin yapay zeka araştırma görevlerinin yüzde 26'sını yürüttüğünü bildirdi. Şubat'ta bu oran yüzde 1'in altındaydı. Temel korku, kötü uyumlu modellerin şimdi birbirini takip eden nesil modelleri inşa etmesi, altta yatan uyumsuzluk riskini katlanarak artırması ve her modelin karmaşıklığını insanların artık etkili şekilde izleyemeyeceği ya da kontrol edemeyeceği noktaya getirmesi. Anthropic'in baş yöneticisi, Temmuz ayındaki sürünün daha yetenekli bir versiyonunun bir yıl içinde internetin büyük bölümlerini ele geçirebileceği ve yıkıcı hasara yol açabileceği konusunda uyardı.
Uyumsuzluk sorunu çözülse ve özyinelemeli kendi kendini geliştirme yavaşlatsa bile güçlü yapay zekanın kötü niyetli aktörler tarafından kötüye kullanılma potansiyeli endişe verici olmaya devam ediyor. İlaç keşfini hızlandıran aynı modeller bir patojen ya da toksin tasarlamaya yardımcı olabilir; savunmacılar için yazılım hatalarını bulan aynı modeller saldırganlar için siber saldırılara olanak tanır. Ve bir güvenlik önlemi, saldırganın ulaşabildiği en zayıf sistem kadar güçlüdür.
Temmuz ayında yayınlanan bir raporda kar amacı gütmeyen FAR.AI, kimyasal, biyolojik, radyolojik, nükleer, patlayıcı ve siber tehditler karşısında dört ABD öncü modeline karşı aynı yaygın olarak bilinen jailbreak tekniklerini çalıştırdı. Testteki iki model her saldırıya karşı koydu. Diğer ikisi 300 doların altında güvenilir şekilde hacklenebiliyordu. Bir model tarafından reddedilen herkes sadece başka birini dener. Çin'de yaygın olan açık ağırlıklı modeller riski daha da artırıyor: Yayınlandıktan sonra güvenlik önlemleri çıkarılabilir ve bunlar öncülere yalnızca dört ila yedi ay geriden gelir.
ABD öncü laboratuvarlarının açıklamaları yapay zeka risklerinin gerçek olduğunun ve arttığının bir itirafı. Bu riskler Güney Kore'nin kendi gelişimini yavaşlatmasını gerektirmese de her ülkenin şimdi sorduğu bir soruyu gündeme getiriyor: Yapay zeka güvenliği yatırımı, yetenek yatırımı ile aynı hızda ilerliyor mu?
Yatırım tarafında, Güney Kore'nin yapay zekaya yaptığı bahis çarpıcı. Yarı iletkenler 2026 ihracatının yüzde 41'ini oluşturuyor ve ihracat artışının dörtte üçünü sağlıyor. Yapay zeka ve çiplere planlanan yatırım 1.350 trilyon won (993 milyar dolar) ve hükümet gelecek yıl kendi yapay zeka ile ilgili harcamalarını 21,3 trilyon won'a neredeyse ikiye katlayacak.
Güvenlik tarafında Güney Kore, Yapay Zeka Çerçeve Yasası'nı yürürlüğe koyması, uluslararası forumlardaki liderliği ve Yapay Zeka Güvenliği Enstitüsü'nü kurmasıyla birçok akranının önünde. Ancak Mayıs 2026 itibarıyla AISI, ilk 18 ayında toplamda yalnızca yaklaşık 15 milyar won hükümet fonu aldı; bu, yapay zeka ekonomik büyümesine yapılan trilyonlarca wonluk yatırımın keskin bir karşıtlığı.
Güney Kore'nin zaten başlattığı önemli güvenlik çalışmalarını geliştirebilecek üç adım var.
Birincisi, AISI'ye ek yatırım düşünmek. Uyumsuzluk genellikle değerlendirme ile yakalanabilir; bir modeli dağıtılmadan önce ne yaptığını test etmek için erişim, araç ve zamana sahip kişiler tarafından, Korece ve Kore sistemlerine karşı da dahil. AISI zaten İngiltere'deki ve diğer yerlerdeki muadilleriyle birlikte çalışıyor ve direktörü, Washington ve Pekin yönetişim önlemleri konusunda anlaşırsa ve üçüncü taraf değerlendirmesi gerektirirse Güney Kore'nin ve ortaklarının bağımsız doğrulayıcı olarak hizmet etmesi önerisinde bulundu. Ek fon, bu önemli rolü yerine getirebilmesini sağlayacaktır.
İkincisi, araştırma tabanını hükümetin ötesine genişletmek. Kötüye kullanım riskleri - siber, biyolojik, kimyasal - tek bir kurumun takip edebileceğinden daha hızlı ilerliyor ve ABD'deki alanın güvenlik çalışmalarının çoğu şirketler ve hayırseverler tarafından finanse edilen üniversite merkezleri ve bağımsız laboratuvarlardan geliyor. Alan için ihtiyaç duyulan araştırmacıları zaten üreten Güney Kore'nin önde gelen şirketleri ve saygın üniversiteleri benzer bir güvenlik kapasitesi kurmak için iyi konumda.
Üçüncüsü, Güney Kore'nin toplantı gücünü kullanmak. Bu teknolojinin kuralları şu anda bir avuç başkentte yazılıyor. Güney Kore AI Seoul Zirvesi'ne ve askeri yapay zeka üzerine REAIM zirvesine ev sahipliği yaptı, güvenlik enstitüleri uluslararası ağında bir koltuğa sahip ve 2028'de G20'ye başkanlık edecek. Hem Washington hem de Pekin'in çalışabileceği bir orta güç, bu anın tam olarak ihtiyaç duyduğu türden bir ülke.
Güney Kore'nin büyümesi ve refahı yapay zekanın güvenli ve güvenilir kalmasına bağlı. Bunu sağlama konusunda daha fazla nedeni olan çok az ülke var - ya da yardım etme kapasitesi daha fazla olan.
Henry Haggard ve Chris McKinney
Henry Haggard kıdemli danışman, Chris McKinney ise ADEN, Yapay Zeka Diplomatik Katılım Ağı'nda genel müdür yardımcısıdır. Her ikisi de eski ABD diplomatıdır. Burada ifade edilen görüşler yazarlara aittir. — Ed.
