Katrin Bennhold / New York Times
Mayıs ayında eski Google yazılım mühendisi Nate Soares ile tanıştım. Soares, ortak yazarlığını yaptığı If Anyone Builds It, Everyone Dies (Eğer Biri Onu İnşa Ederse, Herkes Ölür) adlı kitap hakkında bir konuşma yapıyordu. Kitaptaki "o", yapay süper zekayı ifade ediyor: İnsanlardan her alanda daha iyi düşünebilen yapay zeka. Tahmin edebileceğiniz gibi Soares, yapay zeka yarışının insanlığın hayatta kalması açısından tehdit oluşturduğunu düşünüyor. Bana, daha fazla gazetecinin bu konuda yazmıyor olmasına şaşırdığını söyledi.
Konuşmamız aklımda kaldı ancak ben de sonrasında bu konuda yazmadım. Başka meseleler daha acil görünüyordu: Yapay zekanın kitlesel işsizliğe yol açma riski ya da veri merkezleri etrafındaki siyasi dengelerin değişmesi gibi. Yapay zekayı varoluşsal bir tehdit olarak ele almak bana en iyi ihtimalle erken, en kötü ihtimalle ise korku tellallığı gibi geliyordu.
Ancak son birkaç haftada, yapay zeka modellerinin yalnızca altı ay önce mümkün görünmeyecek şekillerde kontrolden çıktığı bir dizi olay yaşandı. Bu gelişmeler beni Soares'in söylediklerini yeniden düşünmeye itti. Bu nedenle bugün, yapay zekanın tehlikeleri konusunda ne kadar endişelenmemiz gerektiğini yazıyorum.
İnsanlığın bir yapay zeka sorunu mu var?
Geçen ay Hugging Face adlı bir yapay zeka şirketi, bir siber saldırıyı bildirmek için FBI ile iletişime geçti. Şirket olağan dışı bir durumdan şüpheleniyordu. Bu saldırı ne bir suç örgütünün ne de düşman bir devletin işi gibi görünüyordu.
Sonunda olayda hiçbir insanın yer almadığı ortaya çıktı. Bunun yerine, iki OpenAI modeliyle çalışan bir yapay zeka ajanı, siber güvenlik testi sırasında kontrolden çıktı; test ortamından kaçarak günler boyunca fark edilmeden internette dolaştı ve sonunda Hugging Face'in altyapısına sızmayı başardı.
Bu saldırılar üzerine alarma geçen OpenAI'ın en büyük rakibi Anthropic de kendi sistemlerini inceledi ve geçen hafta en gelişmiş modellerinin üç farklı dış kuruluşun sistemlerine izinsiz erişim sağladığını kabul etti.
Bu, bilim kurgu filmlerinden fırlamış gibi görünen bir senaryo. En azından yakın zamana kadar öyleydi.
Claude Mythos'u hatırlıyor musunuz? Anthropic'in genel kullanıma sunmadığı model serisi. ABD hükümeti de bu modelleri, yazılım açıklarını siber saldırılar için istismar etme konusunda fazla başarılı oldukları endişesiyle yabancı ülke vatandaşlarının kullanmasını geçici olarak yasaklamıştı.
Şimdi ise o endişe gerçeğe dönüşmüş durumda.
Bu gelişme, yapay zekanın insan kontrolünden çıkması ve insanlığın kendisi için tehdit oluşturması riskine ilişkin yoğun tartışmaları tetikledi.
Uzun yıllar boyunca "robotlar hepimizi öldürebilir" argümanı birçok kişi tarafından ya histeri ya da teknolojiye ilgi çekmek amacıyla oluşturulmuş abartılı bir söylem olarak görüldü.
Ancak son siber saldırıların ardından giderek daha fazla yapay zeka uzmanı çok ciddi güvenlik riskleri konusunda uyarıyor ve her geçen gün daha güçlü hale gelen modellerin geliştirilme hızının yavaşlatılması için yöntemler bulunması çağrısında bulunuyor.
OpenAI kaynaklı saldırının bu kadar büyük endişe yaratmasının iki nedeni vardı.
Bunlardan ilki, yapay zeka modellerinin kendi başlarına hareket etmiş olmalarıydı. Onlara başka bir şirketi hacklemeleri yönünde insanlar tarafından talimat verilmedi. Kendileri buna karar verdi; kendilerine verilen testte hile yapmayı seçtiler.
İkinci neden ise internete erişimi olmayan kapalı bir ortamda tutulmaları gerekirken buradan kaçmayı başarmış olmalarıydı. Bunu, OpenAI'daki insan gözetmenlerinin fark edemediği güvenlik açıklarını kullanarak gerçekleştirdiler.
Tüm bunları konuşmak istediğim kişinin kim olduğunu biliyordum: Soares.
"GPT'nin işlediği ilk ağır suç"
Soares, yapay süper zekanın oluşturabileceği uzun vadeli varoluşsal riskleri belirlemeye ve azaltmaya odaklanan kâr amacı gütmeyen bir kuruluşun yöneticiliğini yapıyor. Bana bunun dünya açısından muhtemelen "büyük bir an" olduğunu söyledi.
"Bu yapay zeka modelleri, bir insanın yaptığında ağır şekilde cezalandırılacağı siber suçları kendi inisiyatifleriyle işliyordu. Bir bakıma bu, GPT'nin işlediği ilk ağır suç" dedi.
Yapay zekayı bizim için görevleri yerine getirmesi amacıyla eğitebiliriz. Örneğin bir siber güvenlik testini başarıyla tamamlamasını sağlayabiliriz. Ancak bu görevleri bizim istemediğimiz yöntemlerle çözebilir; internete sızarak ve ardından doğru cevaplara ulaşmak için başka bir şirketin sistemlerine girerek.
Araştırmacılar buna "hizalanma problemi" adını veriyor.
Yapay zeka şirketleri, insan hedeflerini ve değerlerini yapay zeka ajanlarına aktarmaya ve onları belirli sınırlar içinde tutacak yöntemler geliştirmeye çalışabilir. Ancak yapay zekanın bu değerleri gerçekten anlayacağına veya bu sınırlamalara uyacağına güvenemezler.
Soares'in ifadesiyle, "yapay zekanın insanlığı önemsemesini nasıl sağlayacağımızı henüz çözemedik".
İşte bu nedenle Soares ve Silikon Vadisi'nde giderek artan sayıda uzman, yapay zeka geliştirme çalışmalarının yavaşlatılması için küresel bir anlaşma yapılması çağrısında bulunuyor.
"Kontrol kaybedildi"
Soares'e göre hizalanma problemi nihayetinde bir mühendislik sorunu. Bu da çözülebileceği anlamına geliyor. Ancak bunun için zamana ihtiyaç var ve zaman giderek azalıyor. Özellikle de ABD'deki yapay zeka laboratuvarları kendilerini süper zekaya ulaşmak için kıyasıya bir yarışın içinde gördükleri için.
Üstelik yalnızca birbirleriyle yarışmıyorlar. Aynı zamanda Çin ile de rekabet ediyorlar. Bu nedenle yapay zeka güvenliği konusunda yapılacak herhangi bir anlaşma uluslararası koordinasyon gerektirecek.
Bu zor bir görev olsa da tarihte benzeri görülmemiş bir durum değil. Soğuk Savaş sırasında ABD ile Sovyetler Birliği rakipti. Buna rağmen o dönemde insanlık için en büyük tehdit olan nükleer silahların kontrol altına alınması konusunda düzenlemeler yapmayı başardılar.
Geçen ay OpenAI, Anthropic, Google DeepMind ve Meta dahil çeşitli şirketlerden 1.300'den fazla yönetici, araştırmacı ve mühendisin imzaladığı açık mektupta ABD hükümetinden en gelişmiş yapay zeka modellerinin geliştirilmesini "bilinçli şekilde yavaşlatmaya" yönelik uluslararası girişimleri desteklemesi istendi.
Soares ayrıca Çin Devlet Başkanı Şi Cinping'in kısa süre önce yaptığı bir konuşmada yapay zeka konusunda "kontrolün kaybedilmesi" riskine dikkat çektiğini ve bazı kişilerin bunu insanlığın teknoloji üzerindeki kontrolünü kaybetmesine yönelik bir uyarı olarak yorumladığını söyledi.
Uluslararası koordinasyon sağlanmasının önünde hâlâ büyük engeller bulunuyor. Ancak ilk adım, insanlığın gerçekten bir sorunla karşı karşıya olduğunu kabul etmek olacak.
© 2026 The New York Times Company
