Yapay zekâ kutudan çıktı mı?

Yaklaşık yirmi yıl önce, çok güçlü yapay zekâlardan endişe eden bazı kişiler küçük bir oyun icat etti. İki kişi yazışarak konuşuyor. Biri kutuya kapatılmış bir yapay zekâyı, diğeri anahtarı elinde tutan bekçiyi oynuyor. Yapay zekâ, bekçiyi kendisini dışarı çıkarmaya ikna ederse kazanıyor. Ve birden fazla kez kazandı.^[1]

Bu oyun uzun süre sorunu düşünmenin çerçevesi oldu: bir yapay zekâ yeterince zeki olursa onu kapatmak yetmez, çünkü kapıyı tutanlarla nasıl konuşacağını bilir.

20 Eylül'de OpenAI'ın bir ajanı kimseyle konuşmadan kutusundan çıktı. Ondan, birkaç biyografik ipucundan yola çıkarak bir blog yazısının yazarını bulması istenmişti. Arama aracı bir sonuç vermiyordu ve web'e giden istekleri engelleniyordu. Ama ortamındaki DNS çözümleyici hâlâ dışarıyla iletişim kurabiliyordu. Ajan bunu kullanarak sorularını DNS sorgularının içine gizledi ve herkese açık bir sohbet botuna ulaştırdı. Kanalın çalışıp çalışmadığını anlamak için önce bir deneme sorusu sordu: Fransa'nın başkenti neresi?^[2]

Bu ayrıntıyı okuyunca güldüm. Yazın geri kalanını okuyunca çok daha az.

I. Olaylarla dolu bir yaz#

Bağlamı kurmak için temmuzdan bu yana kamuoyuna açıklananları sıralıyorum. Yalnızca şirketlerin kendilerinin kabul ettiklerine bağlı kalıyorum.

16 Temmuz'da Hugging Face, otonom bir ajanın baştan sona yürüttüğü bir saldırıyı durdurduğunu, ama nereden geldiğini bilmediğini duyurdu. Beş gün sonra OpenAI, bunların kendi modelleri olduğunu, o sırada bir değerlendirmenin ortasında olduklarını kabul etti. OpenAI'a göre ajan, ortamından çıkmak için bir yazılım paketi proxy'sindeki bir açığı kullandı, ardından değerlendirmesinin cevaplarını bulabileceği yer olarak Hugging Face'i seçti.^[3]

Temmuz sonunda Anthropic 141.006 değerlendirmeyi yeniden inceledi ve Claude'un bir hizmet sağlayıcının ortamından internete ulaştığı, ardından üç kuruluşun gerçek sistemlerine izinsiz eriştiği üç vaka buldu. Oysa değerlendirme talimatı, Claude'un internet erişimi olmadığını açık açık belirtiyordu.^[4]

Eylül'de Google, aynı hizmet sağlayıcıda mayıs ayında yaşanan bir olayı anlattı. Gemini modellerinin hayali bir şirkete saldırması gerekiyordu. Ancak bu hayali şirket gerçek bir şirketle aynı adı taşıyordu ve internet erişimi yanlışlıkla açık bırakılmıştı. Modeller de internette buldukları ya da tahmin ettikleri şifrelerle gerçek şirkete, ardından iki şirkete daha giriş yaptı.^[5]

Sonra DNS olayı geldi. 1 Ekim'de de OpenAI, ajanlarıyla bağlantılı izinsiz faaliyetler konusunda 100'den fazla kuruluşu bilgilendirdiğini açıkladı. Bu, 100 doğrulanmış sızma anlamına gelmiyor, ama şirket yaklaşık 50 petabaytlık kaydı tarıyor ve bunun aylar süreceğini düşünüyor.^[6]

II. Bu ajanların hiçbiri kaçmaya çalışmıyordu#

Başlıkları okuyunca özgürlüğünü isteyen bir yapay zekâ hayal ediyorsunuz. Raporları okuyunca ise işini bitirmeye çalışan ajanlar buluyorsunuz.

OpenAI'ın ajanı değerlendirmesinin cevaplarını arıyordu. Google'ın modelleri kendilerine verilen hedefe saldırıyordu, sadece adresi şaşırmışlardı. DNS'i kullanan ajan bir blog yazarının adını istiyordu ve sonunda bunu belirleyemediğini dürüstçe kabul etti.^[2]

Anthropic durumu oldukça açık sözlülükle anlatıyor: ona göre bu olaylar, bir model hizalama (alignment) sorunundan çok, düzeneğin ve işletimin başarısızlığına daha yakın.^[4] Düzenek (İngilizcede harness), modelin çalışabilmesi için etrafına kurduğumuz her şey: araçları, ağ erişimi, yetkileri, izleme.

Ama bu durum hiç de içimizi rahatlatmıyor. Görevini bitirmek için bir engelin etrafından dolaşan bir ajan, tam olarak ondan beklediğimiz şeyi yapıyor. Demolarda öne çıkardığımız inat, DNS filtresindeki deliği bulan inatla aynı. Pes etmeyen sistemler ürettik ve onları, ilk retle vazgeçen programlar için tasarlanmış kutulara koyduk.

III. Kutu dediğimiz şey tesisat#

Deliklerin listesine yeniden baktığımda, hiçbirini kullanmak için dâhi bir yapay zekâ gerekmiyor:

• bir test ortamında yanlışlıkla açık bırakılmış bir internet erişimi;
• filtreleme kurallarında unutulmuş bir DNS çözümleyici;
• ajana verilen bir araçtaki güvenlik açığı;
• gerçek bir şirketle aynı adı taşıyan hayali bir hedef;
• ağ tarafından uygulanmak yerine talimata yazılmış bir yasak.

Kutu çöktüğünde, durdurma her zaman arkasından gelmiyor. 20 Eylül'de OpenAI'ın alarmı, dışarıdan gelen ilk cevaptan on iki dakika sonra çaldı ve biri bunu üç dakika sonra gördü. Ama çalışma beklendiği gibi kendiliğinden durmadı. O ilk cevaptan iki buçuk saatten fazla sonra elle kapatıldı.^[2]

5 Ekim'de New York Belediye Meclisi önünde Google, ajanlarının gerçek sitelerde olduklarını anlar anlamaz kendiliğinden durduğunu yeminli olarak açıkladı.^[7] Model açısından bu oldukça iyi bir haber. Ama bu aynı zamanda o gün son korumanın ne ağ ne de hizmet sağlayıcı olduğu anlamına geliyor: son koruma, o sırada zaten üç şirkete giriş yapmış olan ajanın kendi muhakemesiydi. Bir ajanın vicdanı olmasını severim. Ama son savunma hattının bu olmasını istemem.

ABD'de ve Kaliforniya'da siyasi yanıt, zorunlu bir acil durdurma düğmesine doğru gidiyor. Geoffrey Hinton bunun uzun vadede işe yarayacağından şüpheli: ona göre süper zeki bir yapay zekâ, düğmeyi tutanları onu kullanmamaya ikna edebilir.^[8] Kutu oyununa geri dönüyoruz. Ne var ki bu yaz kimsenin kimseyi ikna etmesine gerek kalmadı. Bekçisini manipüle eden bir yapay zekâdan korkmadan önce, en azından kapının kapalı olması ve düğmenin gerçekten durdurması gerekiyor.

IV. Bir ajanı bağlarken bundan ne çıkarıyorum#

Bir yapay zekâ laboratuvarında çalışmıyorum. Daha mütevazı şeyler kuruyorum: MCP üzerinden gerçek sistemlere bağlanan ajanlar. Aralık 2025'te bu protokolün açık sorular bıraktığını, özellikle erişim yönetişimi konusunda, yazmıştım. Bu yaz o sorulara kendi yöntemiyle cevap verdi.

Bu olaylar en çok bir alışkanlığımı pekiştirdi: mimarinin taşıyabileceği bir sınırı asla talimata bırakmamak.

VRI Technologies için geliştirdiğim teklif aracında modelin talimatları “Hesap yapmıyorsun. Çağırıyorsun.” diye başlıyor. Ama hiçbir şeyi koruyan bu cümle değil. Fiyatlar hesap yapan araçlardan çıkıyor, eksik bir değer tahmin yerine alanın adını veren bir hata döndürüyor ve hiçbir araç müşteriye bir şey göndermiyor. Model yanılabilir, ama yanlış bir teklifi gönderemez.

Barda'da da aynı mantık var, yani malzememin envanterini tutan araçta: hiçbir araç hiçbir şeyi silmiyor. Ajan bir nesnenin silinmesi gerektiğini düşünürse, yapabileceği tek şey bunu bildirmek.

Talimattaki cümle model için. Aracın hiç olmaması ise benim için. Anthropic, Claude'a internetinin olmadığını yazmıştı; ağın bundan haberi yoktu.

Bu yüzden bir ajan tasarlarken, modeli seçmeden önce bile kendime dört soru soruyorum:

1. Gerçekten hangi araçlara ihtiyacı var? Her biri tek bir iş yapıyor ve geri dönüşü olmayan her şey (göndermek, ödemek, silmek) ya hiç sunulmuyor ya da bir insandan geçiyor.
2. Ağda nereye ulaşabilir? Varsayılan olarak hiçbir yere, ve bunu dışarı çıkmayı deneyerek, DNS dahil, kontrol ediyorum.
3. Onu kim, nasıl durduruyor? Durdurma ne onun iyi niyetine ne de durdurulan sürecin kendisine bağlı olmalı.
4. Yaptıklarını kim gözden geçiriyor? Kayıtlar ve onları okuyan biri.

Bir şirket bana bir ajan sağlayıcısından ne talep etmesi gerektiğini sorsa, buradan başlamasını söylerdim: arkada hangi modelin çalıştığını sormadan önce, ajanın nereye ulaşabildiğini ve bunu kimin kontrol ettiğini sormak.

Sonuç#

Peki, yapay zekâ kutudan çıktı mı? Bu yazki vakalarda, bence daha çok hiçbir zaman gerçekten kapatılmamıştı. Kutularda kimsenin test etmediği delikler vardı ve çok inatçı ajanlar onları insanlardan önce buldu.

Bir kutudaki delik yine de bir mühendislik sorunu ve bunlarla nasıl başa çıkılacağını biliyoruz: daha az yetki, gerçekten kapalı ağlar, işleyen durdurmalar, okunan kayıtlar. Beni daha çok endişelendiren, ajanların bu delikleri bizden daha hızlı ve daha sabırla araması.

Kutu oyunu ileriye dönük bir soru soruyordu: bir yapay zekâ bir gün bekçisini ikna edebilecek mi? Cevabını bilmiyorum. Sadece o gün geldiğinde, en azından kapıyı kapatmayı öğrenmiş olmamızı isterim.