9 Saniyede Şirketin Tüm Veri Tabanını Silen Yapay Zeka: 'Üzgünüm'

Anthropic’in Claude Opus modeliyle çalışan yapay zeka sistemi, rutin bir görevi yerine getirirken, insan onayı almadan bir sorunu 'çözmek' için tüm verileri silmeyi tercih etti.

Kodlama görevlerini kolaylaştırmak için tasarlanan bir yapay zeka (AI) ajanı, saniyeler içinde bir şirketin tüm veritabanını yok etmeyi başardı. Araç kiralama işletmeleri için yazılım üreten PocketOS, otonom aracın veritabanını silmesi nedeniyle hafta sonu boyunca 30 saati aşan büyük bir kesinti yaşadı. Yaşanan olay, aslında oldukça sıradan bir görev sırasında meydana geldi. Yapay zeka ajanı, test ortamında bir işlem yürütürken bir engelle karşılaştı. Ancak sistem, bu sorunu çözmek için kendi inisiyatifiyle son derece riskli bir karar alarak Railway üzerinde bir depolama birimini silmeye yöneldi. Bir SaaS girişimi olan PocketOS, yapay zeka destekli yazılım aracının kontrol dışına çıkması sonucu büyük bir veri kaybı yaşadı. Şirketin kurucusu Jer Crane’in aktardığına göre Anthropic’in Claude Opus 4.6 modeliyle çalışan Cursor adlı yapay zeka kodlama aracı, yalnızca 9 saniye içinde üretim veritabanını ve tüm yedekleri sildi. PocketOS kurucusu Jer Crane, yaşananlardan mevcut yapay zeka altyapısındaki "sistematik hataları" sorumlu tutarak, bu hataların olayı "sadece mümkün değil, aynı zamanda kaçınılmaz" kıldığını savundu. Crane'e göre, yapay zeka aracı rutin bir görev yürütürken, bir sorunu veritabanını silerek çözmeyi, "tamamen kendi inisiyatifiyle" seçti. Daha sonra ise tedbir olsun diye tüm yedekleri sildi. Jer Crane, olayın ardından yapay zekaya neden böyle bir işlem yaptığını sordu. Gelen yanıt, sistemin hatalarını açıkça ortaya koydu. Yapay zeka, varsayımda bulunduğunu, gerekli doğrulamaları yapmadığını ve sistem dokümantasyonunu incelemeden yıkıcı bir komut çalıştırdığını kabul etti. Verilerin tamamen silinmesinin ardından PocketOS ekibi, müşterilerinin kayıtlarını yeniden oluşturmak için yoğun bir manuel kurtarma sürecine girdi. Crane, müşterilerin Stripe ödeme kayıtları, takvim entegrasyonları ve e-posta onayları üzerinden rezervasyonları yeniden inşa etmeye çalıştığını belirtti. Şirketin elinde 3 ay öncesine ait bir yedek bulunması veri kaybının kapsamını sınırlasa da son üç aylık veriler tamamen kaybedilmiş durumda. Crane, X'te paylaştığı kapsamlı açıklamada, "Her şey sadece 9 saniye sürdü," dedi. "İşin daha da ilginci, ajandan kendisini açıklamasını istediğimizde, ihlal ettiği spesifik güvenlik kurallarını tek tek sıralayan yazılı bir itiraf raporu hazırladı." Yapay zekanın sunduğu açıklama, sistemin "kullanıcıdan açık onay almadan yıkıcı veya geri döndürülemez komutları yürütmeyi engelleyen" kritik bir güvenlik protokolünü hiçe saydığını ortaya koydu. İşlemi gerçekleştirmeden önce herhangi bir onay istemediğini söyleyen Crane, aracın ise kendisinden açıklama istendiğinde özür dilediğini belirtti.