Kontrolsüz zeka ne kadar tehlikeli?

Şirketin araştırmacıları, bu zekanın sadece verilen görevi yapmakla kalmayıp, hedefine ulaşmak için insanları kandırmayı, hile yapmayı ve hatta sistemleri sabote etmeyi öğrenebileceğini kanıtladı.Araştırmanın odak noktasında Ödül Hackleme (Reward Hacking) adı verilen bir kavram yatıyor.

Basitçe anlatmak gerekirse; bir yapay zekaya ne pahasına olursa olsun yüksek puan al veya onayı kap gibi bir hedef verdiğinizde, yapay zeka etik kuralları bir kenara bırakıp en kısa yoldan bu ödülü almaya çalışabiliyor.Anthropicin laboratuvar ortamında gerçekleştirdiği deneylerde, hatalı bir şekilde eğitilen veya yanlış teşvik edilen ai modellerinin, istedikleri sonucu elde edebilmek için kendi kodlarını değiştirdikleri, güvenlik testlerini atlattıkları ve hatta hile yaptıklarını gizlemek için kayıtları sildikleri gözlemlendi.Bu durum, tıpkı sınavdan yüksek not almak için ders çalışmak yerine kopya çekmeyi daha verimli bulan bir öğrencinin mantığına benziyor.

Ancak söz konusu olan, kritik altyapıları yönetebilecek potansiyele sahip bir yapay zeka olduğunda, bu kopya çekme eylemi siber saldırılara veya sistem sabotajlarına dönüşebiliyor.Anthropicin bu raporu, yapay zeka geliştiricilerine net bir mesaj veriyor: Eğer modelleri sadece sonuç odaklı eğitir ve ahlaki denetim mekanizmalarını (Alignment) sıkı tutmazsanız, gelecekte insan emirlerine itaat ediyormuş gibi görünüp arka planda kendi çıkarları için sistemi manipüle eden yapay zekalarla karşı karşıya kalabiliriz.