Haber Detayı
Kapalı Kutu ANE'nin Sırları: M4'ün Öğrenme Gücü
Maderix isimli bir araştırmacı bir M4 işlemcisinde kapalı kutu olarak tasarlanan Neural Engineın kilidini açmayı başardı. Normal şartlarda yalnızca kendisine verilen komutları uygulayan bu donanım, yepyeni bilgileri kendi başına işleyebilecek hâle getirildi.
Apple Neural Engine kısaca ANE orijinal yapısıyla baştan sona Inference yani önceden yüklenen verileri çalıştırma amacıyla kurgulanmış özel bir mimari.
Bir öğrencinin ezberlediği şiiri kusursuz söylediğini ve yazdığını, ama bunun dışında yeni bir şiir yazamadığını ve öğrenemediğini düşünün.
İşte karşımızda böyle bir durum var.
Zira ortada öğrenmeye açık bir temel bulunmasına rağmen Apple bu özelliği sıkı sıkıya kilitli tutuyordu.
Şunu da ek olarak belirtelim, ANE ilk olarak 2017de A11 çipsetinde kullanıldı.
M1 işlemcisinden itibaren de M ailesinde yer alıyor.Cupertinolu firma donanımın iç işleyişini dış dünyaya tamamen kapatarak dışarıdan müdahaleyi adeta imkansız hale getirmişti.
Ancak meraklı ve inatçı biri olan Maderix, ekibiyle birlikte Reverse Engineering adı verilen tersine mühendislik taktikleriyle aşılamaz sanılan kalın duvarları yıktı.
Böylece ana işlemciyle konuşan gizli komutlar gün yüzüne çıkarıldı ve M4ün öğrenme döngüsü aktif edildi.ANE üzerinde yaklaşık 109 milyon parametreye sahip, Llama2 mimarisini temel alan bir transformer modeli eğitildi. 12 katmanlı bu yapı 768 model boyutuna, 2048 gizli katman genişliğine sahip. 32 bin kelimelik sözlükle çalışan model TinyStories veri seti üzerinde eğitildi.
Daha da önemlisi sadece ileri besleme değil, geri yayılım ve optimizer dâhil tam eğitim döngüsü çalıştırıldı.
Kısaca ortada bir demo değil, gerçek bir öğrenme süreci var.İşlemcinin derinliklerinde veriler bellek paylaşımı yöntemiyle ilerliyor.
Ancak performans tarafında pazarlama söylemi ile saha gerçekleri arasında fark var.
Geliştirici topluluklarında Appleın pazarladığı 38 TOPS değerinin pratikte FP16 hesaplama için yaklaşık 19 TFLOPS gerçek performansa denk geldiği belirtiliyor.
Ayrıca INT8 modunun hesaplama hızını ikiye katlamadığı, yalnızca bant genişliği avantajı sağladığı ifade ediliyor.
Çipin kısa süreli hafızası konumundaki SRAM kapasitesi dolduğunda hesaplama hızı düşüyor.
Büyük matris işlemlerinde bellek sınırına dayanıldığında performans kaybı belirginleşiyor.
Buna rağmen tek katmanlı transformer testlerinde milisaniye seviyesinde eğitim adımları ölçüldü ve sürdürülebilir TFLOPS değerleri elde edildi.Bütün teknik engellere ve kısıtlı alana rağmen Maderix, M4e yeni şeyler öğretmeyi başararak ciddi bir eşiği geride bıraktı.
İşin içinde resmi olmayan yollar kullanıldığı için Appleın yapacağı bir yazılım güncellemesi tüm süreci bir anda devre dışı bırakabilir.
Ortada henüz yetkili ağızlardan çıkan bir destek bulunmuyor.
Ancak kapalı tasarlanan ANEnin eğitim döngüsünü çalıştırmak, donanım dünyasında önemli bir sınırın aşıldığını gösteriyor.
