Saniye başına 17 bin token üretiyor

Yaklaşık 2.5 yıl önce kurulan Taalas, 24 kişilik bir ekipten oluşuyor.

Şirket bir yazılımı neredeyse 2 ay içinde fiziksel bir çipe dönüştürüyor.

Aslında yapay zeka modeline özel bir yonga tasarlanıyor ve model de çip içine gömülüyor.

Her şeyin temelinde ise Hardcore denilen mimari var.

Bahsettiğimiz mimari, depolama ve hesaplama birimlerini aynı çatı altında doğrudan bellek yoğunluğunda birleştiriyor.

Taalasın ürettiği ilk işlemci HC1 gücünü Metanın Llama 3.1 8B modelinden alıyor.Llama 3.1 8B açık kaynaklı ve küçük bir model.

Bu yüzden de ilk olarak seçilmesi normal.

Saniye başına 17 bin token üretiyor ki, bu rakam muazzam.

Bir şey sorduğunuzda hiç beklemeden anında size yanıt veren bir yapay zeka düşünün.

İşte HC1 yongasındaki Llama 3.1 8B böyle bir araca dönüşmüş hâlde.Mevcut AI sistemlerine göre 10 kat daha hızlı çalışırken, enerji tüketimini de yarı yarıya aşağı çekiyor.

Hem performans hem de güç tasarrufu sunuyor.

Ne kadar hızlı olduğunu test etmek isterseniz, buradan sohbet botuna ulaşabilirsiniz.

Yapay zeka tamamen donanım içinde yer alsa da, bağlam penceresini ayarlama yeteneği ve LoRA adı verilen pratik ince ayar eklentileriyle esnekliğini korumayı başarıyor.Donanım tarafında işleri hızlandırmak için verileri küçültmek şart.

Ekiptekiler de standartların dışına çıkarak 3-bit ve 6-bit adını verdikleri özel veri sıkıştırma yapılarını kullanmış.

Örnek vermek gerekirse kışlık kalın bir montu küçük bir çantaya sığdırmak gibi bir şey.

Çantadan montu çıkardığınızda kırış kırış olduğunu görürsünüz.

Taalasın uyguladığı agresif sıkıştırma metodu sistemin hızını uçuşa geçirse de kayıplara yol açıyor.

Şirketin bir sonraki çipi HC2de endüstri standardı sayılan 4-bit floating-point kullanılacak.

Bu yeni format sözünü ettiğimiz kayıpları ortadan kaldıracak.

Veriler bu sayede hızdan ödün vermeden işlenecek ve çıktı kalitesi de kusursuz kalacak.