
Görsel: Galatasaray Üniversitesi Bilgisayar Mühendisliği Bölümü.
Pivony’nin de içinde olduğu Green-SLM projesi COP31’de
Galatasaray Üniversitesi, COP31 kapsamında Antalya’da sunulmak üzere altı projesini seçti. Bunlardan biri Green-SLM (Low-Carbon Small Language Models and a Green Compliance Framework for Enterprise AI). Projeyi Bilgisayar Mühendisliği Bölümü öğretim üyesi Prof. Dr. Gülfem Işıklar Alptekin ile bölümün doktora öğrencisi ve Pivony’nin kurucusu Emre Çalışır geliştirdi. Pivony, projenin endüstri ve yapay zekâ ortağı.
Proje, COP31’in temiz enerji dönüşümü ve yeşil sanayileşme temasında yer alıyor. Amacı, kurumsal yapay zekâ uygulamalarının enerji tüketimini azaltmak ve dil modellerinin daha sürdürülebilir kullanılmasını desteklemek.
Sorun
Şirketler, büyük dil modellerinin ne kadar enerjiyi boşa harcadığını göremiyor. Araştırmalar modelleri benchmark’larla ölçüyor; bir şirketin her gün sorduğu gerçek sorularla değil. Bu yüzden şirketin yapay zekâsının harcadığı enerjinin ne kadarının gerçekten gerektiği, ne kadarının daha küçük bir modelle, önbellekle ya da boşta bekleyen GPU’ları kapatarak kurtarılabileceği bilinmiyor.
LEWI: israfı ölçmek
Proje, LLM Energy Waste Index (LEWI) adlı bir ölçüm öneriyor: şirketin yapay zekâsının harcadığı enerji eksi kalite eşiğini hâlâ geçen en düşük enerji. LEWI benchmark’la değil, her şirketin kendi LLM kayıtlarıyla ölçülüyor; boşta bekleyen GPU’ların enerjisi de hesaba katılıyor. İsraf üç parçaya ayrılıyor:
- Gereğinden büyük model: daha küçük bir model de aynı cevabı verebilirdi.
- Boşta bekleme: trafik yokken GPU’lar açık.
- Tekrar: cevap önbellekten gelebilirdi.
LEWI 0–100 arası bir skor olarak, kWh ve CO₂e ile birlikte raporlanıyor. Şirket içinde çalışan modellerde ölçülüyor, bulut API’lerinde tahmin ediliyor.
Green-SLM döngüsü
- Denetle: şirketin kendi LLM kayıtlarında LEWI’yi hesapla.
- Teşhis et: israfı gereğinden büyük model, boşta bekleme ve tekrar olarak ayır.
- Düzelt: her görevi kalite eşiğini geçmiş kompakt bir modele taşı, önbellek ekle, boştaki GPU’ları kapat.
- Doğrula: LEWI’yi yeniden ölç, tasarruf edilen CO₂e’yi raporla.
Döngü sürekli ve şirkete özel çalışıyor; çünkü her şirket farklı sorular soruyor. Yeni kayıtlar kompakt modeli yeniden eğitiyor ve denetimi tekrarlatıyor.
Üçüncü adımda sıkıştırma kalite eşiğine bağlı. Kompakt model şirketin kendi kayıtlarıyla damıtılıp sıkıştırılıyor; ardından cevap değişimleri, büyük modelden sapma ve sorgu başına gerçek enerji ölçülüyor. Model ancak büyük modelin kalitesinin en az %97’sini koruyor ve cevapların en fazla %5’i değişiyorsa devreye alınıyor. Zor sorular yine büyük modele yönlendiriliyor.
Hedef
Hedef, kaliteyi önce kanıtlayarak kompakt modellere taşınan kurumsal yapay zekâ görevlerinde sorgu başına %85–90 daha az enerji. Posterdeki tüm rakamlar hedef olarak belirtiliyor. Proje bir Türkiye vaka çalışması da içeriyor; sıkıştırma kalitesi ve enerji, insan değerlendirmesiyle de kontrol ediliyor.
Planlanan çıktılar:
- LEWI endeksi ve hesaplama aracı;
- Green-SLM çerçevesi ve açık modeller;
- benchmark raporu ve demo.
LEWI skorunuzu öğrenin
Kendi yapay zekâ kullanımınız için LEWI hesaplama aracıyla bir tahmin alabilirsiniz: kullanımınızı girin; LEWI skorunu, yılda boşa giden enerjiyi ve Green-SLM ile ne kadar tasarruf edilebileceğini görün. Bu bir denetim değil, tahmindir; sorgu başına gerçek enerji donanıma, toplu işleme ve prompt uzunluğuna bağlıdır. Araç İngilizcedir.
Poster Galatasaray Üniversitesi’ne aittir; Yükseköğretim Kurulu’nun (YÖK) görüşlerini yansıtmayabilir.
See root causes on your own feedback
Book a 15-minute demo, or get a free RCA in 48 hours with no sales call.