Yapay zekanın enerji maliyeti: eğitim mi, günlük kullanım mı

Yapay zekanın enerji tüketimi, son yılların en çok konuşulan ama en az sayıyla desteklenen başlıklarından biri. Sorunun kaynağı kısmen şeffaflık eksikliği, kısmen de kavram karışıklığı: eğitim ile kullanım tamamen farklı iki maliyet kalemi ve ikisi sürekli birbirine karıştırılıyor.

İki ayrı fatura

Bir modelin ömründe iki enerji dönemi var:

• Eğitim: haftalar sürebilen, binlerce hızlandırıcının birlikte çalıştığı tek seferlik bir iş. Tek bir olay olarak büyük bir rakam. Aşamalarını model eğitimi yazısında ele aldık.
• Çıkarım: modelin her kullanımı. Tek bir soru için harcanan enerji küçüktür, ama günde yüz milyonlarca soru geldiğinde toplam, eğitimi geçer. Yaygın bir modelde ömür boyu tüketimin büyük kısmı bu tarafta.

Yani “şu model şu kadar enerji harcadı” cümlesi, hangi dönemden bahsettiğini söylemiyorsa bir şey anlatmıyor.

Tek bir sorgunun maliyeti neye bağlı

Bir isteğin enerjisi üç şeyle doğru orantılı:

1. Model boyutu: parametre sayısı arttıkça her parça için yapılan hesap artar.
2. Üretilen metnin uzunluğu: model her parçayı tek tek üretir; uzun cevap, pahalı cevap.
3. Bağlam uzunluğu: isteme eklediğiniz belgeler de işlenmek zorunda. Uzun bağlamlı bir sorgu, kısa bir sohbet sorusundan kat kat pahalı.

Pratik sonuç şu: görüntü ve video üretmek, metin üretmekten belirgin biçimde daha pahalı. Ayrıca aynı işi yapabilen küçük bir model seçmek, en etkili tasarruf — damıtma ve niceleme bu yüzden yalnızca hız değil, enerji konusu. Bellek ve hesap hesabını yerel model yazısında çıkarmıştık.

Veri merkezinde enerji nereye gidiyor

Hızlandırıcıların çektiği güç, faturanın tamamı değil. Toplam tüketimin hesaplama dışındaki kısmı büyük ölçüde soğutmaya gidiyor. Bir veri merkezinin verimliliği, toplam tüketimin bilişim ekipmanının tüketimine oranıyla ölçülüyor; bu oran 1’e ne kadar yakınsa o kadar iyi.

Yeni nesil hızlandırıcılar raf başına çok daha fazla ısı ürettiği için hava soğutma yetmemeye başladı; sıvı soğutma yaygınlaşıyor. Bu, verimliliği artırıyor ama tesis tasarımını da değiştiriyor.

Atık ısı tarafında ilginç bir fırsat var: veri merkezinden çıkan ısıyı bölge ısıtmasına vermek. Birkaç ülkede uygulanıyor ve mantığı ısı pompası yazısında anlattığımız “ısıyı üretmek değil taşımak” fikriyle aynı.

Su meselesi

Enerji kadar konuşulması gereken ikinci kaynak su. Birçok tesis, soğutmada buharlaşmalı sistemler kullanıyor: su buharlaşırken ısı çekiyor, verimli ama su tüketiyor. Kapalı devre ve havayla soğutma su tüketimini düşürüyor, karşılığında daha fazla elektrik istiyor.

Yani su ile enerji arasında doğrudan bir takas var ve tesisin bulunduğu iklim bu takası belirliyor. Su kıtlığı olan bölgelerde kurulan tesisler bu yüzden yerel tartışma konusu oluyor.

Önemli olan enerji değil, karbon

Aynı miktarda elektrik, nerede ve ne zaman tüketildiğine göre çok farklı miktarda sera gazı anlamına geliyor. Kömürle beslenen bir şebekede çalışan tesis ile, rüzgâr ve nükleer ağırlıklı bir şebekedeki tesis aynı tüketimle farklı etki üretiyor.

Bu yüzden sektörde iki yöntem öne çıktı: tesisleri karbon yoğunluğu düşük şebekelerin yanına kurmak ve esnek işleri (model eğitimi gibi acelesi olmayan hesaplar) şebekenin temiz olduğu saatlere kaydırmak. Kesintisiz ve karbonsuz taban yük arayışı, nükleerin yeniden gündeme gelmesinin nedenlerinden biri; o tartışmayı nükleer enerji yazısında ele aldık.

Rakamlar neden karşılaştırılamıyor

Dolaşan “bir sorgu şu kadar enerji harcıyor” tipi rakamlara ihtiyatla yaklaşmak gerekiyor, çünkü:

• Hangi modelin, hangi donanımda, hangi uzunlukta cevap ürettiği genelde belirtilmiyor.
• Soğutma ve altyapı payının dahil edilip edilmediği değişiyor.
• Donanımın üretim aşamasındaki gömülü karbon çoğu hesapta yok.
• Sağlayıcılar ayrıntılı veri yayımlamıyor; tahminler dolaylı yöntemlerle yapılıyor.
• Verimlilik hızla iyileşiyor; iki yıl önceki bir ölçüm bugünü anlatmıyor.

Böyle rakamları okurken yöntem sorgulamak şart — çalışma okuma yazısındaki sorular burada da geçerli.

Verimlilik hangi yönden geliyor

Tüketimi düşüren gelişmeler teknik ve somut: daha verimli hızlandırıcılar, düşük hassasiyetli sayı biçimleri, yalnızca gerekli parçaları çalıştıran model mimarileri, istekleri toplu işleme alma, sık sorulan isteklerin önbelleğe alınması ve küçük modellerin büyüklerin yerine geçmesi.

Fakat burada klasik bir tuzak var: birim maliyet düştükçe kullanım artıyor. Verimlilik kazancı, toplam tüketimi azaltmak yerine daha fazla kullanımı mümkün kılabiliyor. Toplam eğilimi belirleyen şey, verimlilik ile talep artışının yarışı.

Kullanıcı tarafında anlamlı olan

Bireysel kullanımda etki küçük ama yön doğru: işi gören en küçük modeli seçmek, gereksiz uzun çıktı istememek, aynı soruyu tekrar tekrar sormamak ve görüntü-video üretimini bilinçli kullanmak. Kurumsal tarafta ise asıl kazanç mimaride: her isteği en büyük modele göndermek yerine, işi sınıflandırıp uygun modele yönlendirmek. Bu, hem faturayı hem enerjiyi aynı oranda düşürüyor.

Yapay zekanın enerji sorusu “model ne kadar harcadı” değil; “kaç kez, hangi şebekede ve ne kadar uzun çalıştı”.