Büyük Dil Modelleri (LLM) Nasıl Çalışır? Transformer Mimarisinin ve Attention Mekanizmasının Derinlemesine Rehberi

Modern bilişim dünyasını kökünden dönüştüren üretken yapay zeka devriminin kalbinde Büyük Dil Modelleri (Large Language Models - LLM) yer almaktadır. ChatGPT, Claude, Gemini ve açık kaynaklı Llama gibi modeller, milyarlarca parametreden oluşan derin sinir ağı yapılarıyla metin üretme, kod yazma, mantıksal akıl yürütme ve çok dilli çeviri gibi karmaşık bilişsel görevleri şaşırtıcı bir doğrulukla icra etmektedir. Ancak bu devasa modellerin perde arkasında sihir değil, yüksek derecede optimize edilmiş doğrusal cebir, olasılık kuramı ve çok boyutlu vektör uzayları bulunmaktadır.

Bir yapay zeka modelinin bir dizedeki sonraki kelimeyi nasıl tahmin ettiğini, metinler arası bağlamı nasıl hafızasında tuttuğunu ve soyut kavramları nasıl birbirine bağladığını anlamak, çağımızın en kritik teknolojik okuryazarlıklarından biridir. Bu rehberde, ham metnin model tarafından algılanmasından nihai yanıtın üretilmesine kadar geçen tüm aşamaları adım adım inceliyoruz.

1. Tokenizasyon: Metnin Matematiksel İfadelere Dönüştürülmesi

Büyük dil modelleri metinleri insanlar gibi doğrudan harf veya kelime öbekleri olarak okuyamaz. Modelin işlem yapabilmesi için ham metnin öncelikle "token" adı verilen daha küçük anlamsal parçalara ayrılması gerekir. Tokenizasyon işlemi, Byte Pair Encoding (BPE) veya WordPiece gibi istatistiksel algoritmalar aracılığıyla gerçekleştirilir. Ortalama olarak bir token, İngilizce metinlerde yaklaşık 4 karaktere veya 0.75 kelimeye karşılık gelirken, Türkçe gibi eklemeli dillerde morfolojik yapıya göre kök ve ek parçacıklarına ayrılmaktadır.

Metin tokenlara ayrıldıktan sonra, her benzersiz token modelin sözlüğünde önceden tanımlanmış bir tamsayı kimliği (Token ID) ile eşleştirilir. Örneğin "Yapay zeka geleceği şekillendiriyor" cümlesi sayısal bir diziye dönüştürülür. Ardından bu sayılar, "Embedding" (Gömme) katmanına iletilerek çok boyutlu (genellikle 4096 veya 8192 boyutlu) bir vektör uzayına izdüşürülür. Bu vektör uzayında, anlamsal olarak birbirine yakın kavramlar ("kral" ve "kraliçe" ya da "yazılım" ve "algoritma") birbirine yakın koordinatlarda konumlanır.

2. Transformer Mimarisi ve Self-Attention Mekanizması

Transformer mimarisinden önce doğal dil işlemede kullanılan Yinelemeli Sinir Ağları (RNN), metinleri kelime kelime soldan sağa sırayla okumak zorundaydı. Bu durum uzun cümlelerde cümlenin başındaki bağlamın unutulmasına ve hesaplamaların paralel yürütülememesine yol açıyordu. Transformer mimarisi, ardışıklık zorunluluğunu ortadan kaldırarak metindeki tüm tokenları aynı anda işleyen "Öz-Dikkat" (Self-Attention) mekanizmasını tanıttı.

Self-Attention mekanizmasında her bir token, kendisini temsil eden üç temel vektöre dönüştürülür: Sorgu (Query - Q), Anahtar (Key - K) ve Değer (Value - V). Model, bir kelimeyi işlerken cümledeki diğer tüm kelimelerle olan alaka düzeyini hesaplamak için Sorgu ve Anahtar vektörlerinin nokta çarpımını (dot product) alır. Çıkan sonuçlar Softmax fonksiyonundan geçirilerek bir dikkat ağırlığı matrisine dönüştürülür.

• Çok Başlıklı Dikkat (Multi-Head Attention): Model, metni tek bir bakış açısıyla değil, 32, 64 veya 128 farklı "dikkat başlığı" üzerinden eşzamanlı inceler. Bir başlık dilbilgisi uyumuna odaklanırken, diğeri zamir referanslarını, bir başkası ise kavramsal zıtlıkları takip eder.
• Pozisyonel Kodlama (Positional Encoding): Tokenlar modele paralel sunulduğu için kelimelerin cümle içindeki sırası pozisyonel sinyaller (sinüzoidal veya döner pozisyonel gömmeler - RoPE) eklenerek modele aktarılır.
• İleri Beslemeli Katmanlar (Feed-Forward Networks): Dikkat katmanından çıkan bağlamsal bilgi, her katmanda doğrusal olmayan aktivasyon fonksiyonları ile zenginleştirilerek derin soyutlama yeteneği inşa edilir.

3. Model Eğitimi: Ön Eğitim (Pre-training) ve İnce Ayar (Fine-tuning)

Büyük bir dil modelinin geliştirilmesi iki temel aşamadan oluşur: Ön eğitim ve hizalama (alignment). Ön eğitim safhasında model, trilyonlarca kelimelik açık web metinleri, kitaplar, bilimsel makaleler ve kod depoları üzerinde denetimsiz olarak eğitilir. Bu aşamadaki tek hedef, verilen bağlamdan hareketle bir sonraki tokenı doğru tahmin etmektir (Next-Token Prediction). Trilyonlarca kez tekrarlanan bu tahmin süreci sonucunda model, dilbilgisini, dünya bilgisini, mantık kurallarını ve kodlama pratiklerini ağırlık parametrelerine kodlar.

Ön eğitim tamamlanan "ham model" (Base Model), henüz insanlarla etkileşim kurmaya uygun değildir; cümlenin sonunu getirebilir ancak sorulara doğrudan ve güvenli yanıt veremez. Bu noktada devreye Supervised Fine-Tuning (SFT) ve İnsan Geri Bildirimiyle Pekiştirmeli Öğrenme (RLHF) girer:

• Denetimli İnce Ayar (SFT): Uzmanlar tarafından hazırlanan yüksek kaliteli soru-cevap veri setleri üzerinden modelin talimatları anlama kabiliyeti pekiştirilir.
• RLHF ve DPO: Modelin ürettiği yanıtlar insan editörler veya ödül modelleri tarafından puanlanır; zararlı, taraflı veya hatalı içerik üretimi cezalandırılırken yardımsever ve doğru yanıtlar ödüllendirilir.

4. Çıkarım (Inference) ve Üretim Stratejileri

Eğitimi tamamlanan model bir kullanıcı girdisi aldığında, olasılık dağılımı üzerinden sıradaki tokenı belirler. Üretim sürecinin doğasını "Sıcaklık" (Temperature), Top-K ve Top-P (Nucleus Sampling) gibi hiperparametreler belirler. Düşük sıcaklık değerleri (0.1 - 0.3) modeli deterministik, kesin ve matematiksel yanıtlara iterken; yüksek değerler (0.7 - 0.9) yaratıcı ve çeşitlilik içeren edebi metinler ortaya çıkarır.

Çıkarım aşamasında modelin doğruluğunu maksimize etmek için Harici Bilgi Getirme (Retrieval-Augmented Generation - RAG) sistemleri kullanılır. RAG mimarisinde model yalnızca parametrelerindeki statik bilgiye bağımlı kalmaz; şirketin güncel veritabanını veya internet kaynaklarını gerçek zamanlı sorgulayarak uydurma (hallucination) riskini en aza indirir.

5. Gelecek Perspektifi: Karşılaşılan Sınırlar ve Yeni Mimari Ufuklar

Transformer mimarisi devrimsel olmakla birlikte, hesaplama karmaşıklığının bağlam uzunluğunun karesiyle ($O(N^2)$) artması nedeniyle çok uzun metinlerde yüksek bellek tüketimine yol açar. Bu kısıtı aşmak amacıyla State Space Modelleri (Mamba) ve Lineer Dikkat mekanizmaları üzerine yoğun araştırmalar yürütülmektedir.

Ayrıca modellerin sadece sonraki kelimeyi tahmin etmek yerine, akıl yürütme safhasında iç monologlar yürüterek kendi adımlarını denetlemesi (Test-Time Compute) yapay zekanın güvenilirliğini dramatik biçimde artırmaktadır. Büyük dil modellerinin geleceği; daha verimli bağlam pencereleri, ajan tabanlı otonom iş akışları ve çok modlu (multimodal) algılama yetenekleriyle şekillenmeye devam etmektedir. Bilginet Teknoloji Masası olarak yapay zekanın derin mimarisini objektif kriterlerle incelemeyi sürdüreceğiz.