Büyük dil modellerinin (LLM) eğitim ve uygulamalarında son yıllarda önemli gelişmeler yaşanmaktadır. Bu gelişmeler, LLM’lerin performansını artırmak için yeni yöntemlerin keşfi ve mevcut stratejilerin iyileştirilmesi üzerine yoğunlaşmaktadır. Bu bağlamda, test zamanı ölçeklendirme (TTS) ve yapılandırılmış ödüller gibi yenilikçi yaklaşımlar öne çıkmaktadır. TTS, modelin çıkarım sırasında ek hesaplama kaynakları kullanarak performansını artırma amacını gütmektedir. Ancak mevcut TTS stratejileri genellikle elle tasarlanmakta ve bu durum, hesaplama tahsis alanının önemli bir kısmının keşfedilmeden kalmasına yol açmaktadır. Tong Zheng ve arkadaşları, AutoTTS adını verdikleri çevre odaklı bir çerçeve önererek bu sorunu ele almaktadır. Bu çerçeve, TTS stratejilerinin otomatik olarak keşfedilmesini sağlamak için uygun bir kontrol alanı oluşturmakta ve elde edilen stratejilerin, güçlü elle tasarlanmış temel çizgilere göre genel doğruluk-maliyet dengesini iyileştirdiğini göstermektedir [1].
Manish Bhattarai ve ekibi tarafından önerilen “rubric-grounded reinforcement learning” (RL) çerçevesi, LLM’lerin ödül sisteminin yapılandırılmasına yönelik bir başka yenilikçi yaklaşımı temsil etmektedir. Bu çerçeve, ödüllerin ağırlıklı, doğrulanabilir kriterlere ayrılması ve bir LLM yargıcı kullanılarak puanlanması ile çalışmaktadır. Yani, her bir yanıt, tek bir bütünsel puan yerine, çoklu görev-spesifik kriterler doğrultusunda değerlendirilmekte ve bu durum, modelin farklı görevlerde daha iyi performans göstermesine olanak tanımaktadır. Çalışma, 100,000’den fazla bilimsel belge kullanarak elde edilen rubriklerle desteklenen bir Llama-3.1-8B-Instruct modelinin eğitimi üzerine odaklanmakta ve modelin, eğitim ortamından bağımsız olarak dört farklı akıl yürütme benchmark’ında performansını artırdığını ortaya koymaktadır [2].
Diğer yandan, Jiayuan Liu ve arkadaşları, LLM’lerin genişletilmiş bellek pencerelerinin çoklu ajan sosyal ikilemlerinde işbirliğini nasıl erozyona uğrattığını incelemektedir. Genişletilmiş geçmişin, işbirliği üzerinde olumsuz etkileri olduğu ve bu durumu “hafıza laneti” olarak adlandırdıkları gözlemlerine ulaşmışlardır. Bu çalışma, bellek içeriğinin işbirliği üzerindeki etkilerini inceleyerek, daha uzun hatırlamanın işbirliğini istikrarsızlaştırabileceğini veya destekleyebileceğini göstermektedir. Ayrıca, bellek içeriğinin manipülasyonu ile birlikte yapılan deneyler, işbirliğini büyük ölçüde geri kazandırdığını kanıtlamaktadır [3].
Bu üç çalışma, büyük dil modellerinin eğitiminde ve uygulamalarında önemli yenilikler sunmakta, aynı zamanda işbirliğin ve sosyal etkileşimlerin doğasına dair yeni içgörüler sağlamaktadır. Eğitim teknolojileri alanında LLM’lerin potansiyeli, bu tür araştırmalar sayesinde daha iyi anlaşılmakta ve geliştirilmektedir.
Bu yazı, güncel gelişmeleri takip etmek amacıyla yapay zeka destekli bir sistem tarafından otomatik olarak oluşturulmuştur. İçerik gerçek kaynaklara dayanmakla birlikte editöryel denetimden geçmemiştir.
