By 
Yakın bir gelecekte pek çok bölümde iş imkânlarını oldukça kısıtlayacak olan yapay zeka, yazılımcılar açısından da önemli bir risk teşkil ediyor. Bugün bile kod yazma konusunda etkileyici kabiliyetlere sahip olan yapay zekanın önümüzdeki birkaç yıl içinde pek çok misyonu kendi başına yerine getirebileceğine inanılıyor. Bu yüzden pek çok şirketin yazılımcıların yerini AI ile doldurmasından korkuluyor. Hatta bunun birinci emeralerini şimdiddden görmeye başladık. Hatırlarsanız Mark Zuckerberg ocak ayında bir açıklama yaparak, Meta’daki kod yazma işlerinin bir kısmını bu yıl içinde AI’a devretmeye başlayacaklarını açıklamıştı. Başta Meta olmak üzere Silikon Vadisi’nde pek çok şirket kod yazma konusunda AI’a gittikçe daha çok güveniyor olsa da Microsoft tarafından paylaşılan son datalar, bu mevzuda biraz sabırsız davranıldığını gösteriyor. Çünkü yapay zeka, bilhassa yanılgı ayıklama konusunda hâlâ yazılımcıların çok gerisinde.
Debug-gym, Yapay Zekanın Yanılgı Ayıklama Kabiliyetlerini Test Ediyor
Microsoft Research, yapay zekanın kod yazma ve yanılgı ayıklama konusunda ne durumda olduğunu görmek ve bu alanlarda daha da gelişmesini sağlamak için Debug-gym adını verdiği yeni bir araç geliştirdi. GitHub üzerinden kullanıma sunulan Debug-gym, AI modellerinin olağanda programlarının modülü olmayan kusur ayıklama araçlarını da kullanabildikleri bir platform sunuyor.
Microsoft tarafından paylaşılan sonuçlar, yapay zeka modellerinin Debug-gym’in kendilerine sunduğu bu araçları kullanırken bile yanılgı ayıklamada o kadar güzel olmadığını gösteriyor. Debug-gym dışındaki performanları ise çok daha berbat.
Üstteki grafikte de görüleceği Claude 3.7, OpenAI o1, OpenAI o3-mini gibi bugün kullanımda olan en güçlü yapay zekalardan kimileri bile kod yazma konusunda şimdi istenen noktada değiller. Bilhassa kusur ayıklama araçlarını kullanmadıklarında. Debug-gym’in kendilerine sunduğu yanılgı ayıklama araçlarını kullandıklarında performanslarında kayda kıymet bir artış yaşandığı görülüyor. Fakat burada bile elde edilen en yüksek muvaffakiyet oranı yüzde 48.4. Yapay zekanın Debug-gym’de kendisine sunulan kusur ayıklama araçlarını tam olarak nasıl kullanacağını bilmediği, zira bu hususta eğitilmediği vurgulanıyor. Yapay zeka bu alanda daha çok eğitilip, buna yönelik araçlarla donatıldıkça, muvaffakiyet oranı da artacaktır. Gerçekten Debug-gym’deki tam olarak anlamadığı araçları kullandıklarında bile performanslarında önemli bir artış yaşandığı görülüyor. Zaten Microsoft Research de Debug-gym aracıyla yapay zekaların gelişimine katkıda bulunmayı hedefliyor.
Microsoft Research grubu tarafından yazılan makalede, yanılgı ayıklamaya özel olarak ayarlanmış bir modelin daha âlâ sonuç verebileceğine dikkat çekiliyor. Bu noktada ortaya çıkan bir tahlil, bu büyük lisan modellerine eşlik edecek daha küçük modeller geliştirmek olabilir. Büsbütün bilgi toplama ve yanılgı ayıklama odaklı bu küçük model, daha sonra bu bilgileri büyük modele aktararak çok daha düzgün sonuçlar vermesini sağlayabilir. Fakat en azından şimdilik, kusur ayıklama konusunda yapay zekanın yazılımcılara alternatif olması üzere bir durum kelam konusu değil.
