Cognition AI tarafından geliştirilen ve Devin olarak isimlendirilen dünyanın birinci “yapay zeka yazılım mühendisi” görünüşe nazaran işini yapmakta hayli makûs. Yapılan son değerlendirmeler, bu yeni jenerasyon aracın vaat edilen potansiyelden çok uzak olduğunu ortaya koyuyor. Testlerde Devin’in, kendisine verilen vazifelerin sadece yüzde 15’ini muvaffakiyetle tamamladığı görüldü.

BEKLENTİLER BÜYÜKTÜ

Donanımhaber’de yer alan detaylarda aktardığına nazaran 2024 yılının başlarında Cognition AI tarafından tanıtılan Devin, yazılım mühendislerine yardımcı olmayı amaçlayan bir otomasyon aracı olarak geliştirildi. Aralık 2024’te aylık 500 dolarlık abonelik fiyatıyla genel kullanıma sunulan Devin’in, uygulama geliştirme ve yanılgı giderme üzere vazifeleri baştan sona otonom bir formda gerçekleştirebildiği sav edildi. Araç, Slack üzerinden komut alıyor ve Docker tabanlı bir çalışma ortamında terminal, tarayıcı, kod düzenleyici ve planlayıcı üzere araçlarla çalışıyor.

Cognition AI’nin açıklamasına nazaran Devin; API entegrasyonu, kod incelemeleri, altyapı idaresi üzere misyonları yerine getirebiliyor. Hatta DoorDash üzerinden yemek siparişi verebilecek kadar “kişisel asistan” fonksiyonu gördüğü de belirtiliyor. Bunlar, başlı başına çok büyük bir olay ve tez.

Bu ortada Devin, bir “bileşik yapay zeka sistemi”, yani OpenAI’nı GPT-4o’sunu içeren ve vakit içinde gelişmesi beklenebilecek bir dizi temel yapay zeka modeline dayanıyor. Teorik olarak onların yapabildikleri her şeyi yapması bekleniyor.

SONUÇLAR HAYAL KIRIKLIĞI OLDU

Saygın bir AI araştırma ve geliştirme laboratuvarı olan Answer.AI’dan üç data bilimcisi Hamel Husain, Isaac Flath ve Johno Whitaker, bu argümanları test etmek için bir dizi denemeler gerçekleştirdi. Devin ile test edilen 20 misyondan yalnızca üçü muvaffakiyetle tamamlanabildi. Devin’in tamamladığı misyonlar ortasında Notion veritabanından Google Sheets’e data aktarma ve gezegen hareketlerini takip edebilen bir uygulama geliştirme bulunuyor. Lakin daha karmaşık vazifelerde Devin, teknik çıkmazlara saplandı yahut yanlışlı tahliller üretti.

Araştırmacılar, Devin’in temel mahzurları fark edemediğini ve uygulanabilir olmayan tahlilleri zorlamaya devam ettiğini belirtti. Örneğin, Devin’den birden fazla uygulamayı Railway platformuna dağıtması istendiğinde, bu platformun bu türlü bir özelliği desteklemediğini anlamadı. Günlerce tahlil arayarak vakit kaybetti ve hayali özellikler “uydurdu.” Araştırmacılar, Devin’in arayüzünün kullanıcı dostu olduğunu ve birtakım misyonlarda umut verici sonuçlar verdiğini kabul etseler de, aracın sağlam olmaktan uzak olduğunu vurguladı: “Daha da tasa verici olan, hangi vazifelerin başarılı olacağını iddia edemememizdi. Birinci başarılarımıza benzeri vazifeler bile karmaşık, vakit alıcı yollarla başarısız oluyordu.”