AWS’nin yapay zeka halüsinasyonlarını tespit eden yeni aracı: Automated Reasoning checks
Amazon Web Services (AWS), yapay zeka modellerinin halüsinasyonlarını tespit etmek adına Automated Reasoning checks (Otomatik Muhakeme kontrolleri) adlı yeni aracını duyurdu. AWS’nin re:Invent konferansında duyurulan Automated Reasoning checks, müşteri tarafından sağlanan bilgileri doğruluk açısından çapraz referanslandırıyor. Böylece araç, modelin yanıtlarını doğruluyor.
Automated Reasoning checks nasıl çalışıyor?
Automated Reasoning checks, AWS’nin Bedrock model barındırma hizmetinin Guardrails aracı aracılığıyla kullanılabiliyor. Araç, hem bir modelin bir cevaba nasıl ulaştığını anlamaya hem de cevabın doğru olup olmadığını anlamaya çalışıyor. Müşterilerin bir tür temel gerçek oluşturmak için bilgi yüklemesinin ardından Automated Reasoning checks kurallar oluşturuyor. Bu kuralların araç tarafından rafine edilebilecek ve bir modele uygulanabilecek nitelikte olduğunu belirtelim.
Bir model yanıtlar ürettikçe, Automated Reasoning checks bunları doğruluyor. Araç, olası bir halüsinasyon durumunda ise doğru yanıt için temel gerçeğe başvuruyor. Bu yanıtı olası yanlış yanıtla birlikte sunarak müşterilerin modelin ne kadar temelsiz olabileceğini görmesini sağlıyor. Automated Reasoning checks’i kullanan kurumlar arasında PwC de yer alıyor. AWS’nin belirttiğine göre; PwC, müşterileri için yapay zeka asistanları tasarlamak üzere halihazırda Automated Reasoning checks’i kullanıyor.
Automated Reasoning checks, Microsoft’un bu yaz kullanıma sunduğu Correction (Düzeltme) özelliğine benzerliğiyle dikkat çekiyor. Microsoft’un Correction özelliği, yapay zeka tarafından üretilen ve gerçekte yanlış olabilecek metinleri işaretliyor. Ayrıca Google’ın da yapay zeka geliştirme platformu Vertex AI’da, müşterilerin üçüncü taraf sağlayıcılardan, kendi veri kümelerinden veya Google Arama’dan gelen verileri kullanarak modelleri “topraklamasına” olanak tanıyan bir araç sunduğunu belirtelim.
Model Distillation
AWS ayrıca Bedrock kapsamında yayına aldığı Model Distillation (Model Damıtma) aracını duyurdu. Model Distillation, Llama 405B gibi büyük bir modelin yeteneklerini, Llama 8B gibi daha ucuz ve daha hızlı çalışan küçük bir modele aktarıyor. Bu özelliği daha önce Microsoft’un Azure AI Foundry’de yer alan Distillation aracında görmüştük.
Model Distillation şu anda yalnızca Amazon, Anthropic ve Meta’nın Bedrock’ta barındırılan modelleriyle çalışıyor. Kullanıcılar, araç kapsamında yalnızca aynı model ailesinden büyük ve küçük bir model seçebiliyor. AWS’nin belirttiğine göre; damıtılmış modeller yüzde 2’den az olmak üzere doğruluk kaybı yaşayacak.
Multi-agent collaboration özelliği
Ayrıca, etkinlikte yeni bir Bedrock özelliği olan multi-agent collaboration (çoklu aracı iş birliği) da gündeme geldi. Multi-agent collaboration, kullanıcıların daha büyük bir projedeki alt görevlere yapay zeka atamasına olanak tanıyor. Bedrock Agents’ın bir parçası olan multi-agent collaboration, finansal kayıtların incelenmesi ve küresel eğilimlerin değerlendirilmesi gibi konularda yapay zeka oluşturmak ve ayarlamak için araçlar sağlıyor.
Kullanıcıların, görevleri parçalara ayırmak ve yapay zekalara otomatik olarak yönlendirmek için bir “süpervizör agent” (gözetmen aracı) belirlemesi de mümkün.
AWS’nin belirttiğine göre; gözetmen görevi üstlenen aracı, belirli aracılara bilgi erişimi verebilecek. Aynı şekilde gözetmen aracı, bir aracının ilerleyebilmesi için hangi eylemlerin paralel olarak işlenebileceğini ve hangilerinin diğer görevlerden ayrıntılara ihtiyaç duyacağını belirleyebilecek. Tüm uzman yapay zeka aracıları girdilerini tamamladığında, gözetmen aracı bilgileri bir araya getirip sonuçları sentezleyebilecek.
Kullanıcılar, Model Distillation, Automated Reasoning checks ve multi-agent collaboration’a önizlemede erişebiliyor. AWS Yapay Zeka ve Veri Başkan Yardımcısı Swami Sivasubramanian‘ın belirttiğine göre; Bedrock’ın müşteri tabanı geçen yıl 4,7 kat büyüyerek on binlerce müşteriye ulaştı. Sivasubramanian, bu büyümenin geliştirdikleri yeni araçlarla ilişkili olduğunu ifade ediyor.