Bu hafta Google, OpenAI'nin GPT-4'ünü tahtından etmesi kuvvetle muhtemelen Gemini'yi tanıttı. Gemini, boyut ve kabiliyet açısından farklılık gösteren üç farklı modelden oluşuyor. Google'ın duyurusunda belirttiğine göre, henüz halka açık olmayan ancak Google'ın "son derece karmaşık görevler" için tasarlandığını söylediği en gelişmiş modeli Gemini Ultra, tarih ve hukuk gibi konularda bilgi sahibi olmaktan Python'da kod üretmeye ve çok adımlı muhakeme gerektiren görevlere kadar birçok alanda GPT-4'ü geride bırakıyor.
Google, Gemini'nin yapay zeka modellerinin bilgi ve problem çözme becerilerini ölçmek için en popüler yöntemlerden biri olan Massive Multitask Language Understanding (MMLU - Devasa Çok Görevli Dil Anlama) testinde GPT-4'ten daha iyi performans gösterdiğini söyledi.
Business Insider'ın haberine göre MMLU, tipik bir üniversite hazırlık sınavından biraz daha ileri düzeyde. Google'ın duyurusuna göre, hem dünya bilgisini hem de problem çözme yeteneklerini test etmek için matematik, fizik, tarih, hukuk, tıp ve etik dahil olmak üzere 57 konuyu kapsıyor.
Gemini insanları da solladı
Google'a göre Gemini Ultra MMLU'da uüzde 90 puan alırken GPT-4 yüzde 86,4 puanda kaldı. Ancak Gemini Ultra'nın daha etkileyici başarısı, MMLU'da insan uzmanlardan daha iyi performans gösteren ilk model olması olabilir. Google, Gemini ile ilgili teknik bir raporda, insan uzmanların yaklaşık yüzde 89,8 puan aldığını söyledi.
New York Times'ta yazan Kevin Roose, "Sanırım iki ya da üç yıl öncesine gidip yapay zeka araştırmacılarına Google'ın MMLU'da yüzde 90 alan, yani insan uzmanlar için bir tür ölçüt eşiğinden daha iyi olan bir modele sahip olacağını söyleseydiniz, işte bu AGI derlerdi" dedi. AGI ya da genel yapay zeka, sağduyu ve bilinç gibi karmaşık insan yeteneklerini işleyebilen varsayımsal bir yapay zeka biçimi.
Google'a göre GPT-4, günlük görevler için sağduyulu muhakeme yeteneklerinin değerlendirilmesinde Gemini Ultra'yı birkaç puanla geride bıraktı.
En büyük farkı
Ancak Google'ın söylediğine göre Gemini'nin diğer modellere göre bir avantajı da, doğal olarak çok modlu olması; yani metinden sese, koddan görüntü ve videoya kadar çeşitli veri türlerini işlemek üzere sıfırdan tasarlanmış olması. Google DeepMind Araştırma Başkan Yardımcısı Oriol Vinyals, Gemini'yi duyuran bir videoda, diğer modellerin yalnızca metin, görüntü ve ses modellerinin optimal olmayan bir şekilde bir araya getirilmesiyle oluşturulduğunu söyledi.
Sonuç olarak Google, Gemini'nin tasarımının girdileri mevcut çok modlu modellerden daha iyi anlamasını sağladığını söylüyor. SemiAnalysis blogunun arkasındaki araştırmacılar da Gemini'nin GPT-4'ü hesaplama gücüyle ezip geçeceğini söylüyor.
Gemini Ultra, şimdiden yüksek beklentiler yaratmış olsa da, Gemini üçlüsünün tüketici farkındalığında zaten bir avantaja sahip olan OpenAI karşısında nasıl bir performans göstereceği konusu hala belirsiz.
Google'ın sohbet robotu Bard üzerinden erişilebilen daha az gelişmiş Gemini Pro'ya ilk tepkiler olumlu oldu. Bununla birlikte, modelin doğrulukla ilgili sorunları da oldu. Hatta insanlara tartışmalı soruların yanıtları için Google'a başvurmalarını söyledi.
