OpenAI tarafından başlatılan LLM furyası, Apple ve Google’ın da yapay zeka pazarına girmesiyle birlikte hızla yükselmeye devam ediyor. Apple bünyesinde çalışan yapay zeka araştırmacıları, “MM1: Multimodal LLM Ön Eğitiminden Yöntemler, Analiz ve Anlayışlar” başlığıyla model mimarileri ve performans iyileştirmeleri ile ilgili makale yayınladı.
Apple, MM1 modelinde performans iyileştirmeleri ile ilgili makale yayınladı
Bu hafta Apple çalışanları tarafından arxiv.org’da yayınlanan makalede, farklı türdeki eğitim verilerinin ve model mimarilerinin nasıl dikkatli bir şekilde bir araya getirilmesinin yol açabileceğiyle ilgili bilgiler yer alıyor. Makalede görsel bileşenlerin ölçeklendirilmesinin önemini vurgulayan ekip, görüntü kodlayıcı seçiminin ve giriş görüntülerinin çözünürlüğünün model performansı üzerinde büyük bir etkiye sahip olduğunun altını çizdi.
Yayınlanan makalede, “Büyük ölçekli çok modlu ön eğitim için, resim yazısı, aralıklı resim metni ve salt metin verilerinin dikkatli bir karışımını kullanmanın, birden fazla kıyaslamada son teknoloji ürünü birkaç çekim sonuçlarına ulaşmak için çok önemli olduğunu gösterdik. ” ifadelerine yer verildi.
Ekip, görüntü kodlayıcının görüntü çözünürlüğü ve görüntü belirteç sayısıyla birlikte önemli bir etkiye sahip olduğunu, görüntü dili konnektör tasarımının ise nispeten ihmal edilebilir bir öneme sahip olduğunu tespit ettiklerini belirtti. En büyük (30 milyar parametreli) MM1 modeli, güçlü bağlam içi öğrenme yetenekleri sergileyerek, birkaç adımlık “düşünce zinciri” yönlendirmesi kullanarak birden fazla girdi görüntüsü üzerinde çok adımlı akıl yürütme gerçekleştirmesine olanak tanıdı.
Yapılan araştırmanın çıktısı, büyük çok modelli modellerin, köklü dil anlayışı ve üretimi gerektiren karmaşık, açık uçlu sorunların üstesinden gelme potansiyeline işaret ediyor. MM1 araştırması, Apple’ın, üretken yapay zeka yeteneklerini ürünlerine entegre etme konusunda ilerleyen Google, Microsoft ve Amazon gibi rakiplerini yakalamak amacıyla yapay zeka yatırımlarını hızlandırdığı bir dönemde ortaya çıktı.
Bloomberg’in yakın tarihli bir raporuna göre şirket, yapay zeka geliştirmeye yılda 1 milyar dolar harcama yolunda ilerliyor. Kaynaklar, Apple’ın “Ajax” adı verilen geniş bir dil modeli çerçevesinin yanı sıra dahili olarak “Apple GPT” olarak bilinen bir sohbet robotu üzerinde çalıştığını söylüyor.
Şirketin bu teknolojileri Siri, Mesajlar, Apple Music ve diğer uygulama ve hizmetlere entegre etmeyi planladığı belirtiliyor. Örneğin yapay zeka, kişiselleştirilmiş çalma listelerini otomatik olarak oluşturmak, geliştiricilere kod yazmada yardımcı olmak veya açık uçlu konuşma ve görev tamamlamaya katılmak için kullanılabilir.