amerikali
Yeni Üye
Apple, üretken yapay zeka araçları söz konusu olduğunda diğer şirketlerin gerisinde kalıyor ancak yetişmek istiyor. Medyada çıkan haberlere göre grup yalnızca kendi üretken yapay zeka araçları üzerinde çalışmıyor, aynı zamanda büyük dil modellerinin (kısaca LLM) doğrudan taşınabilir cihazlarda çalıştırılmasının yolları üzerinde de çalışıyor. Apple’ın “LLM anında: Sınırlı Bellek ile Verimli Büyük Dil Modeli Çıkarımı” başlıklı makalesi, iPhone’un LLM’leri yerel olarak nasıl yürütebileceğini göstermeyi amaçlıyor. Makale Aralık ortasında yayınlandı, ancak ancak şimdi biliniyor.
Reklamcılık
Bellek yetersizliğiyle mücadelede yeni yöntem
ChatGPT gibi dil modellerini kullanırken en büyük zorluk, bunların büyük veri merkezlerinde çalışmasıdır. Çok fazla bilgi işlem gücünün yanı sıra, çok fazla depolama alanına da ihtiyaç duyarlar. Özellikle ikincisi, iPhone gibi akıllı telefonlarda nispeten azdır. Makalenin yazarları, bu sınırlamaları aşmayı ve Yüksek Lisans’ı verimli bir şekilde çalıştırmayı amaçlayan bir yöntem üzerinde çalışıyorlar. Dil modelinin parametreleri RAM yerine flash bellekte saklanmalı ve yalnızca gerektiğinde RAM’e aktarılmalıdır.
Ek olarak, iki temel tekniğin verimi artırması amaçlanmaktadır. “Pencereleme”, önceden aktarılmış olan verileri yeniden yüklemek yerine yeniden kullanmayı içerir. “Satır-sütun gruplaması” kullanılarak veriler verimli bir şekilde gruplandırılmalı ve daha hızlı okunmalıdır. Bunun amacı dil anlama gibi yapay zeka işlevlerini geliştirmektir. Bu yöntem, mevcut RAM’in iki katına kadar olan modelleri çalıştırabilmelidir.
Apple’ın yapay zekaya yönelik planları
Apple, yerel AI işlevlerini iOS 17 işletim sisteminin birçok yerine, örneğin fotoğraf uygulamasının tercümanı olan kameraya entegre etti. Sesli asistan Siri, çoğu komut için internet bağlantısı gerektirse de, HomeKit altındaki akıllı ev kontrolü gibi bazı işlevleri zaten iPhone ve Watch’ta yerel olarak gerçekleştirebiliyor.
Uzmanlar, iPhone üreticisinin işletim sistemlerinin yanı sıra Siri’yi kendi LLM’siyle de geliştirmesini bekliyor. Ancak şu anda Apple’da geniş dil modelleri bulunmuyor. Basında çıkan haberlere göre Apple, yapay zekanın entegre edilebileceği çeşitli alanları inceliyor ve ayrıca kendi dil modellerini dahili olarak test ediyor. Noel’den hemen önce The New York Times, Apple’ın haber arşivlerini eğitim amaçlı kullanmak için büyük yayıncılar ve haber sağlayıcılarla pazarlık yaptığını bildirdi.
Yerel dil modellerinin mobil cihazlarda kullanılması konusunda Apple’ın yanı sıra diğer formlar da çalışıyor. Aralık ayında Google, seçilen Pixel akıllı telefonlarda “Gemini Nano” dil modelini yerel olarak çalıştıracağını duyurdu.
(hze)
Haberin Sonu
Reklamcılık
Bellek yetersizliğiyle mücadelede yeni yöntem
ChatGPT gibi dil modellerini kullanırken en büyük zorluk, bunların büyük veri merkezlerinde çalışmasıdır. Çok fazla bilgi işlem gücünün yanı sıra, çok fazla depolama alanına da ihtiyaç duyarlar. Özellikle ikincisi, iPhone gibi akıllı telefonlarda nispeten azdır. Makalenin yazarları, bu sınırlamaları aşmayı ve Yüksek Lisans’ı verimli bir şekilde çalıştırmayı amaçlayan bir yöntem üzerinde çalışıyorlar. Dil modelinin parametreleri RAM yerine flash bellekte saklanmalı ve yalnızca gerektiğinde RAM’e aktarılmalıdır.
Ek olarak, iki temel tekniğin verimi artırması amaçlanmaktadır. “Pencereleme”, önceden aktarılmış olan verileri yeniden yüklemek yerine yeniden kullanmayı içerir. “Satır-sütun gruplaması” kullanılarak veriler verimli bir şekilde gruplandırılmalı ve daha hızlı okunmalıdır. Bunun amacı dil anlama gibi yapay zeka işlevlerini geliştirmektir. Bu yöntem, mevcut RAM’in iki katına kadar olan modelleri çalıştırabilmelidir.
Apple’ın yapay zekaya yönelik planları
Apple, yerel AI işlevlerini iOS 17 işletim sisteminin birçok yerine, örneğin fotoğraf uygulamasının tercümanı olan kameraya entegre etti. Sesli asistan Siri, çoğu komut için internet bağlantısı gerektirse de, HomeKit altındaki akıllı ev kontrolü gibi bazı işlevleri zaten iPhone ve Watch’ta yerel olarak gerçekleştirebiliyor.
Uzmanlar, iPhone üreticisinin işletim sistemlerinin yanı sıra Siri’yi kendi LLM’siyle de geliştirmesini bekliyor. Ancak şu anda Apple’da geniş dil modelleri bulunmuyor. Basında çıkan haberlere göre Apple, yapay zekanın entegre edilebileceği çeşitli alanları inceliyor ve ayrıca kendi dil modellerini dahili olarak test ediyor. Noel’den hemen önce The New York Times, Apple’ın haber arşivlerini eğitim amaçlı kullanmak için büyük yayıncılar ve haber sağlayıcılarla pazarlık yaptığını bildirdi.
Yerel dil modellerinin mobil cihazlarda kullanılması konusunda Apple’ın yanı sıra diğer formlar da çalışıyor. Aralık ayında Google, seçilen Pixel akıllı telefonlarda “Gemini Nano” dil modelini yerel olarak çalıştıracağını duyurdu.
(hze)
Haberin Sonu