Soru-Cevaplama için Q-LoRA ile Llama 3.2 11B'nin İnce Ayarı

Salı, Kasım 26, 2024 12:00 AM
6

Büyük Dil Modelleri (LLM’ler), doğal dil işleme alanında çeşitli görevleri yerine getirebilen temel araçlar haline gelmiştir. Ancak, geniş kapsamlı eğitimleri nedeniyle, belirli uygulamalarda daha fazla uyarlama olmadan mükemmel sonuçlar veremeyebilirler. Q-LoRA gibi ince ayar teknikleri, araştırmacıların Llama 3.2 11B gibi önceden eğitilmiş modelleri, ekstrektif soru-cevaplama gibi belirli görevler için özelleştirmelerine olanak tanır. Bu makale, Q-LoRA kullanarak Llama 3.2 11B’nin SQuAD v2 veri setinde ince ayar sürecini özetlemekte ve bu yöntemle elde edilen performans artışlarını sergilemektedir.

LoRA, ya da Düşük Sıralı Adaptasyon, mevcut bir modele yeni ağırlıklar ekleyen bir tekniktir ve orijinal parametreleri değiştirmeden çalışır. Belirli katmanların çıktısını ayarlayan adaptör ağırlıkları ekleyerek, LoRA modellerin önceden eğitilmiş bilgilerini korurken belirli görevlere özel yeni yetenekler kazanmalarını sağlar. Bu deneyde, Llama 3.2 11B’nin ekstrektif soru-cevaplama için ince ayarı üzerine odaklanılmıştır; amaç, kullanıcı sorgularına doğrudan yanıt veren kesin metin parçalarını çıkarmaktır, içeriği özetlemek veya yeniden ifade etmek yerine. Deney, Google Colab platformunda A100 GPU kullanılarak gerçekleştirilmiş ve uygulama Hugging Face Transformers kütüphanesi ile kolaylaştırılmıştır.

İnce ayar sürecinin sonuçları umut verici olup, modelin doğrulama setindeki performansında önemli bir artış göstermiştir. BERT skoru 0.6469’dan 0.7505’e yükselirken, tam eşleşme skoru 0.116’dan 0.418’e çıkmıştır. Bu iyileştirmeler, Q-LoRA tekniğinin Llama 3.2 11B modelini ekstrektif soru-cevaplama görevlerine etkili bir şekilde uyarladığını göstermektedir. Bu makale, benzer yöntemleri diğer modeller ve görevler için uygulamak isteyen araştırmacılar için bir rehber niteliğindedir ve doğal dil işleme alanında ince ayarın potansiyelini vurgulamaktadır.

Related News

io.net, AI Model Geliştirmeyi Geliştirmek İçin OpenLedger ile Ortaklık Kurdu cover
bir gün önce
io.net, AI Model Geliştirmeyi Geliştirmek İçin OpenLedger ile Ortaklık Kurdu
Bu hafta, merkeziyetsiz dağıtılmış GPU kaynak platformu io.net, yapay zeka (AI) için özel olarak tasarlanmış bir veri blok zinciri olan OpenLedger ile stratejik bir ortaklık duyurdu. Bu işbirliği, OpenLedger'in io.net'in küresel GPU hesaplama kaynaklarını kullanmasını sağlayarak AI modellerini geliştirme ve eğitme yeteneğini artıracak. GPU'ların İnterneti olarak bilinen io.net, dağıtılmış GPU kaynaklarının güçlü bir ağını sunarak OpenLedger'in AI modellerinin geliştirilmesini hızlandırmasına ve geliştiricilerin daha verimli AI tabanlı merkeziyetsiz uygulamalar (DApp'ler) oluşturmasına olanak tanır. io.net'te İş Geliştirme Başkan Yardımcısı olan Tausif Ahmad'a göre, bu ortaklık OpenLedger'e AI modellerini ölçeklendirmek için güvenilir bir altyapı sağlayacak ve yeni kullanım senaryolarını açarak merkeziyetsiz AI alanında yenilikçi bir sağlayıcı olarak konumunu pekiştirecek. GPU kaynakları sağlamanın yanı sıra, io.net'in altyapısı AI modellerinin çıkarımını ve barındırılmasını destekleyecek, optimal performans ve ölçeklenebilirlik sağlayacaktır. Bu ortaklığın, OpenLedger'in güvenilir veri setleri sağlayan önde gelen bir sağlayıcı olarak itibarını artırması bekleniyor ve blok zinciri ile AI arasındaki yeniliği besleyecektir. İşbirliği, yüksek kaliteli verilerin güvenli ve verimli bir şekilde oluşturulmasını sağlarken yenilik ve performansı artırmayı hedefliyor. OpenLedger'den bir ekip üyesi, io.net'in GPU altyapısını kullanmanın kullanıcıların AI modellerini daha verimli bir şekilde ince ayar yapmalarına olanak tanıyacağını ve nihayetinde güvenilir ve açıklanabilir AI modellerinin geliştirilmesine yol açacağını vurguladı. OpenLedger'in GPU kaynak sağlayıcısı olarak io.net'i seçmesindeki önemli bir faktör, sunulan maliyet etkin ve ölçeklenebilir hesaplama çözümleridir. Bu ortaklık, OpenLedger'in merkezi bulut sağlayıcılarıyla ilişkili yüksek maliyetlerin kısıtlamaları olmadan hizmetlerini genişletmesini sağlayacaktır. Daha büyük veri setlerini işleyerek ve eşi benzeri görülmemiş bir verimlilikle AI modelleri geliştirerek, OpenLedger merkeziyetsiz AI yeniliğinin sınırlarını zorlamayı hedefliyor. Sonuç olarak, bu ortaklık OpenLedger'in açık, işbirlikçi bir veri ortamını teşvik etme misyonuyla uyumlu olup, blok zinciri destekli AI çözümlerinin benimsenmesini teşvik etmektedir.
AI Laboratuvarı, AI Eğitimi Geliştirmek İçin Theta EdgeCloud ile Ortaklık Kurdu cover
bir gün önce
AI Laboratuvarı, AI Eğitimi Geliştirmek İçin Theta EdgeCloud ile Ortaklık Kurdu
Güney Kore'nin önde gelen e-öğrenme sağlayıcısı AI Laboratuvarı, Yapay Zeka (AI) ve Veri Analizi (DA) eğitim sunumlarını geliştirmek için Theta EdgeCloud ile çok yıllık bir anlaşma imzaladı. Bu ortaklık, AI Laboratuvarı'nın Theta EdgeCloud'un dağıtılmış GPU kaynaklarından yararlanmasını sağlıyor ve bu da ileri düzey AI eğitimi, model eğitimi ve üretken AI uygulamalarını kolaylaştırıyor. Pratik deneyimlere ve etkileşimli içeriğe güçlü bir odaklanma ile AI Laboratuvarı, dünya genelinde AI ve kodlama becerilerini öğretme konusundaki etkinliği ile tanınan yenilikçi platformu CodingX aracılığıyla yüksek kaliteli eğitim sunmayı hedefliyor. Theta EdgeCloud ile işbirliğinin AI Laboratuvarı'na birçok avantaj sağlaması bekleniyor. Talep üzerine GPU kaynaklarını kullanarak, kurum müfredat esnekliğini artırabilir ve AI'nın eğitim programlarına sorunsuz bir şekilde entegre edilmesini sağlayabilir. Ayrıca, ortaklığın Theta'nın dağıtılmış altyapısı aracılığıyla operasyonel maliyetleri düşürmesi ve hizmetlerinin maliyet etkin bir şekilde ölçeklenmesini sağlaması bekleniyor. En önemlisi, AI destekli öğrenme metodolojilerinin entegrasyonu, her öğrencinin benzersiz ihtiyaçlarını karşılamak için özelleştirilmiş öğrenme deneyimlerini kolaylaştıracak ve böylece genel performansı artıracaktır. Theta EdgeCloud, Seul Ulusal Üniversitesi ve Pekin Üniversitesi gibi prestijli kurumlarla ortaklık kurarak müşteri tabanını hızla genişletiyor. Bu büyüme, eğitim sektöründe ölçeklenebilir ve maliyet etkin teknoloji çözümlerine olan artan talebi vurguluyor. AI Laboratuvarı CEO'su John Choi, ortaklığa olan güvenini dile getirerek, Theta'nın Güney Kore üniversiteleri arasındaki güçlü itibarını ve AI Laboratuvarı'nın operasyonlarını önümüzdeki yıllarda önemli ölçüde genişletme potansiyelini vurguladı. Bu işbirliği, AI destekli bir gelecekte teknoloji becerilerine olan artan talebi karşılamaya hazır ve AI Laboratuvarı'nı gelişen eğitim manzarasında önemli bir oyuncu olarak konumlandırıyor.
Stratos, Dağıtık AI Altyapısını Geliştirmek İçin Cortensor ile Ortaklık Kurdu cover
2 gün önce
Stratos, Dağıtık AI Altyapısını Geliştirmek İçin Cortensor ile Ortaklık Kurdu
Dağıtık AI alanında önemli bir gelişme olarak Stratos, dağıtık AI çıkarım ağlarının lideri Cortensor ile bir ortaklık kurduğunu duyurdu. Bu işbirliği, Stratos'un sağlam dağıtık depolama ve akış çözümlerini Cortensor'un yenilikçi AI ekosistemine entegre ederek dağıtık AI altyapısını geliştirmeyi hedefliyor. Ortaklık, hem kamu hem de özel AI iş yüklerinin sorunsuz ve güvenilir bir şekilde çalışmasını sağlayarak, güvenli ve ölçeklenebilir veri depolama sunmayı vaat ediyor ve böylece genel ağ performansını artırıyor. Bu ortaklığın ana özelliklerinden biri, gerçek zamanlı çıkarım akış yeteneklerinin tanıtılmasıdır. Stratos'un gelişmiş video akış API'leri, Cortensor'un anlık AI çıkarım çıktıları sunmasını sağlayarak dinamik uygulamalar ve kullanıcı odaklı görevleri kolaylaştıracaktır. Bu iyileştirmenin, Stratos'un yüksek verimli altyapısının düğümden düğüme iletişimi geliştirmesi sayesinde AI iş yükleri için performansı optimize etmesi bekleniyor; bu, yüksek talep ortamlarında bile verimli veri akışını sağlayacaktır. Bu, gelişmiş AI araçlarını daha erişilebilir ve maliyet etkin hale getirmek için kritik bir adımdır. Her iki şirket de Cortensor'un Görev Kanıtı (PoI) ve Faydalı İş Kanıtı (PoUW) sistemleri ile görevleri doğrulayıp anlamlı işler için katkıda bulunanları ödüllendirerek dağıtık bir AI geleceği vizyonunu paylaşıyor. Stratos, Web3 ve AI çözümlerini destekleyen dağıtık altyapısıyla, 900'den fazla aktif küresel depolama düğümüne ve 21 PB kapasiteye sahiptir. Bu ortaklık, yeniliklere olan bağlılıklarını sergilemekle kalmayıp, aynı zamanda işletmeler, geliştiriciler ve topluluk odaklı madenciler için yeni olanaklar açmayı hedefliyor ve nihayetinde daha kapsayıcı ve ölçeklenebilir bir AI ekosistemi inşa etmeyi amaçlıyor. Dağıtık AI çözümlerinin sınırlarını zorlamaya devam ederken daha fazla güncelleme için bizi izlemeye devam edin.
Alım Destekli Üretimde Bağlam Hatırlama Geliştirme cover
5 gün önce
Alım Destekli Üretimde Bağlam Hatırlama Geliştirme
Alım destekli üretim (RAG), büyük dil modellerinin (LLM) özel iş uygulamalarına entegre edilmesi için temel bir yöntem olarak ortaya çıkmıştır ve model yanıtlarına özel verilerin eklenmesini sağlamaktadır. Kavramsal kanıt (POC) aşamasındaki etkinliğine rağmen, geliştiriciler genellikle RAG'ı üretime geçirdiğinde önemli doğruluk düşüşleriyle karşılaşmaktadır. Bu sorun, belirli bir sorgu için en alakalı bağlamı doğru bir şekilde almak amacıyla yapılan alım aşamasında özellikle belirgindir; bu ölçüt bağlam hatırlama olarak bilinir. Bu makale, RAG'ın gerçek dünya uygulamalarındaki performansını artırmak için gömme modellerini özelleştirerek ve ince ayar yaparak bağlam hatırlamayı artırma stratejilerini incelemektedir. RAG, iki ana adımda çalışır: alım ve üretim. Alım aşamasında, model metni vektörlere dönüştürür, dizinler, bu vektörleri alır ve en iyi eşleşmeleri belirlemek için yeniden sıralar. Ancak, bu aşamadaki hatalar, ilgili bağlamların atlanmasına neden olabilir ve bu da bağlam hatırlamasının düşmesine ve daha az doğru üretim çıktılarıyla sonuçlanır. Etkili bir çözüm, metin verileri arasındaki ilişkileri anlamak için tasarlanmış gömme modelini, kullanılan veri kümesine özgü gömme üretecek şekilde uyarlamaktır. Bu ince ayar, modelin benzer cümleler için benzer vektörler üretmesini sağlar ve sorguya son derece ilgili bağlamı alma yeteneğini artırır. Bağlam hatırlamasını geliştirmek için, modelin karşılaşacağı sorgu türlerini yansıtan özel bir veri kümesi hazırlamak önemlidir. Bu, bilgi tabanından çeşitli soru türlerini çıkarmayı, bunları değişkenlik için yeniden ifade etmeyi ve bunları alaka düzeyine göre düzenlemeyi içerir. Ayrıca, bir değerlendirme veri kümesi oluşturmak, modelin gerçekçi bir ortamda performansını değerlendirmeye yardımcı olur. Bilgi Alım Değerlendiricisi kullanarak, geliştiriciler alım doğruluğunu ölçmek için Recall@k ve Precision@k gibi metrikleri değerlendirebilir. Sonuç olarak, gömme modelinin ince ayarı, bağlam hatırlamasında önemli iyileştirmelere yol açabilir ve RAG'ın üretim ortamlarında doğru ve güvenilir kalmasını sağlar.
IoT Teknolojisi ile Tarımı Devrimsel Hale Getirmek cover
6 gün önce
IoT Teknolojisi ile Tarımı Devrimsel Hale Getirmek
Tarımda IoT teknolojisinin entegrasyonu, çiftçilerin verimliliği ve sürdürülebilirliği artıran, veri odaklı bilinçli kararlar almasını sağlayarak sektörü dönüştürüyor. Küresel akıllı tarım pazarının 2026 yılına kadar 20 milyar dolara ulaşması bekleniyor; bu, çiftliklerde IoT çözümlerinin artan benimsenmesiyle destekleniyor. Bu teknolojiler, çiftçilerin maliyetleri düşürmesine yardımcı olurken, verimliliği ve çevresel yönetimi artırarak, mahsul ve hayvan yönetiminin çeşitli yönlerini optimize ediyor. IoT cihazlarının yaygınlaşmasıyla birlikte, kaynak yönetiminin otomasyonu ve hava durumu ile toprak koşulları gibi kritik faktörler hakkında gerçek zamanlı veri toplama gibi önemli avantajlar sunuyorlar. Hava durumu istasyonları ve toprak sensörleri gibi IoT cihazları, akıllı tarımda önemli bir rol oynamaktadır. Hava durumu istasyonları, sıcaklık, nem ve yağış hakkında temel veriler sağlayarak çiftçilerin sulama ve ekim programlarını zamanında ayarlamalarına olanak tanır. Toprak sensörleri, su seviyeleri hakkında gerçek zamanlı bilgiler sunarak su kullanımı ve gübreleme stratejilerini optimize eder. Ayrıca, hayvan sağlığı ve konumunu proaktif bir şekilde yönetmek için hayvan izleme boyunlukları kullanılır. Gerçek zamanlı verilere dayalı olarak sulama ve kaynak dağıtımını otomatikleştirerek, çiftçiler kaynakları koruyabilir ve mahsul sağlığını artırabilir, bu da nihayetinde karlılığı artırır. Chirp'in platformu, bu IoT cihazlarının etkinliğini, tek bir kontrol panelinden yönetilen bütünleşik bir sisteme entegre ederek artırır. Blok zinciri teknolojisinin entegrasyonu, IoT cihazları tarafından üretilen büyük miktarda bilginin güvenli, sahteciliğe karşı korumalı depolanmasını ve izlenebilirliğini sağlayarak veri yönetimini daha da güçlendirir. Chirp'in Blackbird madencileri, bu cihazlar için uzun menzilli bağlantı sağlar ve bireysel internet bağlantılarına ihtiyaç duymadan geniş alanlarda güvenilir veri iletimini kolaylaştırır. IoT teknolojisinin bu sorunsuz entegrasyonu, Chirp'i çiftçiler için hayati bir ortak olarak konumlandırarak, onların zorluklarla başa çıkmalarını ve gelişen tarım manzarasında yeni fırsatları değerlendirmelerini sağlar.
VentureMind AI, AI ve Robotik Yetkinliklerini Geliştirmek İçin Theta EdgeCloud ile Ortaklık Kurdu cover
6 gün önce
VentureMind AI, AI ve Robotik Yetkinliklerini Geliştirmek İçin Theta EdgeCloud ile Ortaklık Kurdu
AI ve blok zinciri kesişimindeki heyecan verici bir gelişme olarak, VentureMind AI, Theta EdgeCloud ile bir ortaklık kurduğunu duyurdu. Bu iş birliği, Theta'nın merkeziyetsiz, düşük gecikmeli hesaplama ve akış kaynaklarını kullanarak VentureMind AI'nın yeteneklerini artırmayı amaçlıyor. EdgeCloud'u entegre ederek, VentureMind AI, AI araçlarını ölçeklendirebilecek, video işleme süreçlerini optimize edebilecek ve gerçek zamanlı robot kontrolü sunarak inşaat ve güvenlik gibi sektörlerdeki hizmetlerini önemli ölçüde geliştirebilecektir. Bu ortaklık, AI yeniliğini merkeziyetsiz finans ve gelişmiş robotik ile birleştiren kapsamlı bir ekosistem yaratma yolunda önemli bir adım olarak öne çıkıyor. VentureMind AI, kullanıcıların AI araçlarını NFT olarak oluşturmasına, basmasına ve ticaretini yapmasına olanak tanıyan öncü bir platformdur ve bu da benzersiz bir sahiplik ve gelir potansiyeli katmanı sunar. Platform ayrıca, kullanıcıların tokenleştirilmiş topluluklar başlatmasına ve piyasa yapma faaliyetlerini yönetmesine olanak tanıyan özel bir Otonom Ajan oluşturucuya sahiptir. Haziran 2023'te kurulmasından bu yana, EdgeCloud hem akademik hem de kurumsal ortamlarda ilgi görmüştür; Seul Ulusal Üniversitesi gibi kurumlar ve GenAI arama Liner gibi şirketler, AI araştırmalarını ve uygulamalarını ilerletmek için altyapısını kullanmaktadır. Theta EdgeCloud'un entegrasyonu ile VentureMind AI, AI, robotik ve Web3 alanlarındaki olanakları yeniden tanımlamaya hazırlanıyor. Ortaklık, AI yeniliği için ölçeklenebilir hesaplama, güvenilir robot kontrolü, maliyet etkin video işleme ve NFT'ler ile otonom araçlar için geliştirilmiş entegrasyon sağlayacaktır. Jermaine Anugwom tarafından kurulan VentureMind AI, özel AI araçları koleksiyonundan, blok zinciri teknolojisi ve tokenomiği içeren sağlam bir platforma hızla evrildi ve kendisini gelişen Web3 pazarında bir lider olarak konumlandırdı.