Ajuste Fino do Llama 3.2 11B com Q-LoRA para Perguntas e Respostas Extrativas

terça-feira, novembro 26, 2024 12:00 AM
131

Modelos de Linguagem de Grande Escala (LLMs) tornaram-se ferramentas essenciais em processamento de linguagem natural, capazes de lidar com uma variedade de tarefas. No entanto, devido ao seu treinamento amplo, eles podem não se destacar em aplicações específicas sem uma adaptação adicional. Técnicas de ajuste fino, como Q-LoRA, permitem que pesquisadores adaptem modelos pré-treinados como o Llama 3.2 11B para tarefas específicas, como perguntas e respostas extrativas. Este artigo descreve o processo de ajuste fino do Llama 3.2 11B usando Q-LoRA no conjunto de dados SQuAD v2, mostrando as melhorias de desempenho alcançadas por meio deste método.

LoRA, ou Adaptação de Baixa Classificação, é uma técnica que introduz novos pesos a um modelo existente sem alterar os parâmetros originais. Ao adicionar pesos de adaptador que ajustam as saídas de certas camadas, o LoRA permite que os modelos mantenham seu conhecimento pré-treinado enquanto adquirem novas capacidades adaptadas a tarefas específicas. Neste experimento, o foco está no ajuste fino do Llama 3.2 11B para perguntas e respostas extrativas, visando extrair segmentos de texto precisos que respondem diretamente às consultas dos usuários, em vez de resumir ou reformular o conteúdo. O experimento foi realizado em uma plataforma Google Colab utilizando uma GPU A100, com a biblioteca Hugging Face Transformers facilitando a implementação.

Os resultados do processo de ajuste fino foram promissores, demonstrando um aumento significativo no desempenho do modelo no conjunto de validação. O score BERT melhorou de 0.6469 para 0.7505, enquanto o score de correspondência exata subiu de 0.116 para 0.418. Essas melhorias indicam que a técnica Q-LoRA adapta efetivamente o modelo Llama 3.2 11B para tarefas de perguntas e respostas extrativas. Este artigo serve como um guia para pesquisadores que desejam aplicar métodos semelhantes a outros modelos e tarefas, destacando o potencial do ajuste fino no campo do processamento de linguagem natural.

Related News

DeepLink e SoonChain Unem Forças para Revolucionar os Jogos Web3 cover
há 4 dias
DeepLink e SoonChain Unem Forças para Revolucionar os Jogos Web3
A DeepLink assinou uma cooperação estratégica com a SoonChain, uma plataforma de jogos blockchain Layer-2 com IA que visa mudar o cenário do Web3. A parceria integra a solução de Jogos Gerados por IA (AIGG) de última geração da SoonChain, que ajuda os desenvolvedores de jogos a projetar jogos blockchain envolventes. O uso da tecnologia AIGG elimina a elegância da programação convencional e traz os jogos Web3 para o mercado de massa. Este conjunto de ferramentas é projetado para criar oportunidades de trabalhar de forma mais eficiente na produção de um jogo cativante, ao mesmo tempo em que abre portas para mais criatividade dentro do mercado de videogames. Nesta integração, ambas as empresas visam compartilhar oportunidades iguais e acesso antecipado à indústria de jogos, uma vez que há poucos intermediários. Iniciativa de Acessibilidade para Desenvolvedores e Jogadores A SoonChain é uma plataforma única que conecta inteligência artificial, redes de infraestrutura física descentralizadas (DePIN) e enormes computações de GPU com padrões de jogos AAA. A integração com a DeepLink permitirá que os desenvolvedores criem jogos e a plataforma será projetada de tal forma que não será necessário ter habilidades técnicas profundas para criar o jogo, tornando a indústria acessível a todos e, definitivamente, a equipes independentes. Além disso, incentiva a descentralização das oportunidades de jogos como parte da estratégia para aumentar sua disponibilidade. Essa abordagem está alinhada com a visão do Web3 de lidar com o maior número possível de intermediários e fornecer aos usuários controle e propriedade sobre seus jogos. DeepLink e SoonChain Oferecendo uma Estrutura Descentralizada para Inovação A DeepLink e a SoonChain oferecem uma visão de um espaço aberto e descentralizado que visa atrair desenvolvedores e jogadores para a cooperação e criação de novas oportunidades sem limitações típicas. Desenvolvida na arquitetura DeepBrainChain, a cooperação integra protocolos de jogos em nuvem com IA que são baseados na descentralização, o que é benéfico para o crescimento e otimização de jogos. Esta parceria envolve a integração de poderes de IA com blockchain, que enfatiza a preocupação com a separação de uma nova fronteira no desenvolvimento de jogos. Simboliza um salto quântico no uso da inteligência artificial e aplicativos descentralizados para fornecer soluções de jogos únicas para uma clientela global.
Universidade Estadual de Michigan se junta à Theta EdgeCloud para pesquisa em IA cover
há 4 dias
Universidade Estadual de Michigan se junta à Theta EdgeCloud para pesquisa em IA
A Universidade Estadual de Michigan (MSU) adotou oficialmente a plataforma EdgeCloud para pesquisa em IA, tornando-se a segunda instituição acadêmica nos Estados Unidos a se juntar a essa iniciativa, após a Universidade de Oregon. O SEIT Lab, liderado pelo Professor Associado Qiben Yan, utilizará a infraestrutura de GPU descentralizada da Theta para promover avanços em IA, cibersegurança e sistemas distribuídos. Como uma proeminente instituição de pesquisa de nível 1, a colaboração da MSU agrega valor significativo às parcerias acadêmicas da Theta nos EUA. Além disso, a EdgeCloud planeja aprimorar sua infraestrutura de GPU baseada em nuvem em várias localidades, incluindo Califórnia, Texas e o Meio-Oeste, com um lançamento beta de sua plataforma híbrida de computação em nuvem e na borda programado para junho de 2025. O Professor Qiben Yan é um especialista renomado em segurança de IoT, privacidade de IA, resiliência de blockchain e cibersegurança. Seu SEIT Lab está na vanguarda da pesquisa destinada a proteger dispositivos e redes conectados contra ameaças cibernéticas sofisticadas. O trabalho de Yan foi reconhecido em conferências de prestígio e recebeu financiamento notável da Fundação Nacional de Ciência (NSF). Ele expressou entusiasmo sobre a colaboração com a Theta, enfatizando que a plataforma EdgeCloud facilitará a escalabilidade de projetos de IA que exigem computação de alto desempenho, ao mesmo tempo em que empurra os limites da tecnologia descentralizada em sistemas seguros e inteligentes para aplicações de IoT e IA. O SEIT Lab é dedicado a criar sistemas seguros e inteligentes com foco em sistemas distribuídos, aprendizado federado e tecnologias de blockchain. Projetos recentes incluem pesquisa financiada pela NSF sobre IA robusta adversarial para reconhecimento de fala e estruturas inovadoras para contratos inteligentes seguros. Ao adotar a Theta EdgeCloud, o SEIT Lab se beneficiará de uma plataforma de nuvem descentralizada que acelera significativamente o treinamento e a implantação de modelos de IA, reduzindo o tempo de configuração de recursos de GPU em até cinco vezes em comparação com fornecedores tradicionais. Esta parceria não apenas fortalece a rede acadêmica da Theta, mas também destaca seu compromisso em enfrentar desafios complexos em várias áreas, incluindo mídia, saúde, bioinformática e finanças.
Network3 AI irá lançar N3 na plataforma IoTeX cover
há 7 dias
Network3 AI irá lançar N3 na plataforma IoTeX
Em 22 de janeiro de 2025, a Network3 AI está prestes a lançar seu novo produto, N3, na plataforma IoTeX. Esta oferta inovadora combina acesso descentralizado à IA com tecnologia avançada, marcando um passo significativo na integração de redes de infraestrutura física descentralizadas (DePIN) e inteligência artificial (IA). Espera-se que o lançamento atraia entusiastas de tecnologia para o ecossistema IOTX, potencialmente aumentando as taxas de adoção e influenciando positivamente o preço do token, caso a comunidade responda favoravelmente. A introdução do N3 não é apenas um avanço tecnológico; representa uma mudança em direção à democratização do acesso à IA. Ao aproveitar a computação de borda e as capacidades de GPU, a Network3 AI visa fornecer aos usuários ferramentas aprimoradas que podem capacitá-los em várias aplicações. Como qualquer nova tecnologia, a expectativa em torno do N3 provavelmente gerará especulação e empolgação no mercado, o que pode levar a um aumento do investimento em IOTX à medida que os interessados buscam capitalizar o potencial crescimento. À medida que a contagem regressiva para o lançamento continua, a comunidade é incentivada a marcar seus calendários para este evento crucial. A colaboração entre a Network3 AI e a IoTeX sinaliza um futuro promissor para tecnologias descentralizadas e suas aplicações em IA. Com o lançamento se aproximando, todos os olhos estarão voltados para o desempenho do N3 e seu impacto no ecossistema blockchain mais amplo.
Revolucionando o Jogo em Nuvem com Infraestrutura Descentralizada! cover
há 7 dias
Revolucionando o Jogo em Nuvem com Infraestrutura Descentralizada!
A DeepLink está quebrando barreiras no mundo dos jogos ao combinar IA, blockchain e clusters de GPU descentralizados para oferecer experiências de jogos em nuvem com ultra-baixa latência. Projetada para tornar os jogos acessíveis e escaláveis, a DeepLink capacita os usuários a desfrutar de jogabilidade de alto desempenho em qualquer dispositivo, desde jogos AAA até ambientes imersivos de VR/AR. * Principais Recursos da DeepLink * ✅ Clusters de GPU Descentralizados: Clusters de GPU de alto desempenho garantem experiências de jogo contínuas sem a necessidade de atualizações de hardware caras. * ✅ Otimização por IA: Aproveitando a IA para oferecer jogabilidade suave, reduzindo a latência e melhorando a qualidade visual para jogadores em todo o mundo. * ✅ Jogos Acessíveis: Transforma dispositivos de baixo desempenho em potências de jogos, democratizando experiências de jogos premium para todos. * ✅ Integração com Blockchain: Permite transações transparentes e seguras e descentralização para um ecossistema de jogos confiável. * ✅ Escalável e Custo-Efetivo: Desde desenvolvedores independentes até publicadoras AAA, a DeepLink oferece uma infraestrutura flexível e acessível para jogos e entretenimento.
Auki Labs Melhora a Robótica de Varejo com Novas Inovações cover
há 9 dias
Auki Labs Melhora a Robótica de Varejo com Novas Inovações
As lojas de varejo em todo o mundo estão enfrentando uma escassez significativa de pessoal, uma tendência exacerbada por mudanças demográficas em países desenvolvidos. Para enfrentar esse desafio, a Auki Labs está intensificando seu foco em robótica e IA, acreditando que essas tecnologias podem melhorar a eficiência operacional e aprimorar a experiência do cliente. A empresa anunciou recentemente duas atualizações importantes sobre suas iniciativas de robótica, que incluem avanços em seu robô proprietário e esforços para garantir a compatibilidade com robôs de outros fabricantes, começando pelos modelos da Unitree. Esta iniciativa visa criar uma rede de percepção de máquina interoperável que permita que vários robôs e dispositivos colaborem de forma integrada em espaços comerciais. A primeira atualização destaca as melhorias feitas no robô de loja da Auki, que agora possui maior interatividade e funcionalidades mais inteligentes. Uma nova câmera frontal fornece dados em tempo real para um servidor de reconstrução, permitindo que o robô mantenha uma representação digital atualizada de seu ambiente. Essa melhoria não apenas aumenta a consciência espacial do robô, mas também automatiza o processo de mapeamento. Além disso, o robô possui uma interface de tela sensível ao toque, permitindo que os clientes pesquisem produtos e recebam assistência guiada, simplificando uma das interações de serviço ao cliente mais comuns no varejo. Essa capacidade é particularmente crucial, dado os desafios contínuos de pessoal enfrentados pelos varejistas. A segunda atualização apresenta o Unitree Go2-W, um robô cão de guarda projetado para patrulhar ambientes de varejo. Equipado com sensores e um holofote, esse robô pode monitorar as condições da loja e alertar a equipe sobre possíveis problemas, como pacotes abandonados. A Auki Labs está comprometida em avançar na integração de várias tecnologias robóticas por meio de sua rede Auki, aprimorando suas capacidades e criando uma experiência de varejo mais eficiente. À medida que a Auki Labs continua a inovar no campo da robótica e computação espacial, o futuro do varejo parece estar preparado para uma transformação, prometendo um serviço melhorado e eficiência operacional diante da contínua escassez de pessoal.
io.net e Injective Colaboram para Melhorar a Computação Descentralizada para IA cover
há 10 dias
io.net e Injective Colaboram para Melhorar a Computação Descentralizada para IA
Em um movimento significativo para os setores de finanças descentralizadas (DeFi) e inteligência artificial (IA), io.net e Injective anunciaram uma parceria com o objetivo de aprimorar as capacidades de computação descentralizada na rede Injective. Esta colaboração, revelada em um post no blog em 14 de janeiro de 2025, verá a io.net expandir sua rede de computação GPU descentralizada para apoiar desenvolvedores DeFAI na plataforma Injective. A integração já está ativa, marcando um passo crucial na evolução das redes de infraestrutura física descentralizada, que atualmente representam um mercado avaliado em aproximadamente 32 bilhões de dólares. A io.net se destaca como um projeto líder no espaço de infraestrutura descentralizada, com uma capitalização de mercado de 393 milhões de dólares em 14 de janeiro de 2025. Outros players notáveis neste setor incluem Render, Filecoin, Theta Network e The Graph. Enquanto isso, as capitalizações de mercado de Agentes de IA e IA são reportadas em 13 bilhões e 44 bilhões de dólares, respectivamente. A Injective, incubada pela Binance e apoiada por proeminentes empresas de capital de risco como Jump Crypto e Pantera Capital, possui uma capitalização de mercado de 2,03 bilhões de dólares, posicionando-a como um jogador chave no cenário de blockchain para DeFi, ativos do mundo real e IA. A parceria entre io.net e Injective está definida para capacitar desenvolvedores ao fornecer acesso a ferramentas avançadas por meio da estrutura iAgent da Injective e da rede GPU descentralizada da io.net. Esta iniciativa segue uma colaboração anterior entre Injective e Aethir em dezembro de 2024, que introduziu a alocação de recursos de computação GPU tokenizados. Ao converter recursos de GPU em tokens negociáveis na plataforma Injective, desenvolvedores, pesquisadores e empresas agora podem acessar recursos computacionais de maneira mais flexível e econômica, promovendo assim a inovação dentro do ecossistema de IA e do espaço web3 mais amplo.
Inscreva-se para as últimas notícias e atualizações da DePIN