Тонкая настройка Llama 3.2 11B с Q-LoRA для экстрактивного вопросно-ответного поиска

вторник, ноябрь 26, 2024 12:00 ночи
251

Большие языковые модели (LLM) стали необходимыми инструментами в обработке естественного языка, способными справляться с различными задачами. Однако из-за широкого обучения они могут не проявлять себя в конкретных приложениях без дальнейшей адаптации. Техники тонкой настройки, такие как Q-LoRA, позволяют исследователям адаптировать предварительно обученные модели, такие как Llama 3.2 11B, для конкретных задач, таких как экстрактивный вопросно-ответный поиск. Эта статья описывает процесс тонкой настройки Llama 3.2 11B с использованием Q-LoRA на наборе данных SQuAD v2, демонстрируя улучшения производительности, достигнутые с помощью этого метода.

LoRA, или адаптация низкого ранга, — это техника, которая вводит новые веса в существующую модель, не изменяя оригинальные параметры. Добавляя адаптерные веса, которые корректируют выходы определенных слоев, LoRA позволяет моделям сохранять свои предварительно обученные знания, одновременно приобретая новые возможности, адаптированные к конкретным задачам. В этом эксперименте акцент сделан на тонкой настройке Llama 3.2 11B для экстрактивного вопросно-ответного поиска, с целью извлечения точных текстовых сегментов, которые напрямую отвечают на запросы пользователей, а не обобщают или перефразируют содержание. Эксперимент проводился на платформе Google Colab с использованием GPU A100, при этом библиотека Hugging Face Transformers облегчала реализацию.

Результаты процесса тонкой настройки были многообещающими, продемонстрировав значительное увеличение производительности модели на валидационном наборе. Оценка BERT улучшилась с 0.6469 до 0.7505, в то время как точный балл совпадения вырос с 0.116 до 0.418. Эти улучшения указывают на то, что техника Q-LoRA эффективно адаптирует модель Llama 3.2 11B для задач экстрактивного вопросно-ответного поиска. Эта статья служит руководством для исследователей, желающих применить аналогичные методы к другим моделям и задачам, подчеркивая потенциал тонкой настройки в области обработки естественного языка.

Related News

io.net сообщает о росте доходов на фоне рыночных вызовов cover
3 дня назад
io.net сообщает о росте доходов на фоне рыночных вызовов
В последнем квартальном отчете io.net продемонстрировала значительный рост доходов, достигнув впечатляющего увеличения на 82,6%, что привело к общему доходу в 5,7 миллиона долларов. Этот скачок доходов особенно примечателен на фоне общего сокращения на рынке криптовалют, где рыночная капитализация токена IO упала на 71,4% до 108 миллионов долларов, наряду с падением цены токена на 74,9%. Несмотря на эти вызовы, io.net успешно интегрировалась с различными платформами, ориентированными на ИИ и вычисления, включая партнерства с Zerebro, KREA и Injective, направленные на улучшение децентрализованных возможностей GPU для приложений в области ИИ и DeFi. Инфраструктура io.net, построенная на децентрализованной сети GPU и CPU, позволяет масштабируемый доступ к вычислительным ресурсам, особенно для приложений машинного обучения и ИИ. Платформа поддерживает широкий спектр фреймворков машинного обучения, обеспечивая гибкость и эффективность в распределении ресурсов. Однако средние ежедневные проверенные вычислительные ресурсы снизились, при этом проверенные GPU и CPU упали на 11,1% и 4,5% соответственно. Это сокращение отражает продолжающиеся проблемы со стороны предложения и снижение токенов, что повлияло на общую активность в сети. Несмотря на смешанные показатели производительности, io.net поддерживает стабильный темп развития, с многочисленными сотрудничествами, направленными на расширение своей экосистемы. Партнерства, сформированные в первом квартале 2025 года, включая сотрудничество с Alpha Network и Mira Network, подчеркивают приверженность io.net к улучшению децентрализованной инфраструктуры ИИ. Поскольку проект продолжает уточнять свои экономические модели и расширять свои сетевые возможности, он остается ключевым игроком в развивающемся ландшафте децентрализованных вычислительных ресурсов, даже на фоне сложной рыночной среды.
Бен Гертцель: Пионер децентрализованного ИИ для лучшего будущего cover
3 дня назад
Бен Гертцель: Пионер децентрализованного ИИ для лучшего будущего
Бен Гертцель, пионер в области искусственного интеллекта, выступает за децентрализованный ИИ с тех пор, как написал свою первую строку кода 30 лет назад. В то время как мир стоит на пороге достижения Искусственного Общего Интеллекта (AGI), Гертцель подчеркивает важность децентрализации для обеспечения того, чтобы эта мощная технология приносила пользу человечеству, а не служила централизованным властям. На недавней конференции Consensus в Торонто он выразил оптимизм в том, что AGI может быть запущен в течение следующих одного-двух лет благодаря его проекту SingularityNET, который стремится создать глобальный рынок для услуг ИИ. Проект достиг значительных успехов, включая партнерство с Mind Network и Filecoin Foundation, инвестиции в размере 53 миллионов долларов в модульный суперкомпьютер и слияние токенов с Ocean Protocol и Fetch.ai. Видение Гертцеля децентрализованного ИИ основано на его раннем опыте с интернетом, который он изначально рассматривал как децентрализованную платформу. Однако он отмечает, что рост таких технологических гигантов, как Google и Facebook, привел к более централизованному интернету, что подрывает основные принципы децентрализации. Он утверждает, что для того чтобы AGI стал силой добра, его необходимо строить на децентрализованной архитектуре с самого начала. Эта философия отражена в дизайне SingularityNET, Hyperon и предстоящей ASI Chain, которая предназначена для децентрализованных приложений ИИ. Гертцель считает, что траектория пост-AGI эпохи будет значительно отличаться в зависимости от роли децентрализованных экосистем в ее развитии. Помимо своей работы в области ИИ, Гертцель имеет историю изучения концепций децентрализованных денег, начиная с 90-х годов. Хотя он и его коллеги изначально отвергали практичность децентрализованных транзакций из-за опасений по поводу скорости и стоимости, появление Биткойна подтвердило некоторые из его ранних идей. Он с юмором вспоминает упущенные возможности той эпохи, признавая, что их недостаток деловой хватки помешал им представить более темные применения децентрализованных денег. Сегодня приверженность Гертцеля децентрализованному ИИ продолжает набирать популярность, позиционируя его и его инициативы как ключевых игроков в развивающемся ландшафте технологий и управления.
Инвесторы обращают внимание на токены GRASS и PI на фоне ликвидаций на рынке cover
7 дней назад
Инвесторы обращают внимание на токены GRASS и PI на фоне ликвидаций на рынке
В настоящее время инвесторы сосредоточены на токенах GRASS и PI, которые попадают в заголовки новостей благодаря своим уникальным ценностным предложениям. Текущая предпродажа Best Wallet также привлекла внимание, собрав более 12 миллионов долларов. За последние 24 часа бессрочные криптообмены, такие как Binance, Bybit и OKX, ликвидировали более 665 миллионов долларов в заемных позициях, что затронуло более 153 000 трейдеров. Несмотря на эту бурю, многие трейдеры остаются оптимистичными по поводу GRASS и PI, рассматривая их как потенциальные токены-выскочки на второй квартал 2025 года. Примечательно, что криптовалюта PI выросла на 80% с начала апреля, в то время как GRASS увеличилась на 140% с момента своего исторического минимума в конце октября 2024 года. GRASS — это децентрализованная платформа второго уровня, построенная на Solana, поддерживаемая известными венчурными капиталистами, такими как Polychain Capital и Tribe Capital. Она позволяет пользователям монетизировать неиспользуемую интернет-пропускную способность, что имеет решающее значение для обучения моделей ИИ. Платформа обеспечила сбор впечатляющих 57 миллионов ГБ публичных веб-данных только в первом квартале 2025 года. Участники зарабатывают очки GRASS, которые можно обменять на токены GRASS, и платформа наблюдает значительный рост числа операторов узлов, что указывает на растущий интерес и принятие. Аналитики ставят GRASS среди лучших криптовалют для изучения, подчеркивая ее потенциал в секторах ИИ и децентрализованной физической инфраструктуры (DePIN). С другой стороны, Pi Network делает шаги к децентрализации, недавно отключив свой центральный узел, тем самым наделяя свою сообщество из более чем 60 миллионов пользователей. Несмотря на скептицизм относительно своей легитимности, основная сеть Pi Network была запущена в феврале 2025 года, и цена криптовалюты PI значительно колебалась с тех пор. Поскольку как GRASS, так и PI продолжают развиваться, инвесторам рекомендуется проводить тщательное исследование перед принятием инвестиционных решений. Более того, предпродажа Best Wallet вызывает волнение, поскольку ее функции и меры безопасности позиционируют ее как сильного конкурента в области крипто-кошельков.
Amp и Aethir выделяются на фоне охлаждения крипторынка cover
11 дней назад
Amp и Aethir выделяются на фоне охлаждения крипторынка
На фоне охлаждения крипторынка Amp (AMP) и Aethir (ATH) стали выдающимися игроками, каждый из которых продемонстрировал заметный рост на 16%. Amp в настоящее время оценивается в $0.0051, поддерживаемый сильным бычьим импульсом, поддерживаемым ключевыми экспоненциальными скользящими средними (EMA) и благоприятными торговыми сигналами от индикаторов, таких как MACD и RSI, несмотря на предупреждения о перекупленности. Тем временем Aethir, который сосредоточен на решениях на основе искусственного интеллекта в блокчейне, подскочил до $0.052, преодолев значительные уровни сопротивления и сохранив бычий оптимизм, хотя перекупленный RSI предполагает, что трейдерам следует быть бдительными. Дивергенция на крипторынке очевидна, так как Helium (HNT) испытывает давление вниз, торгуясь по $4.00 и испытывая трудности ниже критической 200-дневной EMA. Эта ситуация создает риск дальнейших падений, если он пробьет поддержку 100-дневной EMA на уровне $3.83. Контрастные траектории Amp и Aethir по сравнению с Helium подчеркивают постоянную волатильность и инновации на рынке цифровых активов, побуждая трейдеров балансировать амбиции с управлением рисками. Пока трейдеры ориентируются в этих бурных водах, устойчивость Amp и Aethir подчеркивает потенциал роста даже на фоне стагнации рынка. Инвесторам рекомендуется внимательно следить за ключевыми техническими индикаторами, особенно уровнями EMA и RSI, чтобы определить оптимальные точки входа и эффективно управлять рисками. Текущие события в этих проектах отражают динамичную природу криптовалютного ландшафта, где инновации продолжают стимулировать интерес и инвестиционные возможности.
Восстановление Solana и рост проектов на основе ИИ Bittensor и Unilabs cover
12 дней назад
Восстановление Solana и рост проектов на основе ИИ Bittensor и Unilabs
Solana (SOL) продемонстрировала замечательное восстановление, отскочив на 90% от своего минимума в этом году, однако она по-прежнему остается ниже критического уровня сопротивления в $180. Аналитики настроены оптимистично, предполагая, что цена Solana может быть на грани значительного прорыва, особенно учитывая, что многие мем-коины SOL недавно выросли. Текущие рыночные настроения поддерживаются сильными фундаментальными показателями и восходящей траекторией, при этом SOL колеблется около отметки в $170. Решительный прорыв выше уровня сопротивления в $180 может проложить путь к потенциальному росту к $200 и выше, возможно, достигнув уровней около $250. В это время Bittensor (TAO) стал заметным игроком, демонстрируя стабильные результаты, в то время как другие криптовалюты, включая Bitcoin (BTC), испытывают трудности. Интерес к Bittensor в значительной степени обусловлен его инновационным подходом к децентрализованному ИИ, который набирает популярность после высокопрофильных событий, таких как участие Дональда Трампа в ужине для крипто- и ИИ-инноваторов. В настоящее время торгуясь около $457, Bittensor продемонстрировал устойчивость, сохраняя свои достижения и отражая растущую рыночную уверенность в проектах, которые интегрируют блокчейн-технологии с ИИ. Тем временем Unilabs (UNIL) набирает популярность как привлекательная альтернатива для инвесторов, стремящихся диверсифицироваться от традиционных сетей первого уровня, таких как Solana. С акцентом на объединение прозрачности блокчейна с инфраструктурой ИИ, Unilabs позиционирует себя как лидера в области DeFi и ИИ. Его инновационная модель, которая включает систему стимулов на основе токенов, направлена на привлечение пользователей и разработчиков. Поскольку рост Solana замедляется, Unilabs представляет собой уникальную возможность для трейдеров, потенциально переопределяя стандарты для платформ DeFi ИИ в быстро развивающемся крипто-ландшафте.
Xangle присоединяется к сети Theta в качестве корпоративного валидатора, улучшая инфраструктуру блокчейна cover
17 дней назад
Xangle присоединяется к сети Theta в качестве корпоративного валидатора, улучшая инфраструктуру блокчейна
9 числа корпорация Xangle, занимающаяся инфраструктурой блокчейна, объявила о своем вступлении в глобальную основную сеть блокчейна Theta Network в качестве корпоративного валидатора. Theta Network известна тем, что предоставляет децентрализованную облачную инфраструктуру, адаптированную для таких секторов, как искусственный интеллект (ИИ), медиа, спорт и развлечения. Она обладает надежной структурой, поддерживаемой более чем 30 000 распределенными узлами по всему миру, что обеспечивает эффективную работу и управление. Сеть привлекла стратегические инвестиции от таких известных компаний, как Samsung Next, Sony Innovation Fund, Bertelsmann Digital Media Investments и Creative Artists Agency (CAA), а также глобальные гиганты, такие как Google, Samsung и Binance, также участвуют в качестве корпоративных валидаторов. В рамках своей приверженности экосистеме Theta, Xangle будет ставить в общей сложности 200 000 токенов Theta (THETA), значительно повышая безопасность и управление сетью в качестве валидаторского узла. Компания стремится активно способствовать расширению децентрализованной физической инфраструктуры (DePIN) и экосистемы ИИ, которую продвигает Theta. Основанная в 2018 году, Xangle зарекомендовала себя как ведущий поставщик услуг инфраструктуры web3 и исследовательская платформа в Корее, предлагая центры сообщества, обозреватели блокчейнов и комплексные отчеты по анализу отрасли web3. Она также выступала в качестве валидатора для различных глобальных проектов, включая Aptos, Babylon, 0G и Initia. Ли Хён-у, со-генеральный директор Xangle, выразил энтузиазм по поводу партнерства, заявив: "Мы очень рады быть перечисленными в качестве корпоративного валидатора наряду с Google, Samsung и CAA благодаря нашему стратегическому партнерству с Theta." Он подчеркнул, что участие в сети валидаторов Theta идеально соответствует миссии Xangle по повышению доверия, децентрализации и прозрачности в блокчейнах первого уровня. Митч Лю, соучредитель и генеральный директор Theta Network, поддержал это мнение, подчеркнув сильные стороны Xangle в анализе блокчейнов и развитии экосистемы, и ожидая значительных синергий в продвижении Theta (THETA) и Theta Fuel (TFUEL), а также в повышении общей безопасности и масштабируемости блокчейна Theta.
Подпишитесь на последние новости и обновления DePIN