Улучшение воспоминания контекста в генерации с поддержкой извлечения

пятница, ноябрь 22, 2024 12:00 ночи
2,604

Генерация с поддержкой извлечения (RAG) стала ключевым методом интеграции больших языковых моделей (LLM) в специализированные бизнес-приложения, позволяя внедрять собственные данные в ответы модели. Несмотря на свою эффективность на этапе доказательства концепции (POC), разработчики часто сталкиваются с значительными падениями точности при переходе RAG в продукцию. Эта проблема особенно выражена на этапе извлечения, где цель состоит в том, чтобы точно извлечь наиболее релевантный контекст для данного запроса, метрика, известная как воспоминание контекста. Эта статья рассматривает стратегии улучшения воспоминания контекста путем настройки и дообучения моделей встраивания, что в конечном итоге улучшает производительность RAG в реальных приложениях.

RAG работает в два основных этапа: извлечение и генерация. На этапе извлечения модель преобразует текст в векторы, индексирует, извлекает и повторно ранжирует эти векторы, чтобы определить лучшие совпадения. Однако сбои на этом этапе могут привести к пропуску релевантных контекстов, что приводит к снижению воспоминания контекста и менее точным результатам генерации. Одним из эффективных решений является адаптация модели встраивания, которая предназначена для понимания взаимосвязей между текстовыми данными, для получения встраиваний, специфичных для используемого набора данных. Эта донастройка позволяет модели генерировать похожие векторы для схожих предложений, улучшая ее способность извлекать контекст, который имеет высокую релевантность к запросу.

Чтобы улучшить воспоминание контекста, необходимо подготовить специализированный набор данных, который отражает типы запросов, с которыми модель столкнется. Это включает в себя извлечение разнообразного диапазона вопросов из базы знаний, перефразирование их для вариативности и организацию по релевантности. Кроме того, создание оценочного набора данных помогает оценить производительность модели в реалистичных условиях. Используя оценщик информационного извлечения, разработчики могут измерять такие метрики, как Recall@k и Precision@k, чтобы оценить точность извлечения. В конечном итоге, донастройка модели встраивания может привести к значительным улучшениям в воспоминании контекста, обеспечивая, чтобы RAG оставался точным и надежным в производственных условиях.

Related News

Видение 4EVERLAND на 2025 год: Укрепление Web3 через инновации cover
3 дня назад
Видение 4EVERLAND на 2025 год: Укрепление Web3 через инновации
С наступлением 2025 года 4EVERLAND готова усилить свою приверженность поддержке разработчиков Web3 и глобального сообщества через инновационные децентрализованные технологии. Опираясь на успехи 2024 года, которые включали расширение партнерств с ведущими протоколами и запуск продвинутых AI-сервисов, 4EVERLAND сосредоточена на предоставлении передовой инфраструктуры, поддерживающей экосистему Web3. Предстоящий год обещает быть трансформационным, с четкой миссией по улучшению предложений и содействию подходу, ориентированному на сообщество, в то время как компания продолжает строить (BUIDL). В первом квартале 4EVERLAND представит агрегатор платформы 4EVERBoost, разработанный как универсальное решение для запуска Dapp для разработчиков Web3. Эта платформа нацелена на упрощение процесса развертывания приложений, позволяя разработчикам оптимизировать рабочие процессы и эффективно достигать своей целевой аудитории. Кроме того, компания планирует углубить партнерство с ключевыми игроками, такими как zkSync, Arbitrum и Optimism, улучшая совместимость протоколов для повышения общего опыта разработчиков и привлечения большего числа проектов на платформу 4EVERLAND. По мере продвижения года 4EVERLAND запустит рынок децентрализованных AI-моделей во втором квартале, облегчая бесшовную интеграцию вычислительных ресурсов AI для разработчиков. Введение AI Worker дополнительно упростит развертывание крупномасштабных AI-моделей. В третьем квартале открытая версия сети 4EVER Node позволит членам сообщества вносить неиспользуемые ресурсы, повышая масштабируемость и надежность. Наконец, в четвертом квартале будет создана DAO, позволяющая держателям токенов участвовать в управлении, тем самым увеличивая прозрачность и вовлеченность сообщества в процессы принятия решений. В целом, 2025 год обещает стать годом инноваций и сотрудничества для 4EVERLAND, укрепляя ее роль в ландшафте Web3.
io.net присоединяется к партнерской программе Dell Technologies для улучшения децентрализованных решений на базе GPU cover
8 дней назад
io.net присоединяется к партнерской программе Dell Technologies для улучшения децентрализованных решений на базе GPU
io.net, ведущий игрок в области децентрализованной физической инфраструктуры сети (DePIN) для GPU, недавно присоединился к партнерской программе Dell Technologies. Этот стратегический альянс направлен на улучшение бизнес-развития, продаж и маркетинга io.net. В качестве авторизованного партнера и поставщика облачных услуг, io.net стремится интегрировать свою децентрализованную сеть GPU с надежной инфраструктурой Dell, предоставляя масштабируемые и экономически эффективные решения, адаптированные для новых технологий, таких как искусственный интеллект (AI), машинное обучение (ML) и высокопроизводительные вычисления (HPC). Таусиф Ахмед, вице-президент по бизнес-развитию в io.net, подчеркнул, что это партнерство является значительным этапом для компании, позиционируя ее как ведущего поставщика решений в секторах AI, ML и HPC. Партнерская программа Dell Technologies является международной инициативой, которая предоставляет партнерам необходимые ресурсы для бизнес-развития, продаж и маркетинга. Присоединившись к этой программе, io.net получает доступ к множеству ресурсов, которые помогут расширить свою децентрализованную сеть GPU и улучшить свои рыночные возможности. Это сотрудничество не только позволяет io.net разрабатывать стратегии с другими партнерами, но и расширяет его глобальное присутствие, позволяя развертывать решения, которые бесшовно интегрируют децентрализованную мощность GPU с надежной аппаратной инфраструктурой Dell. Ожидается, что партнерство укрепит усилия io.net по выходу на рынок и совместные маркетинговые активности, что в конечном итоге принесет пользу корпоративным клиентам, ищущим передовые вычислительные решения. Поскольку спрос на масштабируемые и эффективные вычислительные услуги продолжает расти в отраслях AI и ML, децентрализованная сеть io.net предлагает убедительную альтернативу традиционным облачным провайдерам. Предоставляя кластеры GPU по запросу, которые могут быть развернуты быстро и по более низкой цене, io.net решает проблемы, с которыми сталкиваются организации в разработке AI. Партнерство с Dell должно демократизировать доступ к децентрализованным вычислительным решениям, особенно для предприятий, занимающихся обучением AI, выводом данных и случаями использования HPC. С глобальным присутствием и надежной репутацией Dell, io.net хорошо позиционирована для ускорения внедрения этих инновационных решений в различных отраслях.
Auki Labs представляет Posemesh: новая эра для совместной робототехники cover
8 дней назад
Auki Labs представляет Posemesh: новая эра для совместной робототехники
В области робототехники задача обеспечения эффективного сотрудничества нескольких роботов в общих пространствах является значительной проблемой. Auki Labs решает эту проблему, разрабатывая posemesh, общую пространственную карту, которая улучшает восприятие и взаимодействие роботов с их окружением. В настоящее время большинство пространственных карт не имеют контекстной информации, предоставляя только геометрические данные без значимых меток объектов. Это ограничение заставляет роботов полагаться на ресурсоемкие процессы распознавания объектов, что замедляет принятие решений и ограничивает масштабируемость автономных систем. Вводя posemesh, Auki Labs стремится упростить этот процесс, позволяя роботам работать более эффективно с уменьшенными вычислительными требованиями. Роботы Unitree G1 и Go2-W находятся на переднем крае этой инновации, служа идеальными платформами для развертывания posemesh. С их продвинутыми датчиками и мобильностью эти роботы могут эффективно перемещаться по заранее построенным пространственным картам. Posemesh облегчает общее понимание между роботами, позволяя им координировать движения и распределять задачи без необходимости каждому роботу независимо обрабатывать свое окружение. Этот совместный подход не только повышает эффективность, но и минимизирует избыточность, в конечном итоге приводя к улучшению связи между роботами и более масштабируемым системам в различных отраслях. Auki Labs видит будущее, в котором роботы могут адаптироваться к окружающей среде в реальном времени, преодолевая вычислительные узкие места и работая вместе без швов. Инвестируя в posemesh и передовые робототехнические платформы, компания прокладывает путь к более умному подходу к робототехнике и ИИ. Эта инициатива имеет решающее значение для широкого применения роботов в смешанных или гибридных средах, так как она открывает потенциал для совместных флотов, которые превосходят сумму их частей. По мере того как Auki Labs продолжает внедрять инновации, обещание более взаимосвязанного и эффективного робототехнического будущего становится все более ощутимым.
Lit Protocol: Объединение Интернета с помощью передовых криптографических решений cover
9 дней назад
Lit Protocol: Объединение Интернета с помощью передовых криптографических решений
В быстро развивающемся мире технологий блокчейна Lit Protocol делает значительные шаги в улучшении криптографических возможностей, чтобы преодолеть разрыв между фрагментированными сетями и платформами. В качестве децентрализованной сети управления ключами и приватных вычислений Lit Protocol предоставляет разработчикам необходимые инструменты для безопасного управления секретами и создания автономных приложений. С основополагающей поддержкой криптографических примитивов, таких как подписи BLS и ECDSA, разработчики использовали Lit для создания инновационных приложений, которые облегчают бесшовные взаимодействия между средами web2 и web3. В этом году наблюдается замечательный рост в таких областях, как AI-агенты, абстракция цепочек, пользовательские кошельки и проверяемые веб-данные, что демонстрирует потенциал инфраструктуры Lit. Смотрев вперед на 2025 год, Lit Protocol планирует расширить свои криптографические предложения, введя дополнительные схемы подписи и кривые для улучшения совместимости между различными экосистемами. Ключевые улучшения включают повышение производительности для подписания ECDSA, поддержку кривых NIST, таких как P-256 и P-384, а также интеграцию подписей Schnorr/EdDSA через протокол FROST. Эти достижения позволят разработчикам создавать более безопасные и эффективные приложения, обеспечивая совместимость с разнообразными экосистемами блокчейна. Более того, введение ключей с полностью гомоморфным шифрованием (FHE) позволит выполнять вычисления над зашифрованными данными, сохраняя конфиденциальность и позволяя проводить продвинутую аналитику и безопасный обмен данными. Достижения Lit Protocol в 2024 году отражают преданность его сообщества разработчиков, с более чем 24 миллионами выполненных криптографических запросов и более чем 1 миллионом созданных ключей. Заметные партнерства с такими организациями, как Fox, Genius и Emblem Vault, подчеркивают универсальность Lit Protocol в различных приложениях, от децентрализованных финансов до программируемого управления данными. Поскольку Lit продолжает внедрять инновации и расширять свои возможности, он остается приверженным предоставлению разработчикам лучших инструментов для создания безопасных, децентрализованных и автономных приложений, в конечном итоге объединяя фрагментированный цифровой ландшафт, в котором мы сегодня находимся.
Solana запускает DePIN Compute для удовлетворения растущего спроса на вычислительную мощность AI cover
10 дней назад
Solana запускает DePIN Compute для удовлетворения растущего спроса на вычислительную мощность AI
Solana запустила Decentralized Physical Infrastructure Networks (DePIN) Compute, революционную децентрализованную систему, предназначенную для решения растущего спроса на вычислительную мощность, вызванного быстрым развитием искусственного интеллекта (AI). Традиционные вычислительные системы испытывают трудности с удовлетворением этого спроса, но DePIN предлагает новое решение, используя недоиспользуемые ресурсы, подобно тому, как Airbnb позволяет домовладельцам делиться своими свободными объектами. Этот инновационный подход позволяет пользователям монетизировать свои неиспользуемые GPU, делая их доступными для разработчиков, исследователей и стартапов, нуждающихся в вычислительных ресурсах. Функциональность DePIN Compute проста: пользователи могут сдавать в аренду свою неиспользуемую мощность GPU, создавая новый источник дохода и оптимизируя использование ресурсов. Эта децентрализованная модель особенно полезна для небольших разработчиков и исследователей, которые часто сталкиваются с финансовыми трудностями при использовании платформ высокопроизводительных вычислений. Используя технологии блокчейн, DePIN Compute обеспечивает быстрый, экономически эффективный и масштабируемый метод обмена вычислительными ресурсами, в конечном итоге демократизируя доступ к передовым технологиям. Значимость DePIN Compute подчеркивается недавними инвестициями, в частности, обязательством VanEck вложить более 10 миллионов долларов в проект, что отражает сильную уверенность в его потенциале. Предыдущая поддержка VanEck Solana уже способствовала положительной реакции рынка, включая подачу заявки на первый ETF на основе SOL в Соединенных Штатах. Поскольку AI продолжает развиваться, такие инициативы, как DePIN Compute, призваны революционизировать доступ и использование вычислительной мощности, способствуя инновациям и позволяя более широкому кругу людей и организаций извлекать выгоду из передовых технологий.
Укрепление конфиденциальности данных в эпоху Web3 cover
10 дней назад
Укрепление конфиденциальности данных в эпоху Web3
В меняющемся ландшафте интернета обеспокоенность по поводу конфиденциальности данных достигла рекордного уровня. Недавний опрос MAGNA/Ketch показал, что только 5% людей чувствуют себя полностью защищенными в отношении того, как компании собирают и используют их личную информацию. Переходя в Web3, возникает новая парадигма, которая позволяет пользователям вернуть контроль над своими данными. Используя технологии блокчейн в сочетании с технологиями повышения конфиденциальности (PET), Web3 не только улучшает безопасность данных, но и переопределяет стандарты конфиденциальности и прозрачности в управлении данными. Децентрализация является ключевым принципом, который улучшает конфиденциальность данных в Web3. Традиционные методы защиты данных часто предполагают их централизованное хранение в одном месте, что может создать единую точку отказа для злоумышленников. В отличие от этого, децентрализованные системы распределяют данные по нескольким местам, что значительно усложняет задачу атакующим. Технология блокчейн играет ключевую роль в этой трансформации, предоставляя прозрачный и неизменяемый реестр транзакций, одновременно обеспечивая защиту конфиденциальной информации вне цепи. Этот двойной подход создает более надежную среду для пользователей, позволяя им проверять практики управления данными, не нарушая свою конфиденциальность. Технологии Web3 также открывают путь для инновационных решений, которые позволяют пользователям монетизировать свои данные, сохраняя контроль над их использованием. Используя смарт-контракты, индивидуумы могут установить четкие правила относительно того, кто может получить доступ к их данным и при каких обстоятельствах. Этот переход от простых пользователей к владельцам данных является значительным изменением в цифровой экономике. С помощью таких инструментов, как Privacy Pass от iExec, пользователи могут зарабатывать токены, сохраняя свою личную информацию в секрете. В конечном итоге, Web3 не только улучшает конфиденциальность данных; он позволяет людям вернуть право собственности на свои данные и извлекать выгоду из их ценности безопасным и прозрачным образом.
Подпишитесь на последние новости и обновления DePIN