Fine-Tuning Llama 3.2 11B with Q-LoRA for Extractive Question Answering

На этой неделе децентрализованная платформа распределенных ресурсов GPU io.net объявила о стратегическом партнерстве с OpenLedger, блокчейном данных, специально разработанным для искусственного интеллекта (ИИ). Это сотрудничество позволит OpenLedger использовать глобальные вычислительные ресурсы GPU от io.net, улучшая свою способность уточнять и обучать модели ИИ. Известная как Интернет GPU, io.net предоставляет мощную сеть распределенных ресурсов GPU, позволяя OpenLedger ускорить разработку своих моделей ИИ и давая возможность разработчикам создавать более эффективные децентрализованные приложения (DApps) на основе ИИ. По словам Таусифа Ахмада, вице-президента по развитию бизнеса в io.net, это партнерство предоставит OpenLedger надежную инфраструктуру для масштабирования своих моделей ИИ и откроет новые возможности, укрепляя его позицию как инновационного поставщика в децентрализованной сфере ИИ. Помимо предоставления ресурсов GPU, инфраструктура io.net будет поддерживать вывод и хостинг моделей ИИ, обеспечивая оптимальную производительность и масштабируемость. Ожидается, что это партнерство улучшит репутацию OpenLedger как ведущего поставщика надежных наборов данных, способствуя инновациям на стыке блокчейна и ИИ. Сотрудничество направлено на создание качественных данных безопасно и эффективно, одновременно стимулируя инновации и производительность. Один из членов команды OpenLedger подчеркнул, что использование инфраструктуры GPU от io.net позволит пользователям более эффективно настраивать модели ИИ, что в конечном итоге приведет к разработке надежных и объяснимых моделей ИИ. Значительным фактором в выборе OpenLedger io.net в качестве поставщика ресурсов GPU является экономически эффективное и масштабируемое вычислительное решение. Это партнерство позволит OpenLedger расширить свои услуги без ограничений высоких затрат, связанных с централизованными облачными провайдерами. Обрабатывая более крупные наборы данных и разрабатывая модели ИИ с беспрецедентной эффективностью, OpenLedger стремится расширить границы децентрализованных инноваций в области ИИ. В конечном итоге это партнерство соответствует миссии OpenLedger по содействию открытой, совместной среде данных, одновременно способствуя внедрению решений ИИ на основе блокчейна.

The AI Lab, a leading e-learning provider in South Korea, has recently entered into a multi-year agreement with Theta EdgeCloud, marking a significant step in enhancing its educational offerings in Artificial Intelligence (AI) and Data Analysis (DA). This partnership allows The AI Lab to leverage Theta EdgeCloud's distributed GPU resources, which will facilitate advanced AI education, model training, and generative AI applications. With a strong focus on hands-on experiences and interactive content, The AI Lab aims to deliver high-quality education through its innovative platform, CodingX, recognized for its effectiveness in teaching AI and coding skills globally. The collaboration with Theta EdgeCloud is expected to bring several advantages to The AI Lab. By utilizing on-demand GPU resources, the institution can enhance curriculum flexibility, allowing for seamless integration of AI into its educational programs. Additionally, the partnership is set to lower operational costs through Theta's distributed infrastructure, enabling cost-effective scaling of their services. Most importantly, the integration of AI-driven learning methodologies will facilitate personalized learning experiences, tailored to meet the unique needs of each student, thereby improving overall performance. Theta EdgeCloud has been rapidly expanding its customer base, recently partnering with prestigious institutions such as Seoul National University and Peking University. This growth underscores the increasing demand for scalable and cost-effective technology solutions in the education sector. John Choi, CEO of The AI Lab, expressed confidence in the partnership, highlighting Theta's strong reputation among South Korean universities and its potential to significantly expand The AI Lab's operations in the coming years. This collaboration is poised to meet the rising demand for technology skills in an AI-driven future, positioning The AI Lab as a key player in the evolving educational landscape.

В значительном развитии децентрализованного AI ландшафта Stratos объявила о партнерстве с Cortensor, лидером в области децентрализованных AI сетей вывода. Это сотрудничество направлено на улучшение децентрализованной AI инфраструктуры путем интеграции надежного децентрализованного хранения и потокового решения Stratos в инновационную AI экосистему Cortensor. Партнерство обеспечит безопасное и масштабируемое хранение данных, гарантируя, что как публичные, так и частные AI рабочие нагрузки могут работать без проблем и надежно, тем самым улучшая общую производительность сети. Одной из ключевых особенностей этого партнерства является внедрение возможностей потоковой передачи вывода в реальном времени. Передовые API потокового видео Stratos позволят Cortensor предоставлять мгновенные результаты вывода AI, облегчая динамические приложения и задачи, управляемые пользователями. Ожидается, что это улучшение оптимизирует производительность для AI рабочих нагрузок, так как инфраструктура Stratos с высокой пропускной способностью улучшит связь между узлами, обеспечивая эффективный поток данных даже в условиях высокого спроса. Это важный шаг к тому, чтобы сделать передовые AI инструменты более доступными и экономически эффективными. Обе компании разделяют видение децентрализованного AI будущего, с системами Cortensor Proof of Inference (PoI) и Proof of Useful Work (PoUW), которые валидируют задачи и вознаграждают участников за значимую работу. Stratos, с его децентрализованной инфраструктурой, поддерживающей Web3 и AI решения, имеет более 900 активных глобальных узлов хранения и емкость 21 ПБ. Это партнерство не только демонстрирует их приверженность инновациям, но и направлено на открытие новых возможностей для бизнеса, разработчиков и участников сообщества, в конечном итоге создавая более инклюзивную и масштабируемую AI экосистему. Следите за обновлениями, так как они продолжают расширять границы децентрализованных AI решений.

Генерация с поддержкой извлечения (RAG) стала ключевым методом интеграции больших языковых моделей (LLM) в специализированные бизнес-приложения, позволяя внедрять собственные данные в ответы модели. Несмотря на свою эффективность на этапе доказательства концепции (POC), разработчики часто сталкиваются с значительными падениями точности при переходе RAG в продукцию. Эта проблема особенно выражена на этапе извлечения, где цель состоит в том, чтобы точно извлечь наиболее релевантный контекст для данного запроса, метрика, известная как воспоминание контекста. Эта статья рассматривает стратегии улучшения воспоминания контекста путем настройки и дообучения моделей встраивания, что в конечном итоге улучшает производительность RAG в реальных приложениях. RAG работает в два основных этапа: извлечение и генерация. На этапе извлечения модель преобразует текст в векторы, индексирует, извлекает и повторно ранжирует эти векторы, чтобы определить лучшие совпадения. Однако сбои на этом этапе могут привести к пропуску релевантных контекстов, что приводит к снижению воспоминания контекста и менее точным результатам генерации. Одним из эффективных решений является адаптация модели встраивания, которая предназначена для понимания взаимосвязей между текстовыми данными, для получения встраиваний, специфичных для используемого набора данных. Эта донастройка позволяет модели генерировать похожие векторы для схожих предложений, улучшая ее способность извлекать контекст, который имеет высокую релевантность к запросу. Чтобы улучшить воспоминание контекста, необходимо подготовить специализированный набор данных, который отражает типы запросов, с которыми модель столкнется. Это включает в себя извлечение разнообразного диапазона вопросов из базы знаний, перефразирование их для вариативности и организацию по релевантности. Кроме того, создание оценочного набора данных помогает оценить производительность модели в реалистичных условиях. Используя оценщик информационного извлечения, разработчики могут измерять такие метрики, как Recall@k и Precision@k, чтобы оценить точность извлечения. В конечном итоге, донастройка модели встраивания может привести к значительным улучшениям в воспоминании контекста, обеспечивая, чтобы RAG оставался точным и надежным в производственных условиях.

Интеграция технологий IoT в сельское хозяйство трансформирует этот сектор, позволяя фермерам принимать обоснованные решения на основе данных, которые повышают продуктивность и устойчивость. Ожидается, что мировой рынок умного сельского хозяйства достигнет 20 миллиардов долларов к 2026 году, что связано с растущим внедрением решений IoT на фермах. Эти технологии оптимизируют различные аспекты управления урожаем и скотом, помогая фермерам снижать затраты, одновременно улучшая урожайность и охрану окружающей среды. С увеличением числа устройств IoT они предлагают значительные преимущества, включая автоматизацию управления ресурсами и сбор данных в реальном времени по критическим факторам, таким как погодные условия и состояние почвы. Устройства IoT, такие как метеостанции и датчики почвы, играют ключевую роль в умном сельском хозяйстве. Метеостанции предоставляют важные данные о температуре, влажности и осадках, позволяя фермерам своевременно корректировать графики орошения и посадки. Датчики почвы предоставляют данные в реальном времени о уровнях влажности, оптимизируя использование воды и стратегии удобрения. Кроме того, ошейники для мониторинга скота обеспечивают проактивное управление здоровьем и местоположением животных. Автоматизируя орошение и распределение ресурсов на основе данных в реальном времени, фермеры могут экономить ресурсы и улучшать здоровье растений, что в конечном итоге приводит к увеличению прибыльности. Платформа Chirp повышает эффективность этих устройств IoT, интегрируя их в единую систему, управляемую с одной панели управления. Внедрение технологий блокчейн дополнительно укрепляет управление данными, обеспечивая безопасное, защищенное от подделок хранение и отслеживание огромных объемов информации, генерируемой устройствами IoT. Майнеры Chirp Blackbird обеспечивают дальнюю связь для этих устройств, облегчая надежную передачу данных на больших площадях без необходимости в индивидуальных интернет-соединениях. Эта бесшовная интеграция технологий IoT позиционирует Chirp как важного партнера для фермеров, позволяя им справляться с вызовами и использовать новые возможности в развивающемся аграрном ландшафте.

В захватывающем развитии на пересечении ИИ и блокчейна VentureMind AI объявила о партнерстве с Theta EdgeCloud. Это сотрудничество направлено на использование децентрализованных ресурсов Theta с низкой задержкой для вычислений и потоковой передачи, чтобы улучшить возможности VentureMind AI. Интегрируя EdgeCloud, VentureMind AI сможет масштабировать свои инструменты ИИ, оптимизировать рендеринг видео и предлагать управление робототехникой в реальном времени, значительно улучшая свои предложения в таких секторах, как строительство и безопасность. Это партнерство является значительным шагом к созданию комплексной экосистемы, которая объединяет инновации ИИ с децентрализованными финансами и передовой робототехникой. VentureMind AI — это передовая платформа, которая позволяет пользователям создавать, чеканить и торговать инструментами ИИ в виде NFT, предоставляя уникальный уровень собственности и потенциала дохода. Платформа также включает в себя настраиваемый конструктор автономных агентов, позволяющий пользователям запускать токенизированные сообщества и управлять рыночной деятельностью. С момента своего создания в июне 2023 года EdgeCloud завоевала популярность как в академической, так и в корпоративной среде, с такими учреждениями, как Сеульский национальный университет, и компаниями, такими как GenAI search Liner, использующими ее инфраструктуру для продвижения исследований и приложений ИИ. С интеграцией Theta EdgeCloud VentureMind AI готова переопределить возможности в областях ИИ, робототехники и Web3. Партнерство обеспечит масштабируемые вычисления для инноваций в ИИ, надежное управление робототехникой, экономичную обработку видео и улучшенную интеграцию для NFT и автономных инструментов. Основанная Джерменом Анугвомом, VentureMind AI быстро эволюционировала от набора специализированных инструментов ИИ до мощной платформы, которая включает в себя технологии блокчейна и токеномики, позиционируя себя как лидера на развивающемся рынке Web3.