Enhancing Context Recall in Retrieval-Augmented Generation

thứ sáu, tháng 11 22, 2024 12:00 AM
22

Retrieval-augmented generation (RAG) has emerged as a pivotal method for integrating large language models (LLMs) into specialized business applications, enabling the infusion of proprietary data into model responses. Despite its effectiveness during the proof of concept (POC) phase, developers often face significant accuracy drops when transitioning RAG into production. This issue is particularly pronounced during the retrieval phase, where the aim is to accurately fetch the most relevant context for a given query, a metric known as context recall. This article delves into strategies for enhancing context recall by customizing and fine-tuning embedding models, ultimately improving RAG’s performance in real-world applications.

RAG operates in two main steps: retrieval and generation. In the retrieval phase, the model converts text into vectors, indexes, retrieves, and re-ranks these vectors to identify the top matches. However, failures in this phase can lead to missed relevant contexts, resulting in lower context recall and less accurate generation outputs. One effective solution is to adapt the embedding model, which is designed to understand relationships between text data, to produce embeddings that are specific to the dataset being used. This fine-tuning allows the model to generate similar vectors for similar sentences, enhancing its ability to retrieve context that is highly relevant to the query.

To improve context recall, it is essential to prepare a tailored dataset that reflects the types of queries the model will encounter. This involves extracting a diverse range of questions from the knowledge base, paraphrasing them for variability, and organizing them by relevance. Additionally, constructing an evaluation dataset helps assess the model’s performance in a realistic setting. By employing an Information Retrieval Evaluator, developers can measure metrics like Recall@k and Precision@k to gauge retrieval accuracy. Ultimately, fine-tuning the embedding model can lead to substantial improvements in context recall, ensuring that RAG remains accurate and reliable in production environments.

Related News

VentureMind AI hợp tác với Theta EdgeCloud để nâng cao khả năng AI và Robotics cover
2 ngày trước
VentureMind AI hợp tác với Theta EdgeCloud để nâng cao khả năng AI và Robotics
Trong một phát triển thú vị cho sự giao thoa giữa AI và blockchain, VentureMind AI đã thông báo một sự hợp tác với Theta EdgeCloud. Sự hợp tác này nhằm tận dụng tài nguyên tính toán và phát trực tuyến phi tập trung, độ trễ thấp của Theta để nâng cao khả năng của VentureMind AI. Bằng cách tích hợp EdgeCloud, VentureMind AI sẽ có thể mở rộng các công cụ AI của mình, tối ưu hóa việc xử lý video và cung cấp điều khiển robotics theo thời gian thực, cải thiện đáng kể các dịch vụ của mình trong các lĩnh vực như xây dựng và an ninh. Sự hợp tác này đánh dấu một bước quan trọng trong việc tạo ra một hệ sinh thái toàn diện kết hợp đổi mới AI với tài chính phi tập trung và robotics tiên tiến. VentureMind AI là một nền tảng tiên phong cho phép người dùng tạo ra, đúc và giao dịch các công cụ AI dưới dạng NFT, cung cấp một lớp sở hữu và tiềm năng thu nhập độc đáo. Nền tảng này cũng có một công cụ xây dựng Đại lý Tự động tùy chỉnh, cho phép người dùng khởi chạy các cộng đồng được mã hóa và quản lý các hoạt động tạo lập thị trường. Kể từ khi ra mắt vào tháng 6 năm 2023, EdgeCloud đã thu hút được sự chú ý trong cả môi trường học thuật và doanh nghiệp, với các tổ chức như Đại học Quốc gia Seoul và các công ty như GenAI search Liner sử dụng cơ sở hạ tầng của nó để thúc đẩy nghiên cứu và ứng dụng AI. Với sự tích hợp của Theta EdgeCloud, VentureMind AI đang sẵn sàng định nghĩa lại những khả năng trong các lĩnh vực AI, robotics và Web3. Sự hợp tác này sẽ tạo điều kiện cho tính toán có thể mở rộng cho đổi mới AI, điều khiển robotics đáng tin cậy, xử lý video hiệu quả về chi phí và tích hợp nâng cao cho NFT và các công cụ tự động. Được thành lập bởi Jermaine Anugwom, VentureMind AI đã nhanh chóng phát triển từ một tập hợp các công cụ AI chuyên biệt thành một nền tảng mạnh mẽ kết hợp công nghệ blockchain và tokenomics, định vị mình như một nhà lãnh đạo trong bối cảnh Web3 đang nổi lên.
Cách mạng hóa Nông nghiệp với Công nghệ IoT cover
2 ngày trước
Cách mạng hóa Nông nghiệp với Công nghệ IoT
Việc tích hợp công nghệ IoT trong nông nghiệp đang chuyển đổi lĩnh vực này, cho phép nông dân đưa ra quyết định dựa trên dữ liệu, từ đó nâng cao năng suất và tính bền vững. Thị trường nông nghiệp thông minh toàn cầu dự kiến sẽ đạt 20 tỷ USD vào năm 2026, nhờ vào việc áp dụng ngày càng nhiều các giải pháp IoT trên các trang trại. Những công nghệ này tối ưu hóa nhiều khía cạnh của quản lý cây trồng và chăn nuôi, giúp nông dân giảm chi phí trong khi cải thiện năng suất và quản lý môi trường. Khi các thiết bị IoT ngày càng phổ biến, chúng mang lại những lợi thế đáng kể, bao gồm tự động hóa quản lý tài nguyên và thu thập dữ liệu theo thời gian thực về các yếu tố quan trọng như thời tiết và điều kiện đất đai. Các thiết bị IoT như trạm thời tiết và cảm biến đất đóng vai trò quan trọng trong nông nghiệp thông minh. Trạm thời tiết cung cấp dữ liệu thiết yếu về nhiệt độ, độ ẩm và lượng mưa, cho phép nông dân điều chỉnh kịp thời lịch tưới và lịch trồng. Cảm biến đất cung cấp thông tin theo thời gian thực về mức độ độ ẩm, tối ưu hóa việc sử dụng nước và chiến lược bón phân. Thêm vào đó, cổ áo theo dõi gia súc đảm bảo quản lý chủ động về sức khỏe và vị trí của động vật. Bằng cách tự động hóa tưới tiêu và phân phối tài nguyên dựa trên dữ liệu theo thời gian thực, nông dân có thể tiết kiệm tài nguyên và cải thiện sức khỏe cây trồng, cuối cùng dẫn đến tăng lợi nhuận. Nền tảng của Chirp nâng cao hiệu quả của các thiết bị IoT này bằng cách tích hợp chúng vào một hệ thống đồng bộ được quản lý từ một bảng điều khiển duy nhất. Việc tích hợp công nghệ blockchain càng củng cố quản lý dữ liệu, đảm bảo lưu trữ an toàn, không thể thay đổi và khả năng truy xuất nguồn gốc của lượng thông tin khổng lồ được tạo ra bởi các thiết bị IoT. Các thợ mỏ Blackbird của Chirp cung cấp kết nối khoảng cách xa cho các thiết bị này, tạo điều kiện cho việc truyền dữ liệu đáng tin cậy trên diện rộng mà không cần kết nối internet riêng lẻ. Sự tích hợp liền mạch của công nghệ IoT này định vị Chirp như một đối tác quan trọng cho nông dân, trao quyền cho họ để đối phó với những thách thức và tận dụng các cơ hội mới trong bối cảnh nông nghiệp đang phát triển.
Theta Hợp Tác Với Đại Học Quốc Gia Seoul Để Tăng Cường Nghiên Cứu AI cover
2 ngày trước
Theta Hợp Tác Với Đại Học Quốc Gia Seoul Để Tăng Cường Nghiên Cứu AI
Theta đã công bố một quan hệ đối tác quan trọng với Đại học Quốc gia Seoul (SNU), cơ sở giáo dục hàng đầu của Hàn Quốc, nhằm tăng cường nghiên cứu AI thông qua nền tảng EdgeCloud của mình. Sự hợp tác này sẽ đặc biệt mang lại lợi ích cho Phòng thí nghiệm AIoT của SNU, do Phó Giáo sư Hyung-Sin Kim dẫn dắt, người nổi tiếng với chuyên môn về AI Môi trường và hệ thống IoT. Quan hệ đối tác nhằm tăng tốc nghiên cứu trong các lĩnh vực như đổi mới y tế được hỗ trợ bởi AI và xử lý dữ liệu thời gian thực, tận dụng tài nguyên GPU đám mây lai tiên tiến của Theta. SNU, được thành lập vào năm 1946, được công nhận vì sự xuất sắc trong nhiều lĩnh vực và luôn được xếp hạng trong số các trường đại học hàng đầu ở châu Á. Kể từ khi ra mắt EdgeCloud vào tháng 6, Theta đã thu hút sự chú ý trong cả giới học thuật Mỹ và Hàn Quốc, hợp tác với một số cơ sở danh tiếng bao gồm Đại học Oregon và KAIST. Phòng thí nghiệm AIoT tại SNU đã có những đóng góp đáng chú ý cho lĩnh vực này, với Giáo sư Kim dẫn dắt các nỗ lực đã nhận được nhiều giải thưởng và các khoản tài trợ nghiên cứu có tác động cao. Những thành tựu gần đây bao gồm các giải thưởng tại các hội nghị và cuộc thi lớn, thể hiện cam kết của phòng thí nghiệm trong việc thúc đẩy công nghệ AI và IoT. Việc tích hợp cơ sở hạ tầng của Theta dự kiến sẽ nâng cao khả năng của phòng thí nghiệm trong việc phát triển các mô hình thích ứng ưu tiên quyền riêng tư dữ liệu và thông tin sức khỏe thời gian thực. Giáo sư Kim bày tỏ sự hào hứng về sự hợp tác, nhấn mạnh cách mà cơ sở hạ tầng AI phi tập trung của Theta sẽ định nghĩa lại cảnh quan GPU và cho phép những tiến bộ đột phá trong các ứng dụng AI Môi trường và IoT. Quan hệ đối tác này không chỉ củng cố cam kết của Theta trong việc hỗ trợ nghiên cứu AI đẳng cấp thế giới mà còn định vị công ty như một nhân tố chính trong bối cảnh học thuật, với khát vọng thu hút thêm nhiều cơ sở hàng đầu ở châu Á và Bắc Mỹ. Khi Theta tiếp tục mở rộng ảnh hưởng của mình, sự hợp tác với SNU đánh dấu một bước quan trọng trong việc thúc đẩy các ứng dụng thực tiễn đổi mới trong các lĩnh vực AI và IoT.
DIMO Hợp Tác với MATT3R để Tăng Cường Phát Triển AI và AV cover
3 ngày trước
DIMO Hợp Tác với MATT3R để Tăng Cường Phát Triển AI và AV
Quỹ DIMO đã công bố một quan hệ đối tác quan trọng với MATT3R, nhằm nâng cao khả năng tương tác và phân cấp của các hệ sinh thái xe hiện đại. Sự hợp tác này dự kiến sẽ thúc đẩy sự phát triển của các mô hình trí tuệ nhân tạo (AI) và xe tự hành (AV) bằng cách cải thiện việc thu thập, xác thực và truy cập dữ liệu. MATT3R sẽ là công ty đầu tiên, sau Digital Infrastructure Inc., hoàn toàn tích hợp vào hệ sinh thái DIMO, sử dụng SDK DIMO và giới thiệu một thiết bị phần cứng mới để thu thập các bộ dữ liệu video độc đáo. Sáng kiến này đại diện cho một bước quan trọng trong việc mở rộng giao thức DIMO, được thiết kế để tạo điều kiện cho các loại dữ liệu đa dạng và tạo ra một môi trường liên kết hơn cho các nhà phát triển. Trong lĩnh vực thị giác máy tính, khả năng diễn giải dữ liệu hình ảnh là điều cần thiết cho sự tiến bộ của các phương tiện tự hành. Tuy nhiên, một thách thức lớn nằm ở việc thu thập các bộ dữ liệu lớn và chất lượng cao cần thiết để đào tạo các mô hình AI. MATT3R giải quyết vấn đề này bằng cách cho phép người dùng thu thập và chia sẻ dữ liệu từ các phương tiện của họ thông qua thiết bị K3Y. Thiết bị này cho phép tổng hợp dữ liệu hình ảnh và cảm biến, sau đó được phân loại và gán nhãn cho các nhà phát triển sử dụng. Bằng cách tận dụng một phương pháp crowdsourced, MATT3R có thể cung cấp cho các nhà phát triển quyền truy cập vào một loạt các tình huống thực tế, từ đó cải thiện độ tin cậy của các mô hình AI và AV trong khi đảm bảo quyền riêng tư của người dùng và kiểm soát dữ liệu cá nhân. Quan hệ đối tác cũng bao gồm việc tích hợp SDK DIMO vào ứng dụng di động Consol3 của MATT3R, cho phép truy cập liền mạch cho cả người dùng DIMO hiện tại và người dùng mới. Sự tích hợp này không chỉ nâng cao trải nghiệm người dùng mà còn thúc đẩy mối quan hệ có lợi cho cả hai bên giữa các nhà phát triển và người dùng. Khi MATT3R chuẩn bị ra mắt đợt bán trước các thiết bị K3Y vào tháng 11, sự hợp tác này hứa hẹn sẽ tạo ra một hệ sinh thái dữ liệu đáng tin cậy, nâng cao hiệu quả và chất lượng của việc đào tạo mô hình AI và AV trên quy mô toàn cầu. Khung xác thực của giao thức DIMO sẽ đảm bảo tính toàn vẹn của dữ liệu thu thập được, mở đường cho một tương lai phi tập trung trong công nghệ ô tô.
Digital Currency Group Ra Mắt Yuma để Đổi Mới Mạng AI Phi Tập Trung Bittensor cover
3 ngày trước
Digital Currency Group Ra Mắt Yuma để Đổi Mới Mạng AI Phi Tập Trung Bittensor
Digital Currency Group (DCG), dưới sự lãnh đạo của Barry Silbert, đã chính thức ra mắt Yuma, một công ty con mới nhằm thúc đẩy đổi mới trong mạng AI phi tập trung Bittensor. Sứ mệnh của Yuma là trang bị cho các startup và doanh nghiệp những nguồn lực cần thiết để phát triển, đào tạo và sử dụng trí tuệ nhân tạo trong một khuôn khổ phi tập trung. Trung tâm của hệ sinh thái Bittensor là token $TAO, khuyến khích sự tham gia bằng cách thưởng cho những người đóng góp về sức mạnh tính toán và chất lượng công việc của họ. Mô hình này không chỉ khuyến khích hiệu quả mà còn thúc đẩy sự hợp tác giữa các người dùng, biến nó thành một lựa chọn hấp dẫn so với các hệ thống AI tập trung truyền thống do các công ty công nghệ lớn chi phối. Yuma được thiết kế để hỗ trợ nhiều dự án AI có thể kiếm phần thưởng thông qua mạng Bittensor. Công ty cung cấp hai mô hình hợp tác khác nhau: một chương trình tăng tốc dành cho các startup và doanh nghiệp đã thành lập, và một vườn ươm subnet giúp tạo ra các dự án mới từ đầu. Thông qua chương trình vườn ươm subnet ban đầu, Yuma đã hình thành các quan hệ đối tác với một số công ty, bao gồm Sturdy, Masa, Score và Infinite Games. Ngoài ra, công ty đã hợp tác với Foundry để ra mắt subnet S&P 500 Oracle, thể hiện cam kết của mình trong việc xây dựng một hệ sinh thái vững mạnh xung quanh AI phi tập trung. Như đồng sáng lập Bittensor Jacob Steeves đã lưu ý, nền tảng này được tạo ra để cung cấp một lựa chọn cạnh tranh cho cách tiếp cận từ trên xuống truyền thống, hạn chế quyền truy cập vào các khả năng AI tiên tiến. Sự tham gia của DCG với Bittensor bắt đầu từ năm 2021, và nhánh quản lý tài sản của nó, Grayscale, đã giới thiệu một Quỹ Bittensor Trust và một quỹ AI phi tập trung, với Bittensor chiếm 21% trong số đó. Đầu tư chiến lược này nhấn mạnh tầm quan trọng ngày càng tăng của các mạng phi tập trung trong tương lai của trí tuệ nhân tạo và quyền sở hữu kỹ thuật số.
DCG Ra Mắt Yuma Để Tăng Tốc AI Phi Tập Trung Với Bittensor cover
3 ngày trước
DCG Ra Mắt Yuma Để Tăng Tốc AI Phi Tập Trung Với Bittensor
Barry Silbert, CEO của Tập đoàn Tiền tệ Kỹ thuật số (DCG), đã bày tỏ niềm tin rằng Bittensor có thể biến đổi như Bitcoin. Để hỗ trợ tầm nhìn này, DCG đã ra mắt một công ty mới mang tên Yuma, sẽ hoạt động như một bộ tăng tốc cho các startup quan tâm đến việc khám phá hệ sinh thái Bittensor. Bittensor tự nó là một mạng lưới phi tập trung khuyến khích việc đóng góp dữ liệu và sức mạnh tính toán cho các nhiệm vụ AI khác nhau, từ dịch văn bản đến dự đoán cấu trúc protein phức tạp. Silbert so sánh Bittensor với World Wide Web của AI, nhấn mạnh tiềm năng của nó trong việc dân chủ hóa công nghệ AI và giảm bớt sự thống trị của các tập đoàn công nghệ lớn. Yuma nhằm mục đích ươm tạo và xây dựng các doanh nghiệp sử dụng AI phi tập trung, với kế hoạch hỗ trợ các startup và doanh nghiệp trong việc ra mắt các subnet của riêng họ trong khuôn khổ Bittensor. Silbert sẽ đảm nhận vai trò CEO tại Yuma, công ty dự kiến sẽ bắt đầu với khoảng 25 nhân viên. Công ty hoạt động theo mô hình tương tự như Y Combinator, cung cấp tài nguyên và hỗ trợ cho cả quan hệ đối tác tăng tốc và ươm tạo. Hiện tại, Yuma có năm subnet hoạt động, với các dự án bổ sung đang trong quá trình phát triển, thể hiện một loạt các ứng dụng đa dạng bao gồm phát hiện bot, dự đoán chuỗi thời gian và nghiên cứu AI. Sự quan tâm đến AI phi tập trung không phải là một phát triển gần đây đối với DCG, vì họ đã thực hiện khoản đầu tư đầu tiên vào Bittensor vào năm 2021. Với việc bổ sung quỹ dành cho AI thông qua Grayscale, DCG đang định vị mình ở vị trí hàng đầu trong công nghệ mới nổi này. Tiền điện tử gốc của Bittensor, $TAO, đóng vai trò quan trọng trong việc khuyến khích những người lao động phi tập trung, cho dù họ là thợ mỏ cung cấp dịch vụ tính toán hay các xác thực viên đảm bảo các đóng góp chất lượng. Khi Yuma tiếp tục phát triển, nó nhằm mục đích thúc đẩy đổi mới và hợp tác trong hệ sinh thái Bittensor, mở đường cho một kỷ nguyên mới của các ứng dụng AI phi tập trung.