Cải thiện khả năng nhớ ngữ cảnh trong Tạo ra Tăng cường Tìm kiếm

thứ sáu, tháng 11 22, 2024 12:00 AM
2,697

Tạo ra tăng cường tìm kiếm (RAG) đã nổi lên như một phương pháp quan trọng để tích hợp các mô hình ngôn ngữ lớn (LLMs) vào các ứng dụng kinh doanh chuyên biệt, cho phép tích hợp dữ liệu độc quyền vào các phản hồi của mô hình. Mặc dù hiệu quả trong giai đoạn thử nghiệm (POC), các nhà phát triển thường gặp phải sự sụt giảm độ chính xác đáng kể khi chuyển RAG vào sản xuất. Vấn đề này đặc biệt rõ ràng trong giai đoạn tìm kiếm, nơi mục tiêu là lấy chính xác ngữ cảnh liên quan nhất cho một truy vấn nhất định, một chỉ số được gọi là khả năng nhớ ngữ cảnh. Bài viết này đi sâu vào các chiến lược để cải thiện khả năng nhớ ngữ cảnh bằng cách tùy chỉnh và tinh chỉnh các mô hình nhúng, cuối cùng cải thiện hiệu suất của RAG trong các ứng dụng thực tế.

RAG hoạt động trong hai bước chính: tìm kiếm và tạo ra. Trong giai đoạn tìm kiếm, mô hình chuyển đổi văn bản thành các vector, lập chỉ mục, truy xuất và xếp hạng lại các vector này để xác định các kết quả hàng đầu. Tuy nhiên, các thất bại trong giai đoạn này có thể dẫn đến việc bỏ lỡ các ngữ cảnh liên quan, dẫn đến khả năng nhớ ngữ cảnh thấp hơn và các đầu ra tạo ra ít chính xác hơn. Một giải pháp hiệu quả là điều chỉnh mô hình nhúng, được thiết kế để hiểu mối quan hệ giữa dữ liệu văn bản, để tạo ra các nhúng cụ thể cho tập dữ liệu đang được sử dụng. Việc tinh chỉnh này cho phép mô hình tạo ra các vector tương tự cho các câu tương tự, nâng cao khả năng truy xuất ngữ cảnh rất liên quan đến truy vấn.

Để cải thiện khả năng nhớ ngữ cảnh, điều cần thiết là chuẩn bị một tập dữ liệu tùy chỉnh phản ánh các loại truy vấn mà mô hình sẽ gặp phải. Điều này bao gồm việc trích xuất một loạt các câu hỏi đa dạng từ cơ sở tri thức, diễn đạt lại chúng để tạo sự biến đổi, và tổ chức chúng theo mức độ liên quan. Ngoài ra, việc xây dựng một tập dữ liệu đánh giá giúp đánh giá hiệu suất của mô hình trong một môi trường thực tế. Bằng cách sử dụng một Đánh giá viên Tìm kiếm Thông tin, các nhà phát triển có thể đo lường các chỉ số như Recall@k và Precision@k để đánh giá độ chính xác của việc truy xuất. Cuối cùng, việc tinh chỉnh mô hình nhúng có thể dẫn đến những cải thiện đáng kể trong khả năng nhớ ngữ cảnh, đảm bảo rằng RAG vẫn chính xác và đáng tin cậy trong các môi trường sản xuất.

Related News

io.net Báo cáo Tăng trưởng Doanh thu Giữa Những Thách thức Thị trường cover
3 ngày trước
io.net Báo cáo Tăng trưởng Doanh thu Giữa Những Thách thức Thị trường
Trong báo cáo quý mới nhất, io.net đã thể hiện sự tăng trưởng đáng kể về doanh thu, đạt mức tăng ấn tượng 82,6%, đưa tổng doanh thu lên 5,7 triệu USD. Sự bùng nổ doanh thu này đặc biệt đáng chú ý khi thị trường tiền điện tử đang suy giảm, với vốn hóa thị trường của token IO giảm 71,4% xuống còn 108 triệu USD, cùng với mức giảm 74,9% trong giá token. Mặc dù gặp phải những thách thức này, io.net đã thành công trong việc tích hợp với nhiều nền tảng tập trung vào AI và tính toán, bao gồm các đối tác như Zerebro, KREA và Injective, nhằm nâng cao khả năng tính toán GPU phi tập trung cho các ứng dụng trong AI và DeFi. Hạ tầng của io.net, được xây dựng trên một mạng lưới phi tập trung của các GPU và CPU, cho phép truy cập tài nguyên tính toán có thể mở rộng, đặc biệt cho các ứng dụng học máy và AI. Nền tảng này hỗ trợ một loạt các khung học máy, đảm bảo tính linh hoạt và hiệu quả trong việc phân bổ tài nguyên. Tuy nhiên, tài nguyên tính toán được xác minh trung bình hàng ngày đã giảm, với các GPU và CPU được xác minh giảm lần lượt 11,1% và 4,5%. Sự giảm sút này phản ánh những thách thức liên quan đến nguồn cung và sự giảm bớt trong các ưu đãi token, điều này đã ảnh hưởng đến hoạt động tổng thể trong mạng lưới. Mặc dù các chỉ số hiệu suất có sự pha trộn, io.net vẫn duy trì tốc độ phát triển ổn định, với nhiều hợp tác nhằm mở rộng hệ sinh thái của mình. Các quan hệ đối tác được hình thành trong Q1 2025, bao gồm cả với Alpha Network và Mira Network, nhấn mạnh cam kết của io.net trong việc nâng cao hạ tầng AI phi tập trung. Khi dự án tiếp tục hoàn thiện các mô hình kinh tế và mở rộng khả năng mạng lưới của mình, nó vẫn là một nhân tố quan trọng trong bối cảnh đang phát triển của các tài nguyên tính toán phi tập trung, ngay cả trong một môi trường thị trường đầy thách thức.
Ben Goertzel: Tiên phong AI phi tập trung cho một tương lai tốt đẹp hơn cover
3 ngày trước
Ben Goertzel: Tiên phong AI phi tập trung cho một tương lai tốt đẹp hơn
Ben Goertzel, một người tiên phong trong trí tuệ nhân tạo, đã ủng hộ AI phi tập trung kể từ khi ông viết dòng mã đầu tiên cách đây 30 năm. Khi thế giới đứng trước bờ vực đạt được Trí tuệ Nhân tạo Tổng quát (AGI), Goertzel nhấn mạnh tầm quan trọng của việc phi tập trung để đảm bảo rằng công nghệ mạnh mẽ này mang lại lợi ích cho nhân loại thay vì phục vụ cho các quyền lực tập trung. Tại hội nghị Consensus gần đây ở Toronto, ông bày tỏ sự lạc quan rằng AGI có thể được ra mắt trong vòng một đến ba năm tới thông qua dự án của ông, SingularityNET, nhằm tạo ra một thị trường toàn cầu cho các dịch vụ AI. Dự án đã đạt được nhiều tiến bộ đáng kể, bao gồm các quan hệ đối tác với Mind Network và Filecoin Foundation, một khoản đầu tư 53 triệu đô la vào một siêu máy tính mô-đun, và một sự hợp nhất token với Ocean Protocol và Fetch.ai. Tầm nhìn của Goertzel về AI phi tập trung được bắt nguồn từ những trải nghiệm sớm của ông với internet, mà ông ban đầu coi là một nền tảng phi tập trung. Tuy nhiên, ông lưu ý rằng sự trỗi dậy của các ông lớn công nghệ như Google và Facebook đã dẫn đến một internet tập trung hơn, điều này làm suy yếu các nguyên tắc cơ bản của sự phi tập trung. Ông lập luận rằng để AGI trở thành một lực lượng tích cực, nó phải được xây dựng trên kiến trúc phi tập trung ngay từ đầu. Triết lý này được phản ánh trong thiết kế của SingularityNET, Hyperon, và ASI Chain sắp tới, được điều chỉnh cho các ứng dụng AI phi tập trung. Goertzel tin rằng quỹ đạo của kỷ nguyên hậu AGI sẽ khác biệt đáng kể dựa trên vai trò của các hệ sinh thái phi tập trung trong sự phát triển của nó. Ngoài công việc của mình trong lĩnh vực AI, Goertzel có một lịch sử khám phá các khái niệm tiền tệ phi tập trung từ những năm 90. Mặc dù ông và các đồng nghiệp ban đầu đã bác bỏ tính thực tiễn của các giao dịch phi tập trung do lo ngại về tốc độ và chi phí, sự xuất hiện của Bitcoin đã xác thực một số ý tưởng ban đầu của ông. Ông hài hước phản ánh về những cơ hội đã bỏ lỡ của thời kỳ đó, thừa nhận rằng sự thiếu khéo léo trong kinh doanh đã ngăn cản họ tưởng tượng ra những ứng dụng tối tăm hơn của tiền tệ phi tập trung. Ngày nay, cam kết của Goertzel đối với AI phi tập trung tiếp tục thu hút sự chú ý, định vị ông và các sáng kiến của ông như những người chơi chính trong bối cảnh công nghệ và quản trị đang phát triển.
Nhà đầu tư chú ý đến GRASS và PI Crypto Tokens giữa lúc thị trường thanh lý cover
7 ngày trước
Nhà đầu tư chú ý đến GRASS và PI Crypto Tokens giữa lúc thị trường thanh lý
Nhà đầu tư hiện đang tập trung vào các token crypto GRASS và PI, đang thu hút sự chú ý nhờ vào những giá trị độc đáo của chúng. Đợt presale của Best Wallet cũng đã thu hút sự chú ý, huy động được hơn 12 triệu đô la. Trong 24 giờ qua, các sàn giao dịch crypto vĩnh viễn như Binance, Bybit và OKX đã thanh lý hơn 665 triệu đô la trong các vị thế đòn bẩy, ảnh hưởng đến hơn 153.000 trader. Mặc dù có sự hỗn loạn này, nhiều trader vẫn lạc quan về GRASS và PI, xem chúng như những token tiềm năng cho quý 2 năm 2025. Đáng chú ý, PI crypto đã tăng 80% kể từ đầu tháng 4, trong khi GRASS đã tăng 140% kể từ mức thấp nhất mọi thời đại vào cuối tháng 10 năm 2024. GRASS là một nền tảng layer-2 phi tập trung được xây dựng trên Solana, được hỗ trợ bởi các nhà đầu tư mạo hiểm nổi tiếng như Polychain Capital và Tribe Capital. Nó cho phép người dùng kiếm tiền từ băng thông internet nhàn rỗi, điều này rất quan trọng cho việc đào tạo mô hình AI. Nền tảng này đã tạo điều kiện cho việc thu thập một lượng dữ liệu web công cộng ấn tượng lên tới 57 triệu GB chỉ trong quý 1 năm 2025. Người tham gia kiếm được điểm GRASS, có thể chuyển đổi thành token GRASS, và nền tảng này đã chứng kiến sự gia tăng đáng kể trong số lượng người vận hành node, cho thấy sự quan tâm và chấp nhận ngày càng tăng. Các nhà phân tích đang xếp hạng GRASS là một trong những cryptocurrency hàng đầu để khám phá, nhấn mạnh tiềm năng của nó trong các lĩnh vực AI và mạng lưới cơ sở hạ tầng vật lý phi tập trung (DePIN). Mặt khác, Pi Network đang tiến bộ hướng tới sự phi tập trung, gần đây đã vô hiệu hóa node trung tâm của nó, do đó trao quyền cho cộng đồng hơn 60 triệu người dùng. Mặc dù phải đối mặt với sự hoài nghi về tính hợp pháp của nó, mainnet của Pi Network đã được ra mắt vào tháng 2 năm 2025, và giá của PI crypto đã dao động đáng kể kể từ đó. Khi cả GRASS và PI tiếp tục phát triển, các nhà đầu tư được khuyên nên tiến hành nghiên cứu kỹ lưỡng trước khi đưa ra quyết định đầu tư. Hơn nữa, đợt presale của Best Wallet đang tạo ra sự phấn khích, với các tính năng và biện pháp bảo mật của nó định vị nó như một đối thủ mạnh trong không gian ví crypto.
Amp và Aethir Tỏa Sáng Giữa Thị Trường Crypto Hạ Nhiệt cover
11 ngày trước
Amp và Aethir Tỏa Sáng Giữa Thị Trường Crypto Hạ Nhiệt
Trong một thị trường crypto hạ nhiệt, Amp (AMP) và Aethir (ATH) đã nổi bật như những người biểu diễn xuất sắc, mỗi đồng đều ghi nhận mức tăng giá đáng kể 16%. Amp hiện có giá trị 0,0051 USD, được hỗ trợ bởi động lực tăng giá mạnh mẽ từ các Đường Trung Bình Động (EMA) quan trọng và các tín hiệu giao dịch thuận lợi từ các chỉ báo như MACD và RSI, mặc dù có cảnh báo về tình trạng mua quá mức. Trong khi đó, Aethir, tập trung vào các giải pháp blockchain dựa trên AI, đã tăng vọt lên 0,052 USD, vượt qua các mức kháng cự quan trọng và duy trì sự lạc quan tăng giá, mặc dù RSI quá mua cho thấy các nhà giao dịch nên giữ cảnh giác. Sự phân hóa trong thị trường crypto là rõ ràng khi Helium (HNT) đối mặt với áp lực giảm, giao dịch ở mức 4,00 USD và gặp khó khăn dưới mức EMA 200 ngày quan trọng. Tình hình này đặt ra rủi ro cho những suy giảm hơn nữa nếu nó phá vỡ mức hỗ trợ EMA 100 ngày ở mức 3,83 USD. Các quỹ đạo trái ngược của Amp và Aethir so với Helium làm nổi bật sự biến động và đổi mới liên tục trong thị trường tài sản kỹ thuật số, thúc giục các nhà giao dịch cân bằng giữa tham vọng và các chiến lược quản lý rủi ro. Khi các nhà giao dịch điều hướng qua những dòng nước đầy sóng gió này, sự kiên cường của Amp và Aethir nhấn mạnh tiềm năng tăng trưởng ngay cả trong bối cảnh thị trường trì trệ. Các nhà đầu tư được khuyến khích theo dõi chặt chẽ các chỉ báo kỹ thuật quan trọng, đặc biệt là các mức EMA và RSI, để xác định các điểm vào tối ưu và quản lý rủi ro một cách hiệu quả. Những phát triển đang diễn ra trong các dự án này phản ánh tính chất năng động của cảnh quan tiền điện tử, nơi đổi mới tiếp tục thúc đẩy sự quan tâm và cơ hội đầu tư.
Sự phục hồi của Solana và sự trỗi dậy của các dự án AI-Driven Bittensor và Unilabs cover
12 ngày trước
Sự phục hồi của Solana và sự trỗi dậy của các dự án AI-Driven Bittensor và Unilabs
Solana (SOL) đã cho thấy sự phục hồi đáng kể, tăng trở lại 90% từ mức thấp nhất trong năm nay, tuy nhiên vẫn bị giới hạn dưới mức kháng cự quan trọng là $180. Các nhà phân tích lạc quan, cho rằng giá Solana có thể sắp có một sự bứt phá đáng kể, đặc biệt khi nhiều đồng meme coin SOL gần đây đã tăng mạnh. Tâm lý thị trường hiện tại được thúc đẩy bởi các yếu tố cơ bản mạnh mẽ và xu hướng đi lên, với SOL dao động quanh mức $170. Một động thái quyết định vượt qua mức kháng cự $180 có thể mở đường cho một sự tăng trưởng tiềm năng lên tới $200 và hơn thế nữa, có thể đạt đến các mức khoảng $250. Giữa lúc này, Bittensor (TAO) đã nổi lên như một nhân tố đáng chú ý, duy trì hiệu suất ổn định trong khi các loại tiền điện tử khác, bao gồm Bitcoin (BTC), gặp khó khăn. Sự quan tâm đến Bittensor chủ yếu được thúc đẩy bởi cách tiếp cận đổi mới của nó đối với AI phi tập trung, đã thu hút sự chú ý sau các sự kiện nổi bật, chẳng hạn như sự tham dự của Donald Trump tại một bữa tối dành cho các nhà đổi mới trong lĩnh vực crypto và AI. Hiện đang giao dịch quanh mức $457, Bittensor đã thể hiện sự kiên cường, giữ vững lợi nhuận và phản ánh sự tự tin ngày càng tăng của thị trường vào các dự án kết hợp công nghệ blockchain với AI. Trong khi đó, Unilabs (UNIL) đang gia tăng động lực như một lựa chọn hấp dẫn cho các nhà đầu tư muốn đa dạng hóa khỏi các mạng lưới layer-1 truyền thống như Solana. Với trọng tâm là kết hợp tính minh bạch của blockchain với cơ sở hạ tầng AI, Unilabs đang định vị mình như một nhà lãnh đạo trong không gian DeFi và AI. Mô hình đổi mới của nó, bao gồm một hệ thống khuyến khích dựa trên token, nhằm thu hút cả người dùng và nhà phát triển. Khi sự tăng trưởng của Solana chững lại, Unilabs mang đến một cơ hội độc đáo cho các nhà giao dịch, có khả năng định nghĩa lại các tiêu chuẩn cho các nền tảng DeFi AI trong một bối cảnh crypto đang phát triển nhanh chóng.
Xangle Tham Gia Mạng Lưới Theta Như Một Người Xác Thực Doanh Nghiệp, Tăng Cường Hạ Tầng Blockchain cover
17 ngày trước
Xangle Tham Gia Mạng Lưới Theta Như Một Người Xác Thực Doanh Nghiệp, Tăng Cường Hạ Tầng Blockchain
Vào ngày 9, công ty hạ tầng blockchain Xangle đã công bố việc gia nhập mạng lưới blockchain toàn cầu Theta Network với tư cách là một người xác thực doanh nghiệp. Theta Network nổi tiếng với việc cung cấp hạ tầng đám mây phi tập trung được thiết kế cho các lĩnh vực như trí tuệ nhân tạo (AI), truyền thông, thể thao và giải trí. Nó có một khung mạnh mẽ được hỗ trợ bởi hơn 30.000 nút biên phân tán trên toàn cầu, đảm bảo hoạt động và quản trị hiệu quả. Mạng lưới đã thu hút các khoản đầu tư chiến lược từ những thực thể nổi bật như Samsung Next, Quỹ Đổi mới Sony, Bertelsmann Digital Media Investments và Creative Artists Agency (CAA), với các ông lớn toàn cầu như Google, Samsung và Binance cũng tham gia với tư cách là những người xác thực doanh nghiệp. Như một phần trong cam kết của mình đối với hệ sinh thái Theta, Xangle sẽ đặt cược tổng cộng 200.000 mã thông báo Theta (THETA), tăng cường đáng kể bảo mật và quản trị mạng lưới với tư cách là một nút xác thực. Công ty nhằm mục đích đóng góp tích cực vào sự mở rộng của mạng lưới hạ tầng vật lý phi tập trung (DePIN) và hệ sinh thái AI mà Theta thúc đẩy. Được thành lập vào năm 2018, Xangle đã khẳng định mình là một nhà cung cấp dịch vụ hạ tầng web3 hàng đầu và nền tảng nghiên cứu tại Hàn Quốc, cung cấp các trung tâm cộng đồng, trình khám phá blockchain và các báo cáo phân tích toàn diện về ngành công nghiệp web3. Nó cũng đã phục vụ như một người xác thực cho nhiều dự án toàn cầu khác nhau, bao gồm Aptos, Babylon, 0G và Initia. Lee Hyun-woo, đồng Giám đốc điều hành của Xangle, bày tỏ sự phấn khởi về sự hợp tác, cho biết: "Chúng tôi rất vui mừng khi được liệt kê là một người xác thực doanh nghiệp cùng với Google, Samsung và CAA thông qua sự hợp tác chiến lược của chúng tôi với Theta." Ông nhấn mạnh rằng việc đặt cược trong mạng lưới xác thực của Theta hoàn toàn phù hợp với sứ mệnh của Xangle trong việc nâng cao niềm tin, sự phi tập trung và tính minh bạch trong các blockchain lớp 1. Mitch Liu, đồng sáng lập và Giám đốc điều hành của Theta Network, đã đồng tình với cảm xúc này, nhấn mạnh sức mạnh của Xangle trong phân tích blockchain và phát triển hệ sinh thái, và mong đợi những sự cộng hưởng đáng kể trong việc thúc đẩy Theta (THETA) và Theta Fuel (TFUEL), cùng với việc nâng cao bảo mật và khả năng mở rộng tổng thể của blockchain Theta.
Đăng ký để nhận tin tức và cập nhật mới nhất từ DePIN