增強檢索增強生成中的上下文回憶

星期五, 十一月 22, 2024 12:00 凌晨
2,697

檢索增強生成(RAG)已成為將大型語言模型(LLMs)整合到專業商業應用中的關鍵方法,使專有數據能夠融入模型的回應中。儘管在概念驗證(POC)階段效果顯著,但開發人員在將RAG轉移到生產環境時,經常面臨顯著的準確性下降。這一問題在檢索階段尤為明顯,該階段的目標是準確獲取與給定查詢最相關的上下文,這一指標被稱為上下文回憶。本文深入探討了通過自定義和微調嵌入模型來增強上下文回憶的策略,最終改善RAG在現實應用中的表現。

RAG主要分為兩個步驟:檢索和生成。在檢索階段,模型將文本轉換為向量,索引、檢索並重新排序這些向量以識別最佳匹配。然而,這一階段的失敗可能導致錯過相關上下文,從而導致上下文回憶降低和生成輸出不準確。一個有效的解決方案是調整嵌入模型,該模型旨在理解文本數據之間的關係,以生成特定於所使用數據集的嵌入。這種微調使模型能夠為相似的句子生成相似的向量,增強其檢索與查詢高度相關的上下文的能力。

為了改善上下文回憶,準備一個量身定制的數據集至關重要,該數據集反映模型將遇到的查詢類型。這涉及從知識庫中提取多樣化的問題,對其進行改寫以增加變化,並根據相關性進行組織。此外,構建評估數據集有助於評估模型在現實環境中的表現。通過使用信息檢索評估器,開發人員可以測量像Recall@k和Precision@k這樣的指標來評估檢索的準確性。最終,微調嵌入模型可以顯著改善上下文回憶,確保RAG在生產環境中保持準確和可靠。

Related News

io.net 在市場挑戰中報告收入增長 cover
3 天前
io.net 在市場挑戰中報告收入增長
在最新的季度報告中,io.net 展示了顯著的收入增長,實現了驚人的 82.6% 增長,使其總收入達到 570 萬美元。考慮到加密貨幣市場的整體收縮,這一收入激增尤其引人注目,其 IO 代幣的市場市值暴跌 71.4% 至 1.08 億美元,代幣價格也下降了 74.9%。儘管面臨這些挑戰,io.net 成功地與多個專注於 AI 和計算的平台整合,包括與 Zerebro、KREA 和 Injective 的合作,旨在增強去中心化 GPU 計算能力,以應用於 AI 和 DeFi。 io.net 的基礎設施建立在去中心化的 GPU 和 CPU 網絡上,允許可擴展的計算資源訪問,特別是針對機器學習和 AI 應用。該平台支持多種機器學習框架,確保資源分配的靈活性和效率。然而,平均每日經過驗證的計算資源有所下降,經過驗證的 GPU 和 CPU 分別下降了 11.1% 和 4.5%。這一減少反映了持續的供應端挑戰和代幣激勵的減少,這影響了整個網絡的活動。 儘管表現指標參差不齊,io.net 仍保持穩定的發展步伐,與多個合作夥伴合作以擴展其生態系統。2025 年第一季度形成的合作夥伴關係,包括與 Alpha Network 和 Mira Network 的合作,突顯了 io.net 在增強去中心化 AI 基礎設施方面的承諾。隨著該項目不斷完善其經濟模型並擴展其網絡能力,即使在充滿挑戰的市場環境中,它仍然是去中心化計算資源不斷演變的關鍵參與者。
本·戈茨爾:開創去中心化人工智慧以創造更美好的未來 cover
3 天前
本·戈茨爾:開創去中心化人工智慧以創造更美好的未來
本·戈茨爾(Ben Goertzel),人工智慧的先驅,自30年前寫下第一行代碼以來,一直在倡導去中心化的人工智慧。當世界即將實現人工通用智慧(AGI)之際,戈茨爾強調去中心化的重要性,以確保這項強大的技術能造福人類,而不是服務於集中權力。在最近於多倫多舉行的共識會議上,他表達了樂觀的態度,認為AGI可能在未來一到三年內通過他的項目SingularityNET推出,該項目旨在創建一個全球人工智慧服務市場。該項目已取得顯著進展,包括與Mind Network和Filecoin Foundation的合作夥伴關係、對模組化超級計算機的5300萬美元投資,以及與Ocean Protocol和Fetch.ai的代幣合併。 戈茨爾對去中心化人工智慧的願景源於他早期對互聯網的經歷,他最初將其視為一個去中心化的平台。然而,他指出,像谷歌和臉書這樣的科技巨頭的崛起導致了更集中化的互聯網,這削弱了去中心化的基本原則。他主張,為了讓AGI成為一股積極的力量,它必須從一開始就建立在去中心化的架構上。這一理念在SingularityNET、Hyperon和即將推出的ASI Chain的設計中得到了體現,這些設計專為去中心化的人工智慧應用而量身定制。戈茨爾相信,後AGI時代的發展軌跡將根據去中心化生態系統在其發展中的角色而顯著不同。 除了在人工智慧領域的工作外,戈茨爾還有探索去中心化貨幣概念的歷史,追溯到90年代。儘管他和他的同事最初因擔心速度和成本而對去中心化交易的實用性持懷疑態度,但比特幣的出現驗證了他的一些早期想法。他幽默地反思那個時代錯失的機會,承認他們缺乏商業頭腦使他們無法想像去中心化貨幣的陰暗應用。如今,戈茨爾對去中心化人工智慧的承諾持續獲得關注,將他和他的倡議定位為不斷發展的科技和治理格局中的關鍵角色。
投資者在市場清算中關注 GRASS 和 PI 加密代幣 cover
7 天前
投資者在市場清算中關注 GRASS 和 PI 加密代幣
投資者目前專注於 GRASS 和 PI 加密代幣,因其獨特的價值主張而成為頭條新聞。Best Wallet 的持續預售也引起了關注,籌集了超過 1200 萬美元。在過去 24 小時內,像 Binance、Bybit 和 OKX 等永續加密交易所已經清算了超過 6.65 億美元的槓桿頭寸,影響了超過 153,000 名交易者。儘管這場動盪,許多交易者對 GRASS 和 PI 仍持樂觀態度,認為它們是 2025 年第二季度的潛在突破代幣。值得注意的是,自四月初以來,PI 加密代幣已上漲 80%,而 GRASS 自 2024 年十月末的歷史低點以來已上漲 140%。 GRASS 是一個建立在 Solana 上的去中心化二層平台,受到 Polychain Capital 和 Tribe Capital 等知名風險投資公司的支持。它允許用戶將閒置的互聯網帶寬貨幣化,這對於 AI 模型訓練至關重要。該平台在 2025 年第一季度便促成了驚人的 5700 萬 GB 公共網絡數據的抓取。參與者賺取 GRASS 積分,可以轉換為 GRASS 代幣,該平台的節點運營商數量顯著增加,顯示出日益增長的興趣和採用。分析師將 GRASS 排名為值得探索的頂級加密貨幣之一,突顯其在 AI 和去中心化實體基礎設施網絡(DePIN)領域的潛力。 另一方面,Pi Network 正在朝著去中心化邁進,最近已禁用其中央節點,從而賦權於其超過 6000 萬的用戶社區。儘管面臨對其合法性的懷疑,Pi Network 的主網於 2025 年 2 月啟動,自那以來 PI 加密代幣的價格波動顯著。隨著 GRASS 和 PI 的不斷發展,建議投資者在做出投資決策之前進行徹底的研究。此外,Best Wallet 的預售正在引發興奮,其功能和安全措施使其在加密錢包市場中成為強勁的競爭者。
Amp 和 Aethir 在加密市場降溫中閃耀 cover
11 天前
Amp 和 Aethir 在加密市場降溫中閃耀
在加密市場降溫的情況下,Amp (AMP) 和 Aethir (ATH) 脫穎而出,均錄得顯著的 16% 價值增長。Amp 目前的價值為 0.0051 美元,受到強勁的牛市動能支持,並由關鍵的指數移動平均線 (EMA) 和 MACD、RSI 等指標的有利交易信號所支撐,儘管有過度買入的警告。與此同時,專注於 AI 驅動的區塊鏈解決方案的 Aethir 已飆升至 0.052 美元,突破了重要的阻力位並保持牛市樂觀,儘管過度買入的 RSI 表示交易者應保持警惕。 加密市場的分歧顯而易見,Helium (HNT) 面臨下行壓力,交易價格為 4.00 美元,且在關鍵的 200 日 EMA 下掙扎。如果突破 3.83 美元的 100 日 EMA 支撐,則可能面臨進一步下跌的風險。Amp 和 Aethir 與 Helium 的對比軌跡突顯了數字資產市場持續的波動性和創新,促使交易者在雄心與風險管理策略之間取得平衡。 當交易者在這些動盪的水域中航行時,Amp 和 Aethir 的韌性強調了即使在市場停滯中也有增長的潛力。建議投資者密切關注關鍵技術指標,特別是 EMA 和 RSI 水平,以識別最佳進入點並有效管理風險。這些項目的持續發展反映了加密貨幣領域的動態特性,創新不斷推動著興趣和投資機會。
Solana的復甦與AI驅動項目Bittensor和Unilabs的崛起 cover
12 天前
Solana的復甦與AI驅動項目Bittensor和Unilabs的崛起
Solana (SOL) 已顯示出顯著的復甦,從今年的最低點反彈了90%,但仍然受限於$180的關鍵阻力位。分析師們持樂觀態度,認為Solana的價格可能即將出現重大突破,特別是隨著許多SOL的迷因幣最近大幅上漲。目前的市場情緒受到強勁基本面的支持,並呈上升趨勢,SOL在$170附近徘徊。若能果斷突破$180的阻力,可能為價格向$200及更高的潛在上漲鋪平道路,甚至可能達到約$250的水平。 在此期間,Bittensor (TAO) 已成為一個顯著的參與者,在其他加密貨幣(包括比特幣BTC)掙扎之際,保持穩定的表現。對Bittensor的興趣主要來自其對去中心化AI的創新方法,這在一些高調事件後獲得了關注,例如唐納德·特朗普出席加密貨幣和AI創新者的晚宴。Bittensor目前交易價格約為$457,顯示出其韌性,保持收益並反映出市場對將區塊鏈技術與AI整合的項目的信心日益增強。 同時,Unilabs (UNIL) 正在獲得動力,成為尋求從傳統的layer-1網絡(如Solana)多樣化的投資者的有吸引力的替代方案。Unilabs專注於將區塊鏈透明度與AI基礎設施相結合,正將自己定位為DeFi和AI領域的領導者。其創新的模型包括基於代幣的激勵系統,旨在吸引用戶和開發者。隨著Solana的增長停滯,Unilabs為交易者提供了一個獨特的機會,可能重新定義快速發展的加密市場中DeFi AI平台的標準。
Xangle 以企業驗證者身份加入 Theta 網絡,增強區塊鏈基礎設施 cover
17 天前
Xangle 以企業驗證者身份加入 Theta 網絡,增強區塊鏈基礎設施
在 9 日,區塊鏈基礎設施公司 Xangle 宣布以企業驗證者身份進入全球區塊鏈主網 Theta 網絡。Theta 網絡以提供針對人工智慧 (AI)、媒體、體育和娛樂等行業量身定制的去中心化雲基礎設施而聞名。它擁有一個強大的框架,全球超過 30,000 個分佈式邊緣節點支持,確保高效運行和治理。該網絡獲得了來自包括三星創新、索尼創新基金、貝塔斯曼數字媒體投資和創意藝術代理公司 (CAA) 等知名實體的戰略投資,全球巨頭如谷歌、三星和幣安也參與了企業驗證者。 作為對 Theta 生態系統的承諾的一部分,Xangle 將質押總共 200,000 個 Theta (THETA) 代幣,顯著增強作為驗證者節點的網絡安全性和治理。該公司旨在積極促進去中心化物理基礎設施網絡 (DePIN) 和 Theta 推廣的 AI 生態系統的擴展。Xangle 成立於 2018 年,已在韓國建立了作為領先的 web3 基礎設施服務提供商和研究平台的地位,提供社區中心、區塊鏈瀏覽器和全面的 web3 行業分析報告。它還曾擔任多個全球項目的驗證者,包括 Aptos、Babylon、0G 和 Initia。 Xangle 的聯合首席執行官 Lee Hyun-woo 表達了對此次合作的熱情,表示:「我們非常高興能夠通過與 Theta 的戰略合作夥伴關係,與谷歌、三星和 CAA 一起被列為企業驗證者。」他強調,質押在 Theta 的驗證者網絡與 Xangle 提升第 1 層區塊鏈的信任、去中心化和透明度的使命完全一致。Theta 網絡的聯合創始人兼首席執行官 Mitch Liu 也表達了相同的看法,強調 Xangle 在區塊鏈分析和生態系統發展方面的優勢,並期待在推廣 Theta (THETA) 和 Theta Fuel (TFUEL) 以及增強 Theta 區塊鏈的整體安全性和可擴展性方面取得顯著的協同效應。
註冊以獲取最新的DePIN新聞和更新