Verbesserung des Kontextabrufs in der retrieval-unterstützten Generierung

Freitag, November 22, 2024 12:00 AM
2,666

Die retrieval-unterstützte Generierung (RAG) hat sich als eine entscheidende Methode zur Integration großer Sprachmodelle (LLMs) in spezialisierte Geschäftsanwendungen etabliert, die es ermöglicht, proprietäre Daten in die Modellantworten einzufügen. Trotz ihrer Effektivität in der Konzeptnachweisphase (POC) sehen sich Entwickler oft erheblichen Genauigkeitsverlusten gegenüber, wenn sie RAG in die Produktion überführen. Dieses Problem ist insbesondere in der Abrufphase ausgeprägt, in der es darum geht, den relevantesten Kontext für eine gegebene Anfrage genau abzurufen, ein Maß, das als Kontextabruf bekannt ist. Dieser Artikel befasst sich mit Strategien zur Verbesserung des Kontextabrufs durch Anpassung und Feinabstimmung von Einbettungsmodellen, um letztendlich die Leistung von RAG in realen Anwendungen zu verbessern.

RAG funktioniert in zwei Hauptschritten: Abruf und Generierung. In der Abrufphase wandelt das Modell Text in Vektoren um, indiziert, ruft diese Vektoren ab und sortiert sie neu, um die besten Übereinstimmungen zu identifizieren. Misserfolge in dieser Phase können jedoch zu verpassten relevanten Kontexten führen, was zu einem niedrigeren Kontextabruf und weniger genauen Generierungsergebnissen führt. Eine effektive Lösung besteht darin, das Einbettungsmodell anzupassen, das darauf ausgelegt ist, Beziehungen zwischen Textdaten zu verstehen, um Einbettungen zu erzeugen, die spezifisch für den verwendeten Datensatz sind. Diese Feinabstimmung ermöglicht es dem Modell, ähnliche Vektoren für ähnliche Sätze zu generieren, wodurch seine Fähigkeit verbessert wird, Kontexte abzurufen, die für die Anfrage hochrelevant sind.

Um den Kontextabruf zu verbessern, ist es wichtig, einen maßgeschneiderten Datensatz vorzubereiten, der die Arten von Anfragen widerspiegelt, mit denen das Modell konfrontiert wird. Dies umfasst das Extrahieren einer Vielzahl von Fragen aus der Wissensdatenbank, deren Paraphrasierung zur Variabilität und die Organisation nach Relevanz. Darüber hinaus hilft der Aufbau eines Evaluierungsdatensatzes, die Leistung des Modells in einer realistischen Umgebung zu bewerten. Durch den Einsatz eines Informationsabrufevaluators können Entwickler Metriken wie Recall@k und Precision@k messen, um die Abrufgenauigkeit zu beurteilen. Letztendlich kann die Feinabstimmung des Einbettungsmodells zu erheblichen Verbesserungen des Kontextabrufs führen und sicherstellen, dass RAG in Produktionsumgebungen genau und zuverlässig bleibt.

Related News

Theta Labs kooperiert mit der Kangwon National University zur Verbesserung der KI-Forschung cover
vor 2 Tagen
Theta Labs kooperiert mit der Kangwon National University zur Verbesserung der KI-Forschung
Theta Labs hat kürzlich seine Partnerschaften im Bereich der KI-Forschung erweitert, indem es die Kangwon National University in sein dezentrales GPU-Netzwerk Theta EdgeCloud aufgenommen hat. Diese Zusammenarbeit stellt einen bedeutenden Meilenstein dar, da die Kangwon National University der 23. akademische Kunde von Theta EdgeCloud wird. Ziel der Partnerschaft ist es, die KI-Forschungskapazitäten zu verbessern, wobei eine beeindruckende GPU-Auslastungsrate von über 85 % im globalen Netzwerk von Theta erreicht wird, zusätzlich zu mehr als 230 Millionen TFUEL, die von Elite Booster-Knotenbetreibern gesperrt sind. Die EdgeCloud-Plattform unterstützt bereits verschiedene Unternehmen und akademische Institutionen, darunter NHL-Teams und renommierte Universitäten, und festigt damit ihre Rolle bei der Förderung der KI-Forschung und der praktischen Anwendungen. Professor Kyeongpil Kang, der das Data Analytics & Machine Intelligence (DAMI) Lab an der Kangwon National University leitet, ist auf natürliche Sprachverarbeitung, maschinelles Lernen und Datenanalyse spezialisiert. Das DAMI Lab konzentriert sich auf großangelegte KI-Forschung und untersucht Bereiche wie das Feintuning großer Sprachmodelle (LLMs), maschinelles Lernen für spezifische Bereiche und KI-gestützte Erkenntnisse in Bereichen wie Sozialwissenschaften und medizinische KI. Die Zusammenarbeit mit Theta EdgeCloud wird dem Labor Zugang zu einer hybriden Cloud-Edge-GPU-Computing-Plattform bieten, die es den Forschern ermöglicht, innovative Experimente durchzuführen und fortschrittliche KI-Anwendungen zu entwickeln. Während die Partnerschaft voranschreitet, äußern sowohl Professor Kang als auch Mitch Liu, Mitbegründer und CEO von Theta Labs, ihre Begeisterung über das Potenzial dieser Zusammenarbeit. Liu betont die Bedeutung der Erweiterung der GPU-Infrastruktur, um der wachsenden Nachfrage gerecht zu werden und gleichzeitig kosteneffektiv zu bleiben. Das Ziel für 2025 umfasst eine Verzehnfachung der Kundenbasis, eine GPU-Auslastung von über 95 % und das Sperren von mehr als 2 Milliarden TFUEL durch Elite-Edge-Knotenbetreiber. Diese Partnerschaft verbessert nicht nur die Fähigkeiten des DAMI Labs, sondern stärkt auch die Position von Theta Labs im Bereich der dezentralen Cloud-Infrastruktur für KI und maschinelles Lernen.
CUDIS startet die Funktion des Energiejournals zur Verbesserung der Wellness-Überwachung cover
vor 3 Tagen
CUDIS startet die Funktion des Energiejournals zur Verbesserung der Wellness-Überwachung
CUDIS hat kürzlich Version 1.3.10 seiner App veröffentlicht und eine innovative Funktion namens Energiejournal eingeführt. Diese neue Funktion ermöglicht es den Nutzern, ihre täglichen Energie- und Stimmungsebenen auf der Blockchain zu protokollieren, wodurch ein permanenter Datensatz erstellt wird, der sentimentale Studien und persönliche Wellness-Algorithmen erheblich verbessern kann. Durch das Verfolgen der Energielevels können die Nutzer Einblicke in ihr geistiges und körperliches Wohlbefinden gewinnen, was zu positiven Veränderungen in ihrem Leben führen kann. Die Daten werden sicher on-chain gespeichert, was ihre Unveränderlichkeit gewährleistet und zum wachsenden CUDIS-Ökosystem beiträgt. Das Verfolgen der Energielevels ist entscheidend für das Verständnis der eigenen psychischen Gesundheit, ähnlich wie die Überwachung der Schlafqualität und des Stressniveaus. Der CUDIS AI-Agent analysiert die selbstberichteten Daten zusammen mit anderen Gesundheitsmetriken und bietet personalisierte Einblicke und umsetzbare Ratschläge. Die Nutzer werden ermutigt, ihre Energielevels konsequent und ehrlich zu protokollieren und sowohl positive als auch negative Auslöser zu erkennen. Diese Praxis fördert nicht nur das Selbstbewusstsein, sondern ermöglicht es den Nutzern auch, In-App-Belohnungen wie Verlosungseinträge und SALUS-Punkte zu verdienen, was sie dazu anregt, ihre Protokollierungsroutine aufrechtzuerhalten. CUDIS belohnt die Nutzer für ihr Engagement beim Protokollieren der Energielevels und bietet verschiedene Anreize basierend auf Serien von konsequentem Tracking. Zum Beispiel erhält man für eine 7-tägige Serie 2 Verlosungseinträge und 100 SALUS-Punkte, während eine 60-tägige Serie 7 Verlosungseinträge und 1.000 SALUS-Punkte einbringen kann. Die Verlosungen bieten eine garantierte Chance, aufregende Belohnungen zu gewinnen, darunter Edamame-NFTs und USDC-Preise. Darüber hinaus können SALUS-Punkte im CUDIS-Marktplatz eingelöst werden und sind mit Airdrops für frühe Nutzer während des bevorstehenden CUDIS Token Generation Events (TGE) verbunden. Dieser einzigartige Ansatz verbessert nicht nur das Nutzerengagement, sondern fördert auch einen gesünderen Lebensstil durch die Kraft der Blockchain-Technologie.
Das Daten-Gesetz: Ein Katalysator für eine neue Datenwirtschaft cover
vor 4 Tagen
Das Daten-Gesetz: Ein Katalysator für eine neue Datenwirtschaft
Das bevorstehende Daten-Gesetz, das am 12. September 2025 in Kraft treten soll, stellt einen bedeutenden Wandel in der Art und Weise dar, wie Daten in der EU zugegriffen, genutzt und geteilt werden. Diese Gesetzgebung zielt darauf ab, bestehende Datensilos abzubauen und sowohl Verbrauchern als auch Unternehmen Eigentum und Kontrolle über ihre Daten zu gewähren. Die Europäische Kommission erwartet, dass das Daten-Gesetz eine neue Datenwirtschaft fördern wird, die bis 2028 voraussichtlich 270 Milliarden Euro wert sein wird. Für Verbraucher bedeutet dies, dass sie endlich Zugang zu den Daten haben werden, die von ihren Geräten generiert werden, während IoT-Hersteller neue Verantwortung tragen werden, die Nutzer über die Datengenerierung und Zugriffsrechte beim Verkauf zu informieren. Die Durchsetzung des Daten-Gesetzes ist ein entscheidender Aspekt, der Fragen bei Verbrauchern und Entwicklern aufgeworfen hat. Jedes EU-Mitgliedsland ist verpflichtet, das Daten-Gesetz bis zur Frist in ihre nationale Gesetzgebung zu integrieren, einschließlich der Festlegung von Strafen für die Nichteinhaltung. Beispielsweise schlägt der Entwurf Finnlands Strafen vor, die an die DSGVO angelehnt sind, mit Bußgeldern von bis zu 100.000 Euro und bis zu 4 % des weltweiten Umsatzes eines Unternehmens. Auch andere Länder, wie die Niederlande, ziehen erhebliche Geldstrafen für Verstöße in Betracht, um sicherzustellen, dass das Daten-Gesetz nicht nur ein theoretischer Rahmen, sondern eine praktische Regelung mit realen Konsequenzen für die Nichteinhaltung ist. Das Daten-Gesetz zielt auch darauf ab, ein faires Spielfeld zu schaffen, indem große Technologieunternehmen als 'Gatekeeper' bezeichnet werden, die gemäß dem Gesetz vom Zugriff auf Daten Dritter ausgeschlossen sind. Diese Regelung soll verhindern, dass diese dominierenden Akteure die neue Datenlandschaft monopolisiert, wodurch kleineren Unternehmen und Web3-Projekten eine effektive Konkurrenz ermöglicht wird. Aufstrebende Technologien, insbesondere KI und KI-Agenten, werden enorm vom Daten-Gesetz profitieren, da es den Zugang zu maschinenlesbaren Daten von vernetzten Geräten eröffnet. Streamr, mit seiner Technologie, die Echtzeit-Datenanbieter und Abonnenten verbindet, ist in der Lage, diese neue Datenwirtschaft zu fördern, die Kluft zwischen KI-Systemen und Echtzeit-Datenquellen zu überbrücken und den Weg für innovative Anwendungen in verschiedenen Branchen zu ebnen.
PowerPod revolutioniert das Laden von Elektrofahrzeugen mit KI-Technologie cover
vor 9 Tagen
PowerPod revolutioniert das Laden von Elektrofahrzeugen mit KI-Technologie
Da der Markt für Elektrofahrzeuge (EV) weiterhin wächst, wird die Optimierung der Ladeinfrastruktur entscheidend, um den Anforderungen der Nutzer gerecht zu werden und gleichzeitig Kosten und Netzbelastungen zu minimieren. Traditionelle Lademethoden führen oft zu Spitzenlastproblemen und Preisschwankungen, was die Implementierung innovativer Lösungen erforderlich macht. PowerPod zielt darauf ab, diese Herausforderungen mit KI-gesteuerten Ladestationen anzugehen, die sich intelligent basierend auf Echtzeitdaten anpassen, einschließlich der Bedingungen des Stromnetzes, der Strompreise und der Nutzerpräferenzen. Dieser Ansatz verbessert nicht nur die Effizienz, sondern bietet auch eine kostengünstige Lösung für sowohl Nutzer als auch Energieanbieter. Das von PowerPod entwickelte KI-Modell integriert verschiedene Datenquellen zur Optimierung der Lade-Strategien. Es analysiert Daten von Ladestationen, Netzlastniveaus, Nutzerverhalten und Umweltfaktoren wie Wetterbedingungen. Durch die Nutzung von Long Short-Term Memory (LSTM) neuronalen Netzwerken prognostiziert das Modell die zukünftige Energienachfrage, sodass Ladestationen das Laden von Elektrofahrzeugen zu den kostengünstigsten und netzfreundlichsten Zeiten planen können. Darüber hinaus wird Deep Reinforcement Learning (DQN) eingesetzt, um die Ladepreise dynamisch basierend auf Echtzeitbedingungen anzupassen, sodass die Nutzer die effizienteste Ladeerfahrung erhalten und gleichzeitig die Kosten minimiert werden. Die KI-gesteuerte intelligente Ladesystemarchitektur von PowerPod besteht aus Datensammlung, KI-Verarbeitung, Ausführung und kontinuierlichem Lernen. Dieser innovative Ansatz wurde in einem stadtweiten EV-Netz getestet und hat vielversprechende Ergebnisse geliefert. In Zukunft plant PowerPod, Blockchain-Technologie für sichere Abrechnungen zu integrieren, personalisierte Lademodi anzubieten und mit Technologien für autonomes Fahren zusammenzuarbeiten, um selbstbetriebsfähige Ladestationen zu schaffen. Diese Fortschritte bedeuten einen transformativen Wandel in der Landschaft des EV-Ladens und ebnen den Weg für eine nachhaltigere Zukunft im dezentralen Web3-Ökosystem.
Zuvu AI und Vana Partnerschaft zur Verbesserung der dezentralen KI in Bittensor cover
vor 9 Tagen
Zuvu AI und Vana Partnerschaft zur Verbesserung der dezentralen KI in Bittensor
Am 26. Februar gaben Zuvu AI und Vana eine strategische Partnerschaft bekannt, die darauf abzielt, die dezentrale künstliche Intelligenz im Bittensor-Ökosystem zu verbessern. Diese Zusammenarbeit zielt darauf ab, ein offeneres und finanziell nachhaltigeres KI-Umfeld zu schaffen, indem verschiedene Schichten des dezentralen KI-Stacks integriert werden. Zuvu AI, früher bekannt als SocialTensor, bringt wertvolle Erfahrungen aus der Skalierung von vier Bittensor (TAO) Subnetzen mit, während Vana sein innovatives, benutzereigenes Datennetzwerk beiträgt, das kürzlich von Binance-Gründer Changpeng Zhao beraten wurde. Gemeinsam wollen sie ein neues Modell der KI-Entwicklung testen, das Zusammenarbeit und Nachhaltigkeit betont. Art Abal, Geschäftsführer der Vana Foundation, hob hervor, dass die Partnerschaft Vana’s Datenschicht, Bittensor’s Subnetzwerk und Zuvu’s wirtschaftliche Schicht effektiv integriert, um Vana’s DataDAO-Ökosystem zu verbessern. Diese Integration adressiert bedeutende Herausforderungen in der KI-Entwicklung, indem sie es ermöglicht, Modelle, Agenten und Daten zu investieren, zu staken, zu handeln und zu monetarisieren. Da der KI-Markt bis 2032 voraussichtlich Billionen erreichen wird, positioniert sich diese Zusammenarbeit, um neue Möglichkeiten in einem schnell wachsenden Markt zu schaffen, während Zuvu die KI-Wirtschaftsschicht antreibt. Die strategische Integration der Partnerschaft in Bittensor nutzt dessen anreizgesteuertes Netzwerk, um die KI-Entwicklung effektiv zu skalieren. Durch die Verschmelzung von benutzereigenen Daten mit erlaubnisfreier Berechnung und wirtschaftlichen Anreizen spiegelt diese Zusammenarbeit die disruptive Natur der dezentralen Finanzen (DeFi) in der traditionellen Finanzwelt wider. Es wird erwartet, dass die Partnerschaft die Vielfalt der Bittensor-Subnetze verbessert, die Expansion von Vana’s DataDAO unterstützt und Zuvu als führend in der finanziellen Verwertung von KI etabliert, was potenziell die Praktiken der Branche beeinflussen könnte. Diese Initiative steht im Einklang mit dem wachsenden Trend zu Open-Source-Künstlicher Intelligenz und reagiert auf die Nachfrage nach Alternativen zu zentralisierten KI-Giganten.
Acurast integriert sich mit dem Open Node Project zur Ermöglichung dezentraler KI-Cluster cover
vor 9 Tagen
Acurast integriert sich mit dem Open Node Project zur Ermöglichung dezentraler KI-Cluster
Acurast hat eine aufregende Integration mit dem Open Node Project (ON) angekündigt, einer kollaborativen Open-Source-Initiative, die zusammen mit Nodle entwickelt wurde. Dieses Projekt zielt darauf ab, Einzelpersonen zu befähigen, dezentrale KI-Cluster mit wiederverwendeten Smartphones zu erstellen, was das selbstbestimmte Rechnen und die dezentrale Infrastruktur (DePIN) erheblich verbessert. Durch die Umwandlung alter Smartphones in KI-Computerknoten nutzt Acurast ARM-Prozessoren und Trusted Execution Environments (TEE), um Entwicklern zu ermöglichen, große Sprachmodelle (LLMs) wie DeepSeek AI effizient bereitzustellen. Der Bereitstellungsprozess für einen Acurast KI-Cluster ist unkompliziert. Benutzer müssen Smartphones mit ARM-Prozessoren und TEE sammeln, sie mit Stromquellen, USB-Hubs und Netzwerken verbinden und die Acurast-App von GitHub installieren. Nach der Aktivierung des USB-Debuggings und der Registrierung jedes Geräts können Entwickler KI-Modelle bereitstellen und deren Leistung über das Acurast Dashboard überwachen. Dieser innovative Ansatz demokratisiert nicht nur den Zugang zu KI-Computing, sondern fördert auch ein wirklich dezentrales und skalierbares Computernetzwerk, das von Smartphones betrieben wird. Die Bedeutung dieser Integration liegt in ihrem Potenzial, kostengünstige KI-Lösungen bereitzustellen und gleichzeitig die Abhängigkeit von zentralen Servern zu beseitigen, wodurch die digitale Souveränität gefördert wird. Acurast steht an der Spitze des dezentralen Rechnens und stellt sicher, dass sowohl Entwickler als auch Benutzer die Vorteile von mobil betriebenen KI-Clustern nutzen können. Da Smartphones die weltweit vertrauenswürdigsten Geräte sind, definiert Acurast dezentrales Computing neu und macht es zugänglicher und sicherer als je zuvor.
Melden Sie sich für die neuesten DePIN-Nachrichten und Updates an