Dostawca baz danych grafowych Neo4j twierdzi, że technologia grafowa może zapobiegać generowaniu przez modele AI i agentów halucynacji, fabrykacji i fałszywych odpowiedzi na zapytania użytkowników.
Firma powołała się na niedawny artykuł naukowy opublikowany na arXiv w czerwcu, zatytułowany “Reducing Hallucinations in Complex Question Answering using Simple Graph-based Retrieval-Augmented Generation”, który potwierdza jej twierdzenie.
W abstrakcie artykułu zaznaczono, że badanie analizuje zastosowanie lekkiej struktury grafowej z prostym schematem grafowym do wsparcia podsystemu RAG (Retrieval-Augmented Generation) za pomocą dedykowanego zestawu narzędzi. Zespół badawczy zbudował system agentowy wyposażony w różnorodne narzędzia do wyszukiwania wektorowego i zapytań grafowych, działający na danych strukturalnych pochodzących z wyselekcjonowanych artykułów z angielskiej Wikipedii. Oceniono wydajność systemu na złożonych pytaniach z MoNaCo, wymagającego benchmarku Wikipedia QA do zadań odpowiadania na złożone zapytania.
Badacze postawili przed LLM-ami złożone pytanie: “Czy możesz wymienić wszystkie bitwy między Holendrami a Anglikami w Pierwszej, Drugiej i Trzeciej Wojnie Angielsko-Holenderskiej i podać zwycięzcę każdej bitwy?”
Odpowiedź na to pytanie wymaga zaawansowanych możliwości wyszukiwania i rozumowania, w tym jednoczesnego rozumowania wielo-jednostkowego, wielo-skokowego i dostępu do wielu dokumentów. Badanie wskazuje, że takie złożone zapytania stanowią poważne wyzwanie dla obecnych, najnowocześniejszych systemów opartych na LLM.
Zespół przetestował pytanie na trzech konfiguracjach LLM i przeanalizował wyniki:
1. RAG wektorowo+grafowo: Wykorzystuje zunifikowaną bazę danych wektorowych i grafowych z predefiniowanymi narzędziami do optymalizacji wyszukiwania zewnętrznej bazy wiedzy.
2. Prosty RAG wektorowy
3. LLM zero-shot bez rozszerzenia RAG
Wyniki artykułu potwierdzają, że integracja podstawowej bazy wiedzy opartej na grafach i dopasowanych narzędzi ze standardowym RAG wektorowym może znacząco zmniejszyć halucynacje AI, choć nie jest w stanie ich całkowicie wyeliminować. Wynik ogólnej poprawności wzrósł z około -127 dla LLM zero-shot do -49 dla RAG wektorowo+grafowo.
Ponadto, podejście hybrydowe znacznie przewyższa samodzielny RAG wektorowy. Po uwzględnieniu częściowo poprawnych odpowiedzi w ocenie, RAG wektorowo+grafowo osiąga najwyższy wynik spośród trzech testowanych scenariuszy. Jego wynik szczegółowej poprawności jest o 80 procent wyższy niż w przypadku czystego RAG wektorowego, a precyzja i kompletność faktów są ponad dwukrotnie wyższe niż w systemie RAG opartym wyłącznie na wektorach.
Ogólnie rzecz biorąc, proponowane rozwiązanie zwiększa zarówno precyzję, jak i kompletność, jednocześnie ograniczając halucynacje, oferując realną ścieżkę do poprawy niezawodności i wiarygodności systemów QA opartych na LLM.
Zapoznaj się z oryginalnym artykułem, aby uzyskać wyczerpujące szczegóły techniczne badań.
Beijing Qianxing Jietong Technology Co., Ltd.
Sandy Yang/Dyrektor ds. Strategii Globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Fokus biznesowy:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Z ponad 20-letnim doświadczeniem w dystrybucji IT, współpracujemy z wiodącymi światowymi markami, dostarczając niezawodne produkty i profesjonalne usługi.
“Wykorzystując technologię do budowania inteligentnego świata”Twój zaufany dostawca usług produktów ICT!
Twoja wiadomość musi mieć od 20 do 3000 znaków!
Polish
