wiadomości o firmie Grapher Jedify obniża koszty tokenów AI o 75 procent

Jedify opowiada się za wzmocnieniem sztucznej inteligencji za pomocą technologii grafów kontekstowych, twierdząc, że jej rozwiązanie może obniżyć koszty tokenów sztucznej inteligencji nawet o trzy czwarte.

Grafy kontekstowe przechowują relacje podmiotów (ludzi, produktów, lokalizacji itp.) w strukturach typu bazy danych.ustalanie priorytetu połączeń w celu szybkiego przechodzenia przez złożone połączone ze sobą danePodczas gdy wykresy wiedzy służą obciążeniom roboczym AI, wykresy kontekstowe dodatkowo weryfikują, które relacje są prawdziwe.

Współzałożyciel i dyrektor technologiczny Jedify, Adi Elimelech, skomentował: "Większość branży łączy efektywność tokenów z efektywnością kosztów, jednak różnią się one.Wykodowanie logiki biznesowej w kontekście wykresu oszczędza model od rozumowania od zera dla każdego zapytania; jest to podstawowy mechanizm, niezależny od wdrożenia przez dostawcę.

Zamiast przekazywać pełny schemat bazy danych AI na każde zapytanie, graf kontekstowy Jedify's wstępnie kodowuje definicje logiki biznesowej, obliczenia, relacje i zasady w ustrukturyzowaną bazę wiedzy.Aktualizuje się i rozwija samodzielnie wraz ze zmianami biznesowymiW przypadku zapytań użytkownika odzyskiwane są tylko odpowiednie podmioty, co zapewnia kompaktowy i precyzyjny kontekst LLM.

Jedify przeprowadził badanie porównawcze pomiędzy produkcją a magazynem na podstawie 100 pytań biznesowych obejmujących trzy poziomy złożoności (w sumie 200 punktów testowych).036 tokenów surowych na powołanie generowane przez SQL z 87% częstotliwością poprawnego odpowiedziNatomiast konwencjonalne metody wstrzykiwania schematów zużywają 50 000-150 000 żetonów na połączenie z dokładnością 60-70%; systemy wieloagentowe oparte na wstrzykiwaniu schematów, takie jak CHESS, osiągają prawie 339,000 żetonów na połączenie.965 żetonów na wniosekUwaga: te odniesienia pochodzą z badań zewnętrznych z odrębnymi schematami i zestawami pytań, a nie badań w magazynie.

Zmierzone przez ramy równoważenia kosztów i dokładności token-ROI, podejście Jedify's dostarczyło 4,6 razy wyższe zyski niż przepływy robocze wstrzyknięcia schematu i 20 razy w porównaniu z podstawowymi rurociągami wieloagentowymi.Wstrzyknięcie schematyczne uzyskało prawidłowe wyniki w wysokości 60-70%, podczas gdy Jedify osiągnęło wysoką dokładność dla podmiotów w zasięgu wykresu.

W skali przedsiębiorstwa 100 tabel, wykres kontekstowy zmniejszył wprowadzenie tokenów o około 50% na połączenie SQL w porównaniu z podstawowymi liniami schematu surowego; w 200 tabelach oszczędności tokenów przekroczyły 75%.

Elimelech podkreślił również korzyści płynące z posiadania danych:tak, że nie wystawia pełny schemat i zasady filtracji dołączenia do dostawców modelu granicznego na każde żądanie.??

Filtrując tylko wymagane podmioty przed generowaniem SQL, wykresy kontekstowe obniżają obciążenie rozumowaniem modelu.Analiza routingu produkcji wskazuje, że około 85% zapytań analitycznych dla przedsiębiorstw może być uruchomionych na tańszych modelach open-source zamiast na najnowocześniejszych LLM z nieznaczną utratą dokładności, ograniczenie wydatków na infrastrukturę.

Pobierz odpowiednią białą księgę tutaj.

Pekin Qianxing Jietong Technology Co., Ltd.
Sandy Yang, dyrektor ds. strategii globalnej
WhatsApp / WeChat: +86 13426366826
Email: yangyd@qianxingdata.com
Strona internetowa: www.qianxingdata.com/www.storagesserver.com
Skoncentruj się na biznesie:
Dystrybucja produktów ICT/Integracja systemów i usługi/Rozwiązania infrastrukturalne
Dzięki ponad 20-letniemu doświadczeniu w dystrybucji IT współpracujemy z wiodącymi światowymi markami w celu dostarczania niezawodnych produktów i profesjonalnych usług.
Używanie technologii do budowy inteligentnego świata•Twój zaufany dostawca usług produktów ICT!