Jak zbudować firmową AI na własnych dokumentach? RAG po chłopsku

Nie trzeba uczyć modelu od zera ani wklejać umów do publicznego czatu. Wystarczy dać sztucznej inteligencji porządny dostęp do firmowych dokumentów, tak żeby same dokumenty nigdzie nie wyjeżdżały. Ta metoda nazywa się RAG.

Co to jest RAG

RAG to skrót od angielskiego Retrieval-Augmented Generation, czyli odpowiedź wsparta wyszukiwaniem. Metodę opisali w 2020 roku badacze, między innymi z Facebook AI Research.

Model językowy bez RAG jest jak bystry stażysta pierwszego dnia pracy. Pisze pięknie, ale o Twojej firmie nie wie nic, więc zgaduje. RAG daje stażyście klucz do archiwum. Zanim odpowie, znajduje właściwe dokumenty, czyta je i dopiero wtedy pisze. I mówi, skąd to wie.

Całość ma dwa etapy.

1. Przygotowanie. Dokumenty są dzielone na fragmenty. Każdy fragment zostaje zamieniony na ciąg liczb, który opisuje jego znaczenie. Tak powstaje indeks, czyli spis treści całej wiedzy firmy.
2. Pytanie. System wyszukuje kilka fragmentów najbliższych pytaniu i podaje je modelowi. Model pisze odpowiedź tylko na ich podstawie i wskazuje źródła.

RAG w dwóch etapach: przygotowanie dokumentów i odpowiedź na pytanie. Wszystko może działać w jednej serwerowni.

Pięć rzeczy, które odróżniają dobry RAG od zabawki

1. Porządne czytanie dokumentów. Skan faktury, PDF z tabelą, stara umowa w Wordzie. Wszystko trzeba najpierw zamienić na czysty tekst. Śmieci na wejściu dają śmieci w odpowiedzi.
2. Dzielenie z głową. Fragment musi mieć sens sam w sobie i dotyczyć jednej sprawy. Dzielimy po akapitach, z małą zakładką, żeby nie ciąć myśli w połowie.
3. Szukanie na dwa sposoby naraz. Po słowach znajdziesz numer umowy, nazwisko i symbol towaru. Po znaczeniu znajdziesz „upust”, pytając o „rabat”. Każdy sposób osobno gubi część trafień.
4. Druga para oczu. Osobny, mały model ocenia znalezione fragmenty i zostawia najlepsze. To najtańszy sposób na wyraźnie lepsze odpowiedzi.
5. Źródła i uczciwe „nie wiem”. Każda odpowiedź pokazuje dokument, z którego pochodzi. A gdy w dokumentach nic nie ma, dobry system mówi „nie znalazłem”, zamiast zmyślać.

Gdzie w tym wszystkim są Twoje dane

To najważniejsze pytanie przy wyborze dostawcy. Twoje dane przechodzą przez trzy miejsca:

• Indeks. Są w nim fragmenty Twoich dokumentów, więc to też są Twoje dane.
• Model zamieniający tekst na liczby. Widzi każdy fragment każdego dokumentu.
• Model piszący odpowiedź. Widzi pytanie i kilka znalezionych fragmentów.

Od tego, gdzie stoją te trzy elementy, zależy poziom prywatności.

• Poziom 0: publiczny czat. Wklejasz dokumenty do ogólnodostępnej usługi. Wygodne, ale nie kontrolujesz, co się z nimi dzieje.
• Poziom 1: wiedza u Ciebie, model w chmurze. Dokumenty, indeks i wyszukiwanie zostają w serwerowni, której ufasz. Do dużego modelu w chmurze trafia tylko pytanie i kilka fragmentów. Cała baza nie wychodzi nigdy.
• Poziom 2: wszystko lokalnie. Także model piszący odpowiedź działa na własnych kartach graficznych. Serwerowni nie opuszcza nic.

Dla cennika i instrukcji obsługi zwykle wystarcza poziom 1. Dla umów, danych osobowych, dokumentacji kadrowej czy medycznej wybierz poziom 2. Modele, które można uruchomić u siebie, na przykład polski Bielik albo otwarte Llama, Qwen i Mistral, dobrze radzą sobie dziś z pracą na dokumentach: wyszukują, streszczają i odpowiadają po polsku.

Jak robimy to w Smartx

Nasz Sejf to właśnie RAG w wersji dla firm. Wgrywasz dokumenty i pytasz po polsku, także z poziomu ChatGPT.

• Jedna firma, jeden sejf. Każdy klient ma osobny indeks i osobne pliki. Inny klient do nich nie zajrzy.
• Liczymy u siebie. Zamianę tekstu na liczby i ocenę trafności wykonują nasze własne karty graficzne w Katowicach, na otwartych modelach. Dokumentów nie wysyłamy do tego nigdzie.
• Model do wyboru. Gdy odpowiedź ma pisać model lokalny, uruchamiamy go na naszych kartach. Gdy wolisz duży model z chmury, dostaje on tylko pytanie i kilka fragmentów, a Ty wiesz o tym z góry.
• Umowa i certyfikat. Dane przetwarzamy na podstawie umowy powierzenia. Bezpieczeństwo informacji mamy potwierdzone certyfikatem ISO/IEC 27001.

Co z tego dla Ciebie

1. Zacznij od porządku. Aktualne wersje, jedno miejsce, jasne nazwy plików.
2. Pytaj o trzy miejsca. Gdzie leży indeks, gdzie powstają liczby i gdzie działa model. Jeśli odpowiedź brzmi trzy razy „w chmurze”, Twoje dokumenty w całości lądują poza firmą.
3. Wymagaj źródeł. Bez nich nie sprawdzisz, czy AI nie zmyśla.