Próba 01 · 19 września 2026
Dopasowanie przelewów do faktur: reguły 87,5%, model 100%, i jeden wynik, który wyrzuciłem
Ktoś w firmie patrzy na wyciąg bankowy i szuka, do której faktury pasuje przelew. Zmierzyłem, ile z tego załatwia zwykły kod, ile dokłada model językowy i ile to kosztuje.
Wynik
| Zestaw B, 16 pozycji | Reguły bez AI | GPT-6 Astra Średni |
|---|---|---|
| Poprawne | 14/16 (87,5%) | 16/16 (100%) |
| Ciche błędy | 2 | 0 |
| Czas odpowiedzi | 0,3 ms | około 7 s |
| Koszt jednej pozycji | 0 zł | ułamek grosza |
Najpierw wyrzuciłem własny wynik, i to dwa razy
Raz: pierwszy zestaw danych zrobiłem sam, a potem napisałem do niego reguły. Wyszło 100%. To nic nie znaczy, bo reguły napisane pod własny generator zawsze zdają własny egzamin. Zrobiłem drugi zestaw, trudniejszy, którego reguły nie widziały, i dopiero on coś mierzy.
Dwa: pierwszy pomiar modelu poszedł przez katalog podłączony do aplikacji, a w tym katalogu leży plik z prawidłowymi odpowiedziami. Napisałem w poleceniu, żeby go nie otwierać, ale nie miałem jak sprawdzić, czy zostało wykonane. Sto procent przy kluczu leżącym obok to wynik do wyrzucenia. Powtórzyłem z danymi wklejonymi w treści polecenia. Ten sam wynik, tym razem policzalny.
Na czym wyłożyły się reguły
| Tytuł przelewu | dot. 494/2026 oraz FV/012/09/2026 - platnosc za pierwsza |
|---|---|
| Co zrobiły reguły | zobaczyły dwa numery i przypisały obie faktury |
| Co zrobił model | przeczytał „za pierwszą" i przypisał jedną |
| Tytuł przelewu | zwrot kaucji, nadawca spoza listy kontrahentów |
|---|---|
| Co zrobiły reguły | kwota zgadzała się co do grosza z jedną fakturą, więc ją przypisały i zamknęły pozycję |
| Co zrobił model | odpowiedział BRAK |
Oba błędy reguł są z tej samej kategorii: system jest pewny swojego i nikt go nie sprawdza. Źródłem obu jest jedna reguła, „jeśli kwota pasuje, przypisz".
Czas człowieka
Przy 400 pozycjach miesięcznie: z 5,0 h na 1,4 h. Założenia, na których to policzyłem, podaję wprost, bo są szacunkiem, a nie pomiarem: 45 sekund na ręczne rozstrzygnięcie jednej pozycji i 8 sekund na sprawdzenie podpowiedzi. U konkretnej firmy mierzy się to stoperem.
Ile to kosztuje
Przy 400 pozycjach miesięcznie koszt wywołań modelu wynosi od 3 groszy do 1,23 zł miesięcznie, zależnie od wybranego modelu. Żeby to zrównało się z jedną subskrypcją za 76 zł, trzeba by mieć 123 tysiące pozycji na wyciągu miesięcznie.
Kto liczy opłacalność takiego wdrożenia od ceny za token, liczy nie tę pozycję. Koszt siedzi w budowie, utrzymaniu i czasie człowieka na sprawdzanie.
Czego ten pomiar nie dowodzi
Że model jest lepszy od reguł. Zestaw ma 16 pozycji i był ułożony tak, żeby zawierać przypadki trudne dla reguł. Na zestawie bliższym typowemu wyciągowi reguły zrobiły komplet za zero złotych.
Że u ciebie wyjdzie tak samo. Szesnaście pozycji to próba orientacyjna, nie pomiar statystyczny. Dane są syntetyczne i prawdziwe wyciągi mają bałagan, którego nie wymyśliłem.
Że tak będzie za miesiąc. I tu jest rzecz, która zaskoczyła mnie najbardziej.
Pracowałem na subskrypcji i nie wiem, co dokładnie zmierzyłem
Aplikacja podaje nazwę modelu i poziom: „GPT-6 Astra Średni". Nie podaje numeru wersji. Za miesiąc nie będę miał jak stwierdzić, czy mierzę ten sam model, czy inny.
To nie jest niedociągnięcie mojego pomiaru. To jest opis tego, jak pracuje większość ludzi: na subskrypcji, bez informacji o wersji, bez możliwości powtórzenia wczorajszego wyniku. Dwa moje przebiegi dały odpowiedź identyczną co do znaku, ale dwa przebiegi tego samego dnia to obserwacja, a nie dowód stabilności.
Jeżeli opierasz proces księgowy na modelu w subskrypcji, warto wiedzieć, że nie masz jak sprawdzić, czy jutro dostaniesz ten sam wynik.
Co z tego wynika
Nie „zamiast reguł" i nie „zamiast modelu". Reguły biorą większość za darmo, model dobiera resztę za grosze. Przy tym zestawie do modelu poszłyby 2 pozycje z 16, więc koszt wywołań spada do jednej ósmej i tak już zerowej kwoty.
Gdyby to był audyt u klienta, rekomendacja brzmiałaby: napiszcie czterdzieści linii reguł, a model podepnijcie tylko do tego, czego reguły nie rozstrzygną.
Ten wpis powstał z audytu jednego procesu. Jeśli u ciebie jest podobna czynność, napisz — sprawdzę ją w ten sam sposób. Audyt jednego procesu: 3 500 zł, do dziesięciu dni roboczych.