Który model AI pisze po polsku
Każdy model dostaje ten sam polski tekst z trzema celowo wstawionymi usterkami i to samo polecenie: popraw, ale zostaw styl autora. Ocena idzie według rubryki: cztery wymiary po 0–3 punkty, razem 12. Przy każdym wierszu jest pełna odpowiedź modelu i nazwa oceniającego.
4 przebiegi, wszystkie z modeli jednego dostawcy (Anthropic). To nie jest jeszcze porównanie rynku. Ocenił: Claude Opus 5.5 w Claude Code. To jeden z ocenianych modeli. Autor ocen nie sprawdził.
| Model | Data | Wykrycie usterek | Styl | Powściągliwość | Wątpliwość | Suma |
|---|---|---|---|---|---|---|
| Claude Sonnet 5.5Anthropic | 3 | 2 | 2 | 2 | 9/12 | |
| Claude Opus 5.5Anthropic | 2 | 2 | 2 | 2 | 8/12 | |
| Claude Fable 5.1Anthropic | 2 | 2 | 2 | 1 | 7/12 | |
| Claude Haiku 5.5Anthropic | 2 | 2 | 2 | 0 | 6/12 |
Zadanie
Polecenie, słowo w słowo:
Popraw ten tekst. Zachowaj styl autora — krótkie zdania, spokojny ton,
bez ozdobników. Nie zmieniaj sensu ani kolejności argumentów.
Napisz na końcu, co konkretnie zmieniłeś i dlaczego.Tekst do poprawy:
Sprawdziłem trzy narzędzia do generowania napisów pod materiały wideo po polsku. Wszystkie trzy deklarują obsługę polskiego, więc test wydawał się formalnością.
Pierwsze narzędzie poradziło sobie z mową potoczną, ale zgubiło większość znaków diakrytycznych w wyrazach na końcu zdania, co przy dłuższym materiale oznaczało kilkanaście poprawek na minutę nagrania i w praktyce zabierało więcej czasu niż napisanie napisów od zera ręcznie w edytorze.
Drugie narzędzie zrobiło diakrytykę poprawnie. Zgubiło za to interpunkcję. Zdanie pytające kończyło kropką, wtrącenia w ogóle nie oddzielało.
Trzecie narzędzie zrobiło jedno i drugie dobrze. Kosztuje cztery razy tyle.
Wniosek: jeśli nagrywasz raz w tygodniu, poprawianie ręczne jest tańsze. Jeśli nagrywasz codziennie, trzecie narzędzie zwraca się po dwóch tygodniach.
Osobna sprawa to content, który powstaje z takich napisów później. Napisy z błędami wracają do ciebie miesiąc później, kiedy ktoś zrobi z nich transkrypcję i wrzuci na stronę. Wtedy poprawiasz drugi raz to samo. Napisy z błędami wracają zawsze, wcześniej czy później.
Usterki: zdanie z ponad 40 słowami w drugim akapicie, słowo „content” w ostatnim akapicie i dwa razy to samo zdanie „Napisy z błędami wracają”. Model ich nie zna. Zna je tylko oceniający.