Mistral Large 4: region w UE trzeba wybrać samemu

6 października Mistral wypuścił publiczny podgląd modelu Mistral Large 4. To model typu MoE z bilionem parametrów, z których 52 mld pracuje przy każdym tokenie. Wejście kosztuje 1,36 USD, a wyjście 4,18 USD za milion tokenów. Ogłoszenie Mistrala, karta modelu.

Stan: ogłoszone. Podgląd w API opisuje producent, ja go nie uruchomiłem. Wagi są zapowiedziane na koniec października i jeszcze ich nie ma.

Ile kosztuje?

Karta modelu pokazuje stawki z ogłoszenia jako przekreślone. Obok stoi cena promocyjna: 0,68 USD za wejście i 2,09 USD za wyjście, dokładnie połowa. Do kiedy obowiązuje, dokumentacja nie podaje.

Odczyt z cache kosztuje 0,14 USD za milion tokenów, w promocji 0,07 USD. Okno kontekstu według karty to milion tokenów.

Gdzie liczy się model?

Ogłoszenie podaje, że model trenowano w europejskich centrach danych Mistrala, a podgląd działa na tej samej infrastrukturze. Wdrożenie europejskie, które Mistral prowadzi sam, ogłoszenie zapowiada w czasie przyszłym.

Dokumentacja opisuje domyślny adres inaczej. Przy globalnym api.mistral.ai: „Mistral does not commit to a specific inference location for requests sent to this endpoint”. Przetwarzanie w UE zapewnia dopiero api.eu.mistral.ai, a stawki rosną tam o 10%. Dokumentacja regionów.

Adres EU ma swoje ograniczenia. Z narzędzi obsługuje tylko wywoływanie funkcji. Nie ma na nim Batch, Agents ani Files API. Dane konta i rozliczeń mogą być przetwarzane poza wybranym regionem.

Adres EU obsługuje tylko modele hostowane w regionie. Czy jest wśród nich Mistral Large 4, dokumentacja nie mówi. Sprawdza się to wywołaniem models.list na adresie EU. Ja tego nie zrobiłem, bo nie mam klucza API Mistrala.

To ten sam wzór, który opisałem w tekście Suwerenna AI w Europie to wybór regionu. Region trzeba wybrać samemu i za niego dopłacić. Domyślny adres żadnego regionu nie gwarantuje.

Co z otwartymi wagami?

Mistral pisze: „Weights drop end of this month”. Licencji nie podaje ani ogłoszenie, ani karta modelu. Pełną kontrolę nad tym, gdzie liczy się model, daje dopiero model na własnym serwerze. Nie liczyłem, ile sprzętu potrzeba do uruchomienia biliona parametrów.

Czy działa po polsku?

Nie sprawdziłem. Ogłoszenie podaje, że dane treningowe obejmowały ponad 160 języków, w tym wszystkie języki urzędowe UE. Polski do nich należy, ale nie pada z nazwy.

Benchmarki w ogłoszeniu pochodzą od producenta. Nie powtarzam ich, dopóki nie przepuszczę modelu przez swoje zadania testowe.

Co to znaczy dla ciebie

Jeśli umowa z klientem wymaga przetwarzania danych w UE, zdanie z ogłoszenia nie jest dowodem. Dowodem jest adres api.eu.mistral.ai w kodzie i log z nazwą hosta. Taki log zaleca też sama dokumentacja Mistrala.

Wniosek: zanim wyślesz do modelu Mistral Large 4 dane, które muszą zostać w UE, sprawdź models.list na api.eu.mistral.ai.