Qra. Polskojęzyczne modele językowe mogą być nowym odpowiednikami GPT!

Biuro prasowe Politechniki Gdańskiej podało w piątek, że uczelnia i AI Lab z Ośrodka Przetwarzania Informacji (OPI) – Państwowego Instytutu Badawczego opracowały polskojęzyczne generatywne neuronowe modele językowe na bazie terabajta danych tekstowych wyłącznie w języku polskim.

"Qra to pierwszy tej skali i najlepszy w modelowaniu języka polskiego odpowiednik otwartych narzędzi Mety czy Mistral AI. Qra lepiej rozumie treści w języku polskim, lepiej rozumie pytania zadawane w tym języku i lepiej sama tworzy spójne teksty" - podano w komunikacie.

Środowisko obliczeniowe dedykowane pod budowę modeli sztucznej inteligencji powstało na Politechnice Gdańskiej w Centrum Kompetencji STOS, jednym z najnowocześniejszych centrów IT w tej części Europy, gdzie znajduje się superkomputer Kraken. Jak podała uczelnia, w procesie wykorzystano klaster 21 kart graficznych NVidia A100 80GB. Przygotowanie środowiska, utworzenie narzędzi i modeli oraz ich trenowanie (w oparciu m.in. o treści z takich obszarów, jak prawo, technologia, nauki społeczne, biomedycyna, religia czy sport) i testowanie zajęło zespołom około pół roku. "Dzięki rozbudowanej infrastrukturze CK STOS właściwy proces trenowania w przypadku najbardziej złożonego z modeli został skrócony z lat do około miesiąca" - przekazano.

Modele Qra - do czego posłużą?

W komunikacie podano, że w wyniku współpracy PG i Ośrodka Przetwarzania Informacji powstały trzy modele, które różnią się złożonością, tj. Qra 1B, Qra 7B, Qra 13B. Modele Qra 7B oraz Qra 13B uzyskują istotnie lepszy wynik perplexity, czyli zdolności do modelowania języka polskiego w zakresie jego rozumienia, warstwy leksykalnej, czy samej gramatyki, niż oryginalne modele Llama-2-7b-hf (Meta) oraz Mistral-7B-v0.1 (Mistral-AI).

Wyjaśniono, że testy pomiaru perplexity przeprowadzono m.in. na zbiorze pierwszych 10 tysięcy zdań ze zbioru testowego PolEval-2018 oraz dodatkowo przetestowano modele na zbiorze 5 tysięcy długich i bardziej wymagających dokumentów napisanych w 2024 roku.

Modele Qra będą stanowić podstawę rozwiązań informatycznych do obsługi spraw i procesów, które wymagają lepszego zrozumienia języka polskiego.

"Na tym etapie Qra jest fundamentalnym modelem językowym, który potrafi generować poprawne gramatycznie i stylistycznie odpowiedzi w języku polskim. Tworzone treści są bardzo wysokiej jakości, co potwierdza m.in. miara perplexity" - zaznaczano w komunikacie.

Zapewniono, że zespół rozpocznie pracę nad strojeniem modeli, aby zweryfikować ich możliwości pod kątem takich zadań, jak klasyfikacja tekstów, dokonywanie ich streszczeń, odpowiadania na pytania. Opracowane modele zostały upublicznione w repozytorium OPI-PG na platformie huggingface. Model można pobrać do swojej dziedziny i problemów czy zadań, jak np. udzielanie odpowiedzi.