Organizacja non-profit Ai2 Wypuszcza Nowy LLM Konkurencyjny dla Lamy od Meta

Bezprofitowa organizacja badawcza The Allen Institute for Artificial Intelligence (Ai2) wprowadziła OLMo 2, drugą rodzinę swojego otwartego modelu języka, wyposażoną w bardzo konkurencyjne narzędzia i możliwości porównywalne z wiodącymi modelami na rynku, takimi jak Llama 3.1 firmy Meta.

Ai2, założone przez współzałożyciela Microsoftu, Paula Allena, w 2014 roku, opisało ten model jako „najlepszy w pełni otwarty model języka do tej pory”.

„Wprowadzamy OLMo 2, nową rodzinę modeli 7B i 13B, które zostały przeszkolone na do 5T tokenów,” napisała organizacja na swojej stronie internetowej w ogłoszeniu. „Te modele są na równi lub lepsze niż równoważnie duże, w pełni otwarte modele, a także konkurują z otwartymi modelami takimi jak Llama 3.1 na angielskich akademickich benchmarkach.”

OLMo 2 jest wynikiem ulepszenia poprzednich wersji modeli wydanych w ciągu roku – Ai2 ogłosiło swój pierwszy model, OLMo, w lutym – koncentrując się na poprawie kluczowych aspektów, takich jak stabilność szkolenia, wstępne szkolenie, post-training na najwyższym poziomie oraz wydajność za pomocą ramy oceny.

Nowy model jest obecnie dostępny tylko w języku angielskim, a publiczność ma możliwość przetestowania OLMo 2 dzięki dostępnemu demo online.

Według TechCrunch, OLMo 2 spełnia kryteria, aby być uważany za otwarte źródło AI, ponieważ jego dane i narzędzia są publicznie dostępne i gotowe do przetestowania.

Ai2 udostępniło dane dowodzące, że ten nowy model może przewyższyć inne popularne modele o podobnych strukturach.

„Stwierdzamy, że OLMo 2 7B i 13B są najlepszymi do tej pory w pełni otwartymi modelami, często przewyższającymi modele o otwartych wagach o równoważnej wielkości” – mówi dokument udostępniony przez organizację. „Nie tylko obserwujemy dramatyczne polepszenie wyników we wszystkich zadaniach w porównaniu do naszego wcześniejszego modelu OLMo 0424, ale przede wszystkim OLMo 2 7B przewyższa LLama-3.1 8B, a OLMo 2 13B przewyższa Qwen 2.5 7B, pomimo jego niższej całkowitej liczby FLOPs użytych podczas treningu.”

Alibaba wydała nowe modele Qwen 2.5, które zostały uwzględnione przez Ai2 do porównania, we wrześniu.