W Technology Innovation Institute (TTI) stworzyliście Falcon 180B – nowy duży model językowy (LLM), który jest nr. 1 wśród algorytmów o otwartym dostępie. Obejmuje 180 mld parametrów i jest trenowany na podstawie 3,5 bln tokenów, ma cztery razy większe zasoby obliczeniowe niż model LLaMA 2 firmy Meta. Jak ważne jest to osiągnięcie?
Ebtesam Almazrouei: Falcon 180B stanowi znaczący krok w rozwoju generatywnej AI, osiągając podobne wyniki co największe modele na rynku. To pokazuje zaangażowanie TTI w efektywne posuwanie naprzód technologii AI. W mojej jednostce, AI Cross Center, jesteśmy pionierami w AI – rozwinęliśmy projekt Falcon, generatywną sztuczną inteligencję, budując na sukcesie NOOR.
Czym jest NOOR?
To jeden z największych modeli przetwarzania języka naturalnego (NLP) w języku arabskim. Mówiąc inaczej, stworzyliśmy arabski ChatGPT. Po NOOR skupiliśmy się na stworzeniu Falcon 40, zaawansowanego modelu wytrenowanego na różnorodnych danych, w tym jakościowych artykułach i tekstach technicznych, wykorzystując 1 bln parametrów. W marcu br. uruchomiliśmy Falcon 40B, który przewyższał wydajnością model Llama od Mety. Udostępniliśmy go zarówno w celach komercyjnych, jak i badawczych na Hugging Face (internetowa społeczność specjalistów od uczenia maszynowego – red.). Potem stworzyliśmy Falcon 180B. Nie tylko zajął on miejsce wyżej niż Llama 2 na listach Hugging Face, ale wykazał się porównywalną wydajność do dużych modeli Google’a, a ma tylko połowę ich wielkości.
A nad czym teraz pracujecie?