Meta выпустила Llama 3.1 405B, свою самую большую и производительную языковую модель на сегодняшний день, которая, по утверждению социальной сети, может сравняться с топовыми моделями OpenAI и Anthropic.
"Наша экспериментальная оценка показывает, что наша флагманская модель конкурирует с ведущими базовыми моделями по целому ряду задач, включая GTP-4, GPT-4o и Claude 3.5 Sonnet", - похвасталась Meta в объявлении, описав нейронную сеть как "крупнейшую в мире и наиболее производительную из открытых базовых моделей". Как и следовало ожидать от LLM, Llama 3.1 405B генерирует текстовую информацию, ответы в чате и многое другое на основе подсказок ввода.
Впервые разыгранный одновременно с запуском своих меньших собратьев с восемью и 70 миллиардами параметров ранее этой весной, Llama 3.1 405B от Meta был обучен более чем 15 триллионам токенов — считайте каждый из них фрагментами слов, фраз, цифр и знаков препинания — с использованием 16 000 графических процессоров Nvidia H100.
В общей сложности, по словам Facebook-гиганта, для обучения модели с 405 миллиардами параметров потребовалось 30,84 миллиона часов работы на графическом процессоре и было произведено 11 390 тонн выбросов CO2.
Однако Meta настаивает, что такая большая вычислительная мощность была необходима для обучения новейшей модели Llama за значительный промежуток времени, и это ее первая модель, обученная в таком масштабе. Instagram titan также придерживался стандартной архитектуры преобразования только с декодером, вместо того чтобы внедрять более сложную смесь экспертных моделей для повышения стабильности во время обучения.
В результате получилась модель, которая, по крайней мере, согласно бенчмаркам Meta, опережает более крупные проприетарные системы от OpenAI и Anthropic по целому ряду показателей. Для справки, GPT-4 от OpenAI, по сообщениям, имеет размер 1,8 триллиона параметров.
Посвящает себя разработке открытого искусственного интеллекта
Позиция Meta по разработке моделей искусственного интеллекта в открытом доступе не сильно изменилась. Генеральный директор Марк Цукерберг подчеркнул важность разработки открытого искусственного интеллекта в письме, опубликованном во вторник, в котором проводилось сравнение с победой ядра Linux с открытым исходным кодом над проприетарными операционными системами Unix.
"Linux приобрел популярность – первоначально потому, что позволял разработчикам изменять свой код так, как они хотели, и был более доступным, а со временем потому, что он стал более продвинутым, более безопасным и имел более широкую экосистему, поддерживающую больше возможностей, чем любой закрытый Unix", - написал он. "Я верю, что искусственный интеллект будет развиваться аналогичным образом".
В соответствии с этим, Meta также изменяет структуру лицензий Llama, чтобы позволить разработчикам использовать выходные данные моделей Llama для улучшения других моделей. Например, если вы хотели использовать Llama 3.1 405B для генерации горы синтетических данных для обучения меньшей немета-модели, теперь вы можете это сделать.
Несмотря на то, что она меньше некоторых конкурирующих моделей, вам все равно понадобится довольно мощная система, чтобы заставить Llama двигаться рысью.
При 405 миллиардах параметров модели Meta потребуется примерно 810 ГБ памяти для работы с полной 16-битной точностью, на которой она была обучена. В перспективе это больше, чем может выдержать одна система Nvidia DGX H100 (восемь ускорителей H100 в коробке). Из-за этого Meta выпустила 8-битную квантованную версию модели, которая сокращает объем памяти примерно вдвое.