На рынке чипов для ИИ появился новый игрок — и, судя по всему, с большим потенциалом. Компания Groq представила свой процессор, который ощутимо превосходит конкурентов.
Groq LPU — одноядерный чип, основанный на архитектуре тензорных потоковых процессоров (TSP). Он обеспечивает производительность 750 TOPS при INT8 и 188 TFLOPS при FP16 с матричным умножением объединенных скалярных произведений 320 × 320 в дополнение к 5120 векторным ALU.
Обратите внимание, что Groq — это не CPU и не GPU, а так называемый языковой процессор (LPU). Он предназначен не для обучения нейросетей, а для вывода. И вот тут он показывает себя великолепно. Так, при работе с моделью Mixtral 8x7B Groq LPU обеспечивает скорость 480 токенов в секунду, а это один из лучших показателей вывода в отрасли. В модели Llama 2 70B с длиной контекста 4096 токенов Groq может обслуживать 300 токенов в секунду, а в Llama 2 7B с 2048 токенами контекста — 750 токенов/с. Правда, все понимают, что сама по себе производительность — это полдела. Нужно, чтобы игроки рынка захотели использовать новый продукт. Поэтому перспективы Groq прояснятся со временем…
Groq LPU — одноядерный чип, основанный на архитектуре тензорных потоковых процессоров (TSP). Он обеспечивает производительность 750 TOPS при INT8 и 188 TFLOPS при FP16 с матричным умножением объединенных скалярных произведений 320 × 320 в дополнение к 5120 векторным ALU.
Обратите внимание, что Groq — это не CPU и не GPU, а так называемый языковой процессор (LPU). Он предназначен не для обучения нейросетей, а для вывода. И вот тут он показывает себя великолепно. Так, при работе с моделью Mixtral 8x7B Groq LPU обеспечивает скорость 480 токенов в секунду, а это один из лучших показателей вывода в отрасли. В модели Llama 2 70B с длиной контекста 4096 токенов Groq может обслуживать 300 токенов в секунду, а в Llama 2 7B с 2048 токенами контекста — 750 токенов/с. Правда, все понимают, что сама по себе производительность — это полдела. Нужно, чтобы игроки рынка захотели использовать новый продукт. Поэтому перспективы Groq прояснятся со временем…
Источник: https://t.me/futurecap/6586?single
Источник изображения: https://t.me/futurecap/6586?single
Источник изображения: https://t.me/futurecap/6586?single
#ОбразованиеПресс
#НовостиОбразования
#Исследования
#Технологии
#Инновации
#ИИ
#Нейросети
#НовостиОбразования
#Исследования
#Технологии
#Инновации
#ИИ
#Нейросети
