LPU (ang. Language Processing Unit) jest to specjalna konstrukcja procesora, będąca ukierunkowana na obsługę modeli językowych (jak Llama, GPT-4…). Jest to procesor stworzony przez firmę Groq.
Czy GPU już nie wystarcza?
Procesory GPU są bardzo szybkie dzięki równoległym obliczeniom. Lecz generowanie tekstu jest z natury sekwencyjne (jedno słowo zależy od drugiego/następuje po drugim) i na tym oparli siłę swoich procesorów twórcy LPU. Ich procesory są szybsze od GPU w procesowaniu sekwencyjnym. Oczywiście jest to duże uproszczenie, więcej na ten temat można przeczytać na stronie twórców https://wow.groq.com/why-groq/ .
Z drugiej strony procesory GPU wciąż są przydatne przy na przykład trenowaniu głębokich sieci neuronowych.