지연 시간 제로를 향한 하드웨어 설계의 근간Groq의 LPU(Language Processing Unit)는 텐서 스트리밍 프로세서 아키텍처를 기반으로 설계된 전문 가속기다. 기존 GPU가 고대역폭 메모리인 HBM을 사용하여 외부 메모리 입출력 과정에서 발생하는 대역폭 병목과 지연 시간에 직면하는 것과 달리, LPU는 칩 내부에 수백 메가바이트 규모의 SRAM을 직접 통합하여 처리 효율을 극대화한다. 이는 연산 유닛이 데이터에 즉각적으로 접근할 수 있게 하여 메모리 계층 구조에서 발생하는 병목 현상을 원천적으로 제거한다.구분Groq LPU (SRAM)일반 GPU (HBM)메모리 위치프로세서 다이 내부 직접 통합프로세서 외부 인터포저 적층**지연 시간나노초(ns) 단위 극저지연마이크로초(us) 단위 상대적..
