파네시아 기술 리포트 (Compute Can’t Handle the Truth: Why Communication Tax Prioritizes Memory and Interconnects in Modern AI Infrastructure)

링크드인에서 우연히 파네시아의 기술리포트를 보게 되었다. 파네시아는 카이스트 교수님께서 만드신 CXL 반도체 스타트업인데 누적 1,000억원 수준의 투자를 받을 정도로 많은 기대를 받고 있는 회사이다. 나는 기존에 CXL 반도체라는게 정확히 어떤 역할을 하는지는 몰랐는데 해당 레포트를 읽어보며 AI 인프라의 세계 및 CXL 반도체의 역할에 대해 많은 이해를 할 수 있었다. (교수님이 쓴 글이라 그런지 긴 분량임에도 읽기가 매우 편했음)

https://panmnesia.com/news/kr/2025-07-29-tech-report-kor/

Newsroom | 한국어 - Panmnesia

 

100페이지가 넘는 글이라 많은 내용이 담겨있긴 하지만 간단히 요약을 하면

 

- 현재 LLM에 많이 쓰이는 언어모델은 트랜스포머 모델에 기반함

- 해당 모델의 성능 확보를 위해 KV 캐싱 (Key Value Caching)과 검색 기반 생성 (RAG, Retrieval-Augmented Generation)이 사용됨

- KV 캐싱은 이전에 만들어진 결과를 재사용하여 추론 성능 개선이 가능하지만, GPU 메모리 사용량 증가라는 단점이 있음

- RAG 방식은 추론 과정에서 외부 지식을 실시간으로 결과에 반영하여 환각 현상을 줄여주지만, 추가 연산과 메모리 자원을 요구하여 네트워크 지연을 만듦

- 이와 같이 AI 전체 시스템의 효율적 연산을 위한 방법들이 메모리와 네트워크에 부담을 주어 전체 시스템의 비효율을 만들고 있음

- CXL (Compute Express Link) 기반의 아키텍쳐는 AI 워크로드 특성에 맞게 인프라의 CPU, GPU, 메모리, 네트워크를 독립적이면서도 개별적으로 확장 가능한 구조를 가능케함

- 이에 따라 CXL 반도체는 AI 전체 시스템의 연산 처리량, 메모리 용량 및 대역폭, 네트워크 등 다양한 영역에서의 성능 향상을 달성함

 

기존의 CPU 구조와 차별된 CXL 기반의 CPU 구조 (출처: 파네시아 기술 리포트)

 

최근 2-3년 동안 AI에 대한 관심 증가와 함께 NVIDIA는 압도적인 독점력을 바탕으로 성장을 기록했다. 이에 대한 반작용으로 NVIDIA를 대체할 AI 가속기 뿐만 아니라 CXL, DPU 등 다양한 Fabless 스타트업이 등장하고 있고, 파네시아도 그 중 하나이다. 작년이 NVIDIA의 한 해 였다면 올해는 탈 NVIDIA의 해가 될 것이라 말하는 사람들도 있다. 이런 AI 인프라의 변화속에서 생태계가 또 어떻게 변화할지, 어떤 기업이 해당 생태계에서 새롭게 주목을 받을지 기대가 된다. 

 

p.s. 제목 'Compute Can’t Handle the Truth'가 아마 '어 퓨 굿 멘' 영화 명장면의 대사를 따온 것 같은데 나도 좋아하는 영화라 내용이 더 맘에 들었다. 역시 논문 제목은 문장으로 지어야 멋있는 것 같다...ㅎㅎ