대규모 인공지능을 위한 고속 스마트 네트워킹 기술 - 망고부스트 김장우 대표

https://www.youtube.com/watch?v=u_hJ1qa9tNI

 

요즘 핫한 인공지능 반도체 기업 중 하나인 망고부스트 기술/제품에 대한 김장우 대표님의 발표.

아무래도 교수님이시다 보니 발표의 전달력이 엄청나시고, 어려운 개념을 쉽게 설명해주셔서 AI 인프라에서 GPU가 아닌 네트워크, 스토리지 등 평소에 접하기 어려운 시스템에 대해 쉽게 이해할 수 있었다.

 

내가 이해한 것을 짧게 정리해보자면, AI 모델이 점점 커지면서 한꺼번에 많은 GPU를 함께 돌리는게 중요해졌다. 원래 PCIe 기반으로 GPU카드 간의 네트워크를 연결하였는데 PCIe는 원래 GPU를 위한 프로토콜이 아니다보니 속도의 한계가 있었다. 이에 따라 NVIDIA는 자체개발한 NVLink와 NVSwitch라는 프로토콜을 통해 하나의 보드 내에서의 GPU간 네트워크를 연결하여 데이터 통신의 효율을 극대화하였다. 이뿐만 아니라, 기존의 보드 사이의 연결은 이더넷 프로토콜 기반으로 이루어졌는데, 이 또한 GPU를 위한 프로토콜이 아니다보니 효율의 한계가 있었다. 이를 극복하기 위해 NVIDIA는 DPU (or Smart NIC)를 자체 개발하였고, 이를 통해 보드 간의 네트워크 효율을 극대화하였다. 그러다보니 AI 인프라를 구축하는데 단순 연산을 위한 GPU 뿐만 아니라 네트워크 구축을 위한 네트워크의 비중이 증가하였다. 망고부스트는 네트워크 분야의 비효율을 해결하기 위해 DPU를 자체적으로 개발하는 회사이다. 

 

결국 NVIDIA가 GPU 팔아먹기 위해 나머지까지 다 해먹고 있는 AI 인프라 시장에서 DPU를 자체 개발하고자 하는 회사이다. 요즘 국내에도 리벨리온, 퓨리오사 같은 NPU 회사 뿐만 아니라 파네시아와 같은 CXL 회사 등 다양한 회사가 나오고 있는데, 한국 기업들 중에서도 성공하는 기업들이 많이 나와줬으면 한다. 

 

기존 PCIe 프로토콜을 대체하기 위한 NVLink와 NVSwitch

이더넷을 대체하여 보드간 네트워크 역할을 하는 Smart NIC (or DPU)