2024년 현재 AI 반도체 시장은 nVIDIA의 독주입니다.
GPU에서 어느덧 GPGPU라는 용어가 등장하면서 조명을 받은 nVIDIA의 생태계인 CUDA(Compute Unified Device Architecture) 플랫폼은
지금은 다른 대안을 선택하기 힘들 정도로 인공지능, 머신러닝에서의 핵심이 되고 있습니다.
(OpenCL, ZLUDA과 같은 범용이나 MetalAPI(Apple), openAPI(Intel), ROCm(AMD) 플랫폼이 있긴 하나..)
그리고 이로 인해 A100, H100, H200, B100, X100 등 nVIDIA의 새 제품이 등장할 때마다 그 가격 역시 고공행진을 하고 있습니다.
이런 머신러닝 등 인공지능을 위한 AI 반도체는, 가격과 전성비 등의 이유로 최근 들어서는 구분이 생기고 있습니다.
바로 학습용 AI칩과 추론용 AI칩입니다.
물론 기본적인 머신러닝은 학습과 추론을 통해 결과를 도출하지만,
이를 학습 부분과 추론 부분으로 나누어 접근함으로써 학습용, 추론용으로 구분할 수 있게 되었네요.
| 구분 | 학습용 | 추론용 | ||
| 모델 | 학습전 모델 > 학습모델 | 학습모델 | ||
| 자료 | 학습 데이터 | 학습 오차 | 실제 데이터 | 실제 서비스 |
물론 nVIDIA는 학습과 추론이 모두 가능한 AI칩이지만, 그만큼 가격과 전력소모가 큽니다.
이에 학습 또는 추론(학습이 완료된 모델을 활용하여 실제 데이터로 실제 서비스를 제공)을 전담하는 AI칩을 구분하여,
저렴하게 효율적인 AI 서비스를 제공할 수 있도록 하는게 목적이 될 것입니다.
최근 사피온, 리벨리온, 퓨리오사AI 등의 국내의 AI칩 기업들이 제품을 내놓고 있습니다.
이 중 퓨리오사AI의 경우 AI 가속기를 바탕으로 추론용 AI칩에 집중하는 모습을 보여주고 있는데,
성숙화된 학습모델을 바탕으로 실제 인공지능 서비스를 위해서는 합리적인 대안이 될 수도 있겠습니다.
참고)
https://it.chosun.com/news/articleView.html?idxno=2023070500361