Type something to search...

Cost optimization

인퍼런스 이코노믹스의 부상: 특화 하드웨어로 AI 클라우드 비용을 줄이는 방법

인퍼런스 이코노믹스의 부상: 특화 하드웨어로 AI 클라우드 비용을 줄이는 방법

**인퍼런스 이코노믹스(Inference Economics)**는 학습이 끝난 AI 모델을 실행하는 데는 학습할 때와 다른 하드웨어가 필요하다는 인식입니다. 범용 GPU 전용 서버로 AI 서비스를 돌리면 비용의 상당 부분이 놀고 있는 자원에 들어갑니다. LPU(Language Processing Units) 같은 추론 특화 칩으로 옮기고, 시간 단