GPU그래픽 처리 장치
GPU는 그래픽과 대규모 병렬 연산을 처리하며 AI 모델의 학습·추론에도 쓰이는 프로세서다.
GPU는 그래픽 처리 장치로, 여러 연산을 동시에 처리하도록 설계된 프로세서다. 다양한 작업을 두루 수행하는 CPU와 달리 병렬 계산에 강점이 있어 화면 그래픽뿐 아니라 AI 모델의 학습과 추론에도 쓰인다.
GPU의 메모리 용량과 대역폭은 대형 언어 모델을 실행할 때 중요한 하드웨어 조건이다.
이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.
이 항목을 다룬 기사
16GB GPU에서 돌린 2비트 Qwen 27B, 웹 앱은 거뜬하고 3D는 아쉬움
그리고 수천 개의 GPU가 필요한 모델 학습과 달리, harness 개발은 소프트웨어 개발이어서 개인 개발자도 충분히 뛰어들 수 있는 영역입니다.
Gemma 4는 상업적 이용과 수정이 자유로운 Apache 2.0 라이선스로 공개됐고, 휴대전화에서 돌릴 2B부터 GPU 한 장에 올릴 31B까지 다섯 가지 크기로 나옵니다.
GPU 가속 렌더링을 하는 Ghostty의 라이브러리 libghostty 위에 Swift와 AppKit으로 만들어 Electron을 쓰지 않고, socket 기반 CLI로 제어할 수도 있습니다.
SpaceX의 AI 부문은 남는 GPU를 빌려주는 클라우드가 됐습니다
다만 실행할 수 있는 GPU가 필요하고, 대여 GPU를 쓰면 임대 비용이 발생합니다.
RunPod Flash로 이미지 생성 AI SaaS(웹에서 제공하는 소프트웨어 서비스)를 만들면, GPU를 계속 켜 두는 대신 요청에 맞춰 작업자를 실행할 수 있습니다.
agent는 제안한 코드를 GPU 클러스터에서 실행하고, 학습 로그를 측정한 뒤 다음 시도를 결정했습니다.
▲ 데이터센터 GPU 집적
완전 비동기 GRPO(여러 시도를 묶어 상대 비교로 정책을 개선하는 RL 알고리즘)를 오픈소스 Miles 프레임워크로 구현했고, rollout 생성은 GPU 기울기 갱신과 나란히 비동기로 돌리되 rollout이 얼마나 뒤처져도 되는지에 상한을 둡니다.
메모리 대역폭 초당 1TB 이상 상위 전용 GPU의 약 20~30%
GPU 코어 80개 80개 (코어마다 뉴럴 가속기 내장)