bfloat16

bfloat16은 Google Brain이 고안한 16비트 부동소수점 형식으로, bf16으로도 쓰며 AI 모델의 학습과 추론에 사용된다. 이름은 brain floating point에서 왔다. 부호 1비트, 지수부 8비트, 가수부 7비트로 구성되어 32비트 형식(fp32)과 같은 지수 범위를 가진다. fp16보다 나타낼 수 있는 값의 범위는 넓지만 가수부 비트가 적어 수치 정밀도는 낮다.

Google TPU를 비롯해 여러 AI 가속기와 GPU가 bfloat16 연산을 지원한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.