padding패딩

padding은 길이가 다른 token 시퀀스를 하나의 batch(여러 입력을 묶어 한 번에 처리하는 단위)로 처리할 수 있도록 짧은 시퀀스에 padding token 같은 값을 채워 길이를 맞추는 기법이다. 채운 위치는 보통 attention mask로 실제 입력과 구분하며, 원래 문장의 내용을 늘리는 것과는 다르다. 합성곱 신경망에서 입력 가장자리에 0 등의 값을 채워 출력 크기를 조절하는 것도 padding이라 한다.

이 설명은 AIPOST 기사와 널리 알려진 사실을 바탕으로 정리했습니다. 잘못된 내용이 있으면 정정 요청으로 알려 주세요.