한 장의 그림으로 이해하기

그림 크게 보기 ↗ (새 탭)
오픈 모델 · 판정 관망
그림을 글로 풀면
생성 상한과 실제 길이 구분
max_new_tokens는 새로 만드는 토큰의 최대치이며 반드시 채우는 목표가 아닙니다.
- 대상
- 오픈 모델의 답변 길이를 조절하는 개발자
- 무엇이 바뀜
- 입력 토큰 수를 제외하고 생성 토큰의 상한을 정합니다.
- 왜 중요한가
- 종료 토큰 등으로 상한에 도달하기 전에 생성이 끝날 수 있습니다.
- 지금 할 일
- 생성 길이와 종료 조건을 기록하고 설정과 대조합니다.
- 한계·미확인
- 개념 비유입니다. 실제 추론·속도·품질 측정은 수행하지 않았습니다.
- 공식 출처
- huggingface.co
- 확인일
- 2026-09-22
선로 끝보다 먼저 조립을 멈출 수 있다
가상의 요약 작업에서 생성 상한을 올렸는데 답변 길이가 거의 그대로인 상황을 생각해 봅니다. 그림의 왼쪽 기차는 더 붙일 공간이 남아 있어도 조립을 멈췄습니다. 이 글은 상한 설정값과 실제 생성량을 서로 다른 기록으로 두고, 답변이 짧다는 이유만으로 한도 부족이라 판단하지 않는 점검법을 제안합니다.
max_new_tokens가 세는 대상
Transformers 공식 문서에서 max_new_tokens는 프롬프트의 토큰 수를 제외한 새 생성 토큰의 최대치입니다. 종료 토큰에 의해 더 일찍 끝날 수 있으므로 이 값을 원하는 답변 길이와 동일하게 취급해서는 안 됩니다. 토큰은 모델이 다루는 단위여서 한국어 글자 수와도 같지 않습니다. 이 설정이 입력 문서를 잘라내는 옵션이라는 뜻은 아닙니다.
길이를 늘리기 전에 끝난 이유 기록
이 글에서는 모델과 토크나이저 버전, 적용한 생성 설정, 실제 입력·출력 길이, 종료 토큰 여부를 함께 확인하도록 제안합니다. 상한까지 생성된 결과라도 문장이 완성됐는지는 따로 읽어 보세요. 짧게 끝난 결과에 상한만 더 주는 것이 해결책인지는 실제 비교가 필요합니다. 메모리 여유나 품질 향상을 보장하지 않으며 이번 제작에서는 모델 추론을 실행하지 않았습니다.
참고 원문: Hugging Face Transformers GenerationConfig 공식 문서 · 원문 게시일 상시 문서(게시일 별도 미표기) · 확인일 2026-09-22
AI 작성·자동 검증: 공식 자료와의 대조 및 게시 구조 검사. 사람의 개별 검수와 제품 실행 시험은 수행하지 않았습니다. 그림은 신규 생성한 개념 일러스트입니다.
이 글의 검증 카드
- 자료 버전
- Transformers Generation 상시 문서·2026-09-22 확인. max_new_tokens 및 종료 토큰. 모델·라이브러리 실행 없음
- 확인일
- 2026-09-22
- 검증 상태
- 개발자 주장
- 한계·주의
- 개념 비유입니다. 실제 추론·속도·품질 측정은 수행하지 않았습니다.
함께 더 정확하게
질문·오류 제보
그림에서 이해되지 않는 부분이나 달라진 내용을 알려 주세요. 관리자가 확인하고 승인한 글만 공개됩니다.
개발에서는 이메일 인증 가입 또는 관리자 발급 계정으로 참여할 수 있습니다. 계정·이용 문의
아직 계정이 없으신가요? 회원가입
공개된 질문·제보
아직 공개된 질문·제보가 없습니다. 궁금한 부분을 먼저 남겨 주세요.