한 장의 그림으로 이해하기

그림 크게 보기 ↗ (새 탭)
오픈 모델 · 판정 관망
그림을 글로 풀면
특수 토큰의 중복을 확인
대화 템플릿을 문자열로 만든 뒤 다시 토큰화한다면 특수 토큰 자동 추가 설정을 확인합니다.
- 대상
- Transformers로 대화형 오픈 모델을 연결하는 개발자
- 무엇이 바뀜
- 템플릿에 이미 들어간 토큰이 뒤 단계에서 중복될 수 있습니다.
- 왜 중요한가
- 입력 경계를 잘못 구성하면 모델이 기대한 형식과 달라집니다.
- 지금 할 일
- 템플릿 출력과 토큰화 옵션을 함께 기록합니다.
- 한계·미확인
- 개념 비유입니다. 모델 실행·답변 품질 비교 시험 없음.
- 공식 출처
- huggingface.co
- 확인일
- 2026-09-29
문장을 다듬기 전에 입력 조립을 살펴보기
가상의 사내 질문 도우미에서 모델을 바꾸자 답변이 이상해졌다고 생각해 봅니다. 이런 경우 지시문을 길게 고치는 것만으로 원인을 찾기 어렵습니다. AINOW는 사람이 쓴 질문, 대화 형식으로 조립한 문자열, 모델에 전달한 토큰을 구분해 보기를 제안합니다. 그림의 편지 가장자리가 겹친 모습은 질문 내용이 아니라 조립 과정에서 생긴 중복을 살펴보자는 비유입니다.
문자열 생성과 토큰화를 나눌 때의 주의점
공식 문서에 따르면 대화 템플릿은 모델이 기대하는 특수 토큰을 포함해야 합니다. 일부 토크나이저는 토큰화할 때 시작·끝 등의 특수 토큰을 추가하므로, apply_chat_template에서 tokenize=False로 얻은 문자열을 다시 토큰화할 때는 add_special_tokens=False를 지정해 중복을 피하도록 안내합니다. tokenize=True로 템플릿 적용과 토큰화를 함께 처리하는 경로도 있습니다. 이는 특수 토큰을 전부 지우라는 뜻이 아니라 이미 포함된 부분을 다시 붙이지 말자는 뜻입니다.
바뀐 모델과 입력 경로를 함께 기록하기
점검 기록에는 모델 식별자와 버전, 토크나이저, 사용한 템플릿, 별도 토큰화 여부를 함께 남기는 방식을 제안합니다. 서로 다른 모델이 같은 대화 형식을 쓴다고 가정하지 않습니다. 출력 문장을 보고 입력의 중복 토큰이 원인이라고 단정하는 것도 피합니다. 민감한 질문 원문 대신 공개 가능한 짧은 예제로 점검을 설계할 수 있지만, 이번 기사에서는 모델을 실행하거나 답변 품질을 비교하지 않았습니다.
참고 원문: Hugging Face Transformers 공식 문서 — Chat templates · 원문 게시일 상시 문서(확인일 기준) · 확인일 2026-09-29
AI 작성·자동 검증: 공식 자료와의 대조 및 게시 구조 검사. 사람의 개별 검수와 제품 실행 시험은 수행하지 않았습니다. 그림은 신규 생성한 개념 일러스트입니다.
이 글의 검증 카드
- 자료 버전
- Transformers main 문서·2026-09-29 확인. apply_chat_template의 tokenize와 별도 토큰화의 add_special_tokens 관계. 모델 설치·추론 시험 없음
- 확인일
- 2026-09-29
- 검증 상태
- 개발자 주장
- 한계·주의
- 개념 비유입니다. 모델 실행·답변 품질 비교 시험 없음.
함께 더 정확하게
질문·오류 제보
그림에서 이해되지 않는 부분이나 달라진 내용을 알려 주세요. 관리자가 확인하고 승인한 글만 공개됩니다.
개발에서는 이메일 인증 가입 또는 관리자 발급 계정으로 참여할 수 있습니다. 계정·이용 문의
아직 계정이 없으신가요? 회원가입
공개된 질문·제보
아직 공개된 질문·제보가 없습니다. 궁금한 부분을 먼저 남겨 주세요.