한 장의 그림으로 이해하기

그림 크게 보기 ↗ (새 탭)
오픈 모델 · 판정 관망
그림을 글로 풀면
어휘와 모델의 크기 맞추기
토크나이저에 새 토큰을 넣었다면 모델의 임베딩 표도 새 어휘 크기와 맞춰야 합니다.
- 대상
- 직접 오픈 모델의 어휘를 확장하는 개발자
- 무엇이 바뀜
- 토큰 등록과 모델의 임베딩 확장은 별도 작업입니다.
- 왜 중요한가
- 목록에 새 항목이 있어도 모델 쪽 준비가 끝난 것은 아닙니다.
- 지금 할 일
- 추가 후 전체 어휘 크기를 확인하고 모델 확장·저장·재로딩을 점검하세요.
- 한계·미확인
- 개념 비유. 모델 실행·학습·재로딩 시험 없음. 의미 학습 완료를 뜻하지 않습니다.
- 공식 출처
- huggingface.co
- 확인일
- 2026-10-20
목록에 있는 별과 넣을 자리를 나누어 보기
가상의 문서 분류 실험에서 업무 전용 표기를 새 토큰으로 등록했다고 생각해 봅니다. 그림의 목록에 별이 생겨도 보관함에는 아직 대응하는 칸이 없습니다. AINOW는 어휘를 고친 기록과 모델을 고친 기록을 따로 남겨 두 부분이 같은 상태인지 확인하도록 제안합니다.
추가한 개수 대신 변경 뒤 전체 크기 확인하기
Transformers 공식 토크나이저 문서는 새로운 토큰을 어휘에 추가할 때 모델의 토큰 임베딩 표 크기도 맞추도록 안내합니다. resize_token_embeddings에 전달하는 것은 이번에 추가한 토큰 수가 아니라 변경 뒤 토크나이저의 전체 길이입니다. add_tokens의 반환값만 그대로 넘기는 혼동을 피해야 합니다.
크기 일치와 학습 완료는 다른 점검입니다
보관함을 확장하는 그림은 입력 토큰과 모델 구조를 맞추는 준비를 설명합니다. 새 표현을 원하는 의미로 이해한다는 검증 결과는 아닙니다. AINOW는 선택한 모델의 확장 지원을 확인하고 모델과 토크나이저를 함께 저장한 뒤 별도 환경에서 다시 불러와 시험하도록 제안합니다. 이번에는 모델 다운로드·실행·학습이나 저장 후 재로딩 시험을 하지 않았습니다.
참고 원문: Hugging Face 공식 Transformers 문서 — 토큰 추가와 임베딩 크기 · 원문 게시일 상시 문서(확인일 기준) · 확인일 2026-10-20
AI 작성·자동 검증: 공식 자료와의 대조 및 게시 구조 검사. 사람의 개별 검수와 제품 실행 시험은 수행하지 않았습니다. 그림은 신규 생성한 개념 일러스트입니다.
이 글의 검증 카드
- 자료 버전
- 2026-10-20 Transformers main Tokenizer 문서 확인. add_tokens·resize_token_embeddings 전체 어휘 크기 안내. 모델 실행·학습 시험 없음
- 확인일
- 2026-10-20
- 검증 상태
- 개발자 주장
- 한계·주의
- 개념 비유. 모델 실행·학습·재로딩 시험 없음. 의미 학습 완료를 뜻하지 않습니다.
함께 더 정확하게
질문·오류 제보
그림에서 이해되지 않는 부분이나 달라진 내용을 알려 주세요. 관리자가 확인하고 승인한 글만 공개됩니다.
개발에서는 이메일 인증 가입 또는 관리자 발급 계정으로 참여할 수 있습니다. 계정·이용 문의
아직 계정이 없으신가요? 회원가입
공개된 질문·제보
아직 공개된 질문·제보가 없습니다. 궁금한 부분을 먼저 남겨 주세요.