오픈 모델에 새 토큰을 추가했다면 임베딩 표의 크기도 함께 맞추기

한 장의 그림으로 이해하기

점토 작업장의 개념 비유입니다. 펼친 목록은 토크나이저의 어휘, 원·네모·별 조각은 토큰, 보관함의 칸은 모델의 토큰 임베딩 표에 대응합니다. 왼쪽은 목록에 별을 추가했지만 별을 넣을 칸이 없고, 오른쪽은 별 칸을 확장해 목록과 맞춥니다. 가운데 화살표는 준비 순서입니다. 실제 임베딩은 모양별 보관함이 아니며 칸 확장이 의미 학습이나 성능 향상을 뜻하지 않습니다. 왼쪽 아래 넓은 공간은 배경 구조이며 사용 가능한 임베딩 칸을 나타내지 않습니다.
내용의 흐름을 표현한 설명용 그림입니다. 실제 제품 화면이나 실행 결과가 아닙니다.
그림 크게 보기 ↗ (새 탭)

오픈 모델 · 판정 관망

그림을 글로 풀면

어휘와 모델의 크기 맞추기

토크나이저에 새 토큰을 넣었다면 모델의 임베딩 표도 새 어휘 크기와 맞춰야 합니다.

대상
직접 오픈 모델의 어휘를 확장하는 개발자
무엇이 바뀜
토큰 등록과 모델의 임베딩 확장은 별도 작업입니다.
왜 중요한가
목록에 새 항목이 있어도 모델 쪽 준비가 끝난 것은 아닙니다.
지금 할 일
추가 후 전체 어휘 크기를 확인하고 모델 확장·저장·재로딩을 점검하세요.
한계·미확인
개념 비유. 모델 실행·학습·재로딩 시험 없음. 의미 학습 완료를 뜻하지 않습니다.
공식 출처
huggingface.co
확인일
2026-10-20

목록에 있는 별과 넣을 자리를 나누어 보기

가상의 문서 분류 실험에서 업무 전용 표기를 새 토큰으로 등록했다고 생각해 봅니다. 그림의 목록에 별이 생겨도 보관함에는 아직 대응하는 칸이 없습니다. AINOW는 어휘를 고친 기록과 모델을 고친 기록을 따로 남겨 두 부분이 같은 상태인지 확인하도록 제안합니다.

추가한 개수 대신 변경 뒤 전체 크기 확인하기

Transformers 공식 토크나이저 문서는 새로운 토큰을 어휘에 추가할 때 모델의 토큰 임베딩 표 크기도 맞추도록 안내합니다. resize_token_embeddings에 전달하는 것은 이번에 추가한 토큰 수가 아니라 변경 뒤 토크나이저의 전체 길이입니다. add_tokens의 반환값만 그대로 넘기는 혼동을 피해야 합니다.

크기 일치와 학습 완료는 다른 점검입니다

보관함을 확장하는 그림은 입력 토큰과 모델 구조를 맞추는 준비를 설명합니다. 새 표현을 원하는 의미로 이해한다는 검증 결과는 아닙니다. AINOW는 선택한 모델의 확장 지원을 확인하고 모델과 토크나이저를 함께 저장한 뒤 별도 환경에서 다시 불러와 시험하도록 제안합니다. 이번에는 모델 다운로드·실행·학습이나 저장 후 재로딩 시험을 하지 않았습니다.

참고 원문: Hugging Face 공식 Transformers 문서 — 토큰 추가와 임베딩 크기 · 원문 게시일 상시 문서(확인일 기준) · 확인일 2026-10-20

AI 작성·자동 검증: 공식 자료와의 대조 및 게시 구조 검사. 사람의 개별 검수와 제품 실행 시험은 수행하지 않았습니다. 그림은 신규 생성한 개념 일러스트입니다.

이 글의 검증 카드

자료 버전
2026-10-20 Transformers main Tokenizer 문서 확인. add_tokens·resize_token_embeddings 전체 어휘 크기 안내. 모델 실행·학습 시험 없음
확인일
2026-10-20
검증 상태
개발자 주장
한계·주의
개념 비유. 모델 실행·학습·재로딩 시험 없음. 의미 학습 완료를 뜻하지 않습니다.

함께 더 정확하게

질문·오류 제보

그림에서 이해되지 않는 부분이나 달라진 내용을 알려 주세요. 관리자가 확인하고 승인한 글만 공개됩니다.

공개된 질문·제보

    아직 공개된 질문·제보가 없습니다. 궁금한 부분을 먼저 남겨 주세요.