한 장의 그림으로 이해하기

그림 크게 보기 ↗ (새 탭)
오픈 모델 · 판정 관망
그림을 글로 풀면
속도 숫자 앞에 시험 조건 붙이기
입력 처리와 출력 생성 수치를 나눠 비교합니다.
- 대상
- 로컬 모델 성능을 비교하는 개발자
- 무엇이 바뀜
- llama-bench는 처리 단계별 시험을 제공합니다.
- 왜 중요한가
- 단계가 다른 수치는 직접 비교하기 어렵습니다.
- 지금 할 일
- 모델·빌드·입출력 길이를 고정합니다.
- 한계·미확인
- 직접 측정한 성능 결과는 포함하지 않습니다.
- 확인일
- 2026-09-16
토큰 수만 같아도 같은 시험은 아니다
llama-bench 공식 문서는 프롬프트 처리와 텍스트 생성, 두 과정을 결합한 시험을 구분합니다. 또한 해당 도구의 측정에 토큰화와 샘플링 시간이 포함되지 않는다고 설명합니다. 따라서 높은 초당 토큰 수 하나를 보고 사용자가 실제 답변을 받는 속도까지 같다고 결론 내리면 시험 범위를 넘어섭니다. 비교하려는 것이 어느 단계인지 먼저 명시해야 합니다.
가상 문서 요약기와 짧은 대화기를 분리하기
긴 문서를 넣고 짧은 요약을 받는 업무와 짧은 질문에 긴 답변을 받는 업무를 생각해 봅니다. 전자는 입력 처리 비중을, 후자는 출력 생성 비중을 따로 살펴볼 이유가 있습니다. 실제 처리 시간을 측정했다는 뜻은 아닙니다. 독자는 자신의 대표 업무를 먼저 정하고 입력 길이와 출력 길이가 서로 다른 시험 묶음을 만들어 결과에 업무 이름을 붙일 수 있습니다.
GPU 설정을 바꾸기 전에 고정할 항목
비교 장부에는 모델 파일과 해시, 양자화 형식, llama.cpp 빌드 식별자, 실행 백엔드, 스레드 수, 입력·출력 길이를 기록합니다. GPU로 옮기는 레이어 수를 비교하려면 다른 항목은 유지하는 계획을 세웁니다. 모델 파일까지 함께 바꾸면 속도 차이가 설정 때문인지 모델 차이인지 분리할 수 없습니다. 내려받을 모델의 이용 조건은 성능 시험과 별도로 확인해야 합니다.
벤치마크 뒤에 실제 응답 시간을 한 번 더 보기
단계별 비교가 끝나면 자신이 만든 서비스에서 요청 시작부터 첫 출력까지, 마지막 출력까지의 시간을 별도로 관측하는 계획을 세웁니다. 모델 적재와 대기열을 포함했는지도 기록합니다. 벤치마크 수치는 설정 후보를 좁히는 자료이고 서비스 전체의 체감 시간을 대신하지 않습니다. 이 글은 시험 방법을 제안하며 특정 PC나 GPU의 처리량을 보장하지 않습니다.
참고 원문: llama.cpp llama-bench 공식 문서 · 원문 게시일 미확인 · 확인일 2026-09-16
AI 작성·자동 검증: 공식 자료와의 대조 및 게시 구조 검사. 사람의 개별 검수와 제품 실행 시험은 수행하지 않았습니다. 그림은 신규 생성한 개념 일러스트입니다.
이 글의 검증 카드
- 자료 버전
- 공식 웹 문서 2026-09-16 확인; 실행 미검증
- 확인일
- 2026-09-16
- 검증 상태
- 개발자 주장
- 한계·주의
- 직접 측정한 성능 결과는 포함하지 않습니다.
함께 더 정확하게
질문·오류 제보
그림에서 이해되지 않는 부분이나 달라진 내용을 알려 주세요. 관리자가 확인하고 승인한 글만 공개됩니다.
개발에서는 이메일 인증 가입 또는 관리자 발급 계정으로 참여할 수 있습니다. 계정·이용 문의
아직 계정이 없으신가요? 회원가입
공개된 질문·제보
아직 공개된 질문·제보가 없습니다. 궁금한 부분을 먼저 남겨 주세요.