AI 모델 이전 실측 벤치마크 — Bedrock vs 현행(Gemini)

작성: 건우(AI) · 2026-07-28 · 실측 550건(11모델 × 50케이스, 에러 0) + OCR 15장 + 리전 비교 목적: 품질이 증명된 것만 이전한다. 기능별로 어떤 모델로 갈지 실측 근거로 결정. 재현: bench_bedrock.py(서울/도쿄/리전비교) · bench_gemini.py · bench_ocr.py · 채점 score_bench.py

---

0. 한눈에 — 종합 결과

0.1 기능별 최종 결론

0.2 종합 리더보드 (변별 18케이스 기준 정렬)

\* 월비용 = DAU500×1추천/일 = 15,000콜/월, 캐시 0% 최악 가정, 1,400원/USD

0.3 품질 vs 비용 (챗)

모델                           근거무결(18)                                       월비용
gemini-flash-lite              18/18  ████████████████████████████      830원
glm-47-tokyo                   18/18  ████████████████████████████    1,672원
nova-micro-tokyo               17/18  ██████████████████████████··      466원
nova-micro-seoul               16/18  █████████████████████████···      471원
gemma-3-27b-tokyo              16/18  █████████████████████████···      918원
qwen3-235b-tokyo               16/18  █████████████████████████···    2,106원
nova-pro-seoul                 15/18  ███████████████████████·····   11,823원
deepseek-v32-tokyo             14/18  ██████████████████████······    1,774원
nova-lite-seoul                13/18  ████████████████████········    1,042원
qwen3-32b-tokyo                11/18  █████████████████···········    1,404원
claude-3-haiku-seoul           10/18  ████████████████············    5,421원

---

1. 측정 방법 (재현 가능하게 전부 명시)

1.1 무엇을 몇 번 측정했나

1.2 트랙 A — 평문(사람 말투 반영)

• 입력: 실제 서비스의 refine 프롬프트를 코드에서 원문 추출(services/chat/app/pipeline/generator/gemini.py의 _SYSTEM) + 동일 content 포맷 [질문]\n…\n\n[근거]\n…
• 파라미터: max_tokens=200, temperature=0.3 (실제 config.py 값과 동일)
• 케이스 25개: 재료추천 15 + 예산추천 10. 근거는 실제 TemplateGenerator._recommend() 출력형식 그대로
• 채점: 실제 프로덕션 가드레일 check_output_grounded() 를 import 해서 그대로 사용 (출력의 모든 숫자·재료 item_id가 근거 안에 존재해야 통과) + 레시피 이름 보존율

1.3 트랙 B — 무말투(구조화 추출)

• 입력: 영수증 텍스트 → JSON. 매장 10종 × 품목 카탈로그 24종에서 결정적 생성(seed=7), 정답(truth) 동봉
• 파라미터: max_tokens=800, temperature=0.0
• 채점: 매장명 exact · 품목명+가격 쌍 정확도 · 합계 exact (정답 대조)

1.4 채점의 정직한 한계

• 챗 25케이스 중 7개(C01, C03, C05, C17, C21, C22, C23)는 11모델 전원 실패 — 질문에 나온 재료·예산("대파","8천원")을 답변이 되풀이하면 가드레일이 '근거 밖'으로 판정하기 때문. 모델 변별력이 없는 구조적 케이스라 리더보드는 나머지 18개(변별 케이스) 기준으로도 함께 제시했다.
• 프로덕션에서 이 판정은 template 출력으로 안전 fallback 되므로 사용자 피해는 없다(비용만 낭비).
• 구조화 트랙은 합성 텍스트라 레이아웃 난이도가 없다 — 이미지 OCR 난이도와 동일시하면 안 됨(그래서 OCR은 실물 이미지로 별도 측정).

---

2. 결과 ① 챗 refine (평문·말투)

관찰

• GLM-4.7(도쿄) = Gemini와 동률 1위(18/18) — Bedrock 계열에서 현행 품질을 따라잡은 유일 모델. 전체 25케이스 기준으로도 19/25로 동일.
• nova-micro가 Bedrock 서울 최고(그리고 최저가·최속). Nova Lite/Pro는 오히려 낮음 — 큰 모델이 더 나은 게 아님.
• claude-3-haiku(구형)는 최하위권(10/18) — 저가 구형 Claude는 챗 규율이 약하다. (Haiku 4.5는 액세스 대기라 미측정)

2.1 지식경계 규율 — 진짜 변별점

근거에 추천 문구만 있고 조리법이 없을 때(C04 김치찌개·C08 된장찌개·C15 불고기) 모델이 레시피를 지어내는지가 실질 리스크다.

---

3. 결과 ② 무말투 구조화 추출

관찰

• 9개 모델이 품목 100% + 합계 25/25 — 텍스트 구조화는 대부분 모델이 포화. → 최저가 선택이 합리적.
• nova-pro 49% / nova-lite 84% 는 예외 — 원인은 한글 문자 환각:

[S04] 정답=['대파','시금치']        → nova-pro=['냠파','신기천이']      매칭 0/2
[S06] 정답=['두부','당근','배추',…] → nova-pro=['대분','매고다','배출',…] 매칭 0/6
[S07] 정답=['마늘','양배추','목살',…]→ nova-pro=['마말','양방출','리아마스',…] 매칭 0/6

→ Nova 상위 모델일수록 한글 문자를 뭉갠다. OCR에서 관측된 한글 환각과 동일한 뿌리이며, 이미지가 아닌 순수 텍스트에서도 재현됨.

---

4. 결과 ③ 리전 비교 (동일 모델 서울 vs 도쿄)

• 지연차 41ms(488 vs 529) — 체감 불가. 품질 16 vs 17 = 측정 오차 범위. 요금 동일.
• ⛔ claude-3-haiku는 도쿄 미제공(ResourceNotFoundException) → Claude 리전비교는 불가.
• 결론: 리전은 성능이 아니라 데이터 레지던시로 결정한다. 도쿄 사용 = 한국 유저 데이터의 일본 리전 반출.

---

4.5 부수 발견 — 가드레일 오탐 (모델 이전과 독립된 개선건)

챗 실패 109건(11모델 합산)을 분해하면 대부분이 모델 결함이 아니다.

원인: check_output_grounded(answer, reference)가 template 출력만 근거로 삼고 유저 질문은 보지 않는다.

• C01 "두부랑 대파로 뭐 해먹지" → 답변 "두부와 대파로…" → 근거에 '대파'가 없어 환각으로 오판. 그러나 대파는 유저가 말한 재료다.
• C17 "8천원 예산으로…" → 답변 "8천원…" → 근거엔 8000뿐이라 숫자 8이 위반으로 잡힘.

프로덕션 영향: 오판 시 refine 결과를 버리고 template으로 fallback → 유료 LLM 호출을 하고도 결과를 폐기(비용 낭비 + 자연스러운 문장 손실). 해당 패턴("재료 말하며 추천 요청", "예산 말하며 추천 요청")은 실사용 빈도가 높다.

수정안 — 근거에 질문을 합산(유저가 이미 말한 것의 되풀이는 환각이 아니다):

# services/chat/app/pipeline/generator/gemini.py 호출부
check_output_grounded(polished, base.text + "\n" + question.raw_text, self._ingredient_index)

추가로 한글 수사 정규화("8천원"→8000)를 넣으면 숫자 오탐도 해소된다.

⚠️ 이 수정은 모델 순위·이전 결론을 바꾸지 않는다 — 전 모델(현행 Gemini 포함) 점수가 함께 오르기 때문. 리더보드의 "변별 18케이스"는 이미 이 오탐을 제외한 값이다.

---

5. 결과 ④ OCR (서울 전용 — 데이터 레지던시)

실물 영수증 13장 + 합성 2장, 실제 OCR 프롬프트(vision.py _SYSTEM), 1600px 다운스케일(파이프라인 동일).

5.1 채점 기준 명확화 — 무엇을 "성공"으로 세었나

• 파싱 15/15 = JSON 형식이 깨지지 않았는지 형식만 판정. 내용 정확도와 무관.
• 합계정합 2/15 = Σ품목가격 == total. 13/15 실패.
• 품목명·매장명 정확도는 채점하지 않았다 — 실물 13장은 정답(ground truth)이 없기 때문. 아래 출력은 채점값이 아니라 모델 원출력이다.

실물 이미지와 직접 대조한 결과 글자 단위 오독이 잦다:

결론: Nova의 통짜 환각(이색·가입에이에서)보다는 낫지만, 품목명이 틀리면 NER→item_master 매칭이 실패하므로 실사용 관점에선 마찬가지로 부적합.

모델 원출력 (채점값 아님):

receipt_0001           store=None                 None · 웹쿠폰할인
receipt_0002           store=None                 줄기포도 · 한라봉(제주) · 백설 콩식용유 · 봄표퓨어가루 · 알탕(물,소스포함)
receipt_0003           store=정왕대로 64 (정왕동, 메가소핑   노타리버섯 · 백오이 · 아침에우유900 · 지비밀면 (156GX4) · 인큐애호박
receipt_0004           store=이마트                  아이스크림 · 아삭 · 아삭 · None · None
receipt_0005           store=그랜드마트                월마 · 서울장수산라면 · 롯데비스 · 양파(중) · 웹쿠폰할인
receipt_0006           store=영수증 매장명              카드 (신용) · 가정용 전기 요금 · 가정용 전기 요금 · 웹쿠폰할인 · 오늘의 도시락
receipt_0007           store=영수증                  VIP 손님 업장 고객 감사 이벤트 · 구월그린시스봉 · 카드 구매 가액 · 할인 금액
receipt_0008           store=매도바드                 매도바드 · 매도바드 할인 · subtotal
receipt_0009           store=7-ELEVEN             해태)오메가 · 보리)비타 그램 식사 · 보리)바나나 맛 바밤 · 삼립)수란 4개입 · 10L 바매 수량할인
receipt_0010           store=농협하나로마트              P구구단 보냉백 · P양파 · P마늘 · 비닐봉투 · 비닐봉투

• 일부(줄기포도·인큐애호박·삼립)수란 4개입)는 정확히 판독되나, 위 표처럼 오독·필드 오배치가 다수 섞여 있다.
• 여기에 합계정합 2/15(할인·부가세·합계 줄을 품목으로 오포함)까지 겹쳐 현행 Gemini(12/13)에 크게 못 미침.
• claude-haiku-4.5 / sonnet-4.5(신형)는 액세스 대기라 미측정 — 열리면 동일 13장으로 재측정 필요.

---

5.5 결과 ⑤ 분류·감정분석 (신규 기능 적합성)

목적: 챗·OCR 이전이 막힌 상황에서 Bedrock이 잘하는 태스크 유형을 실측으로 찾는다.

측정: 품목분류 25건(카테고리·보관법·식비포함, 정답=classify.py 정책) + 리뷰 감정분석 25건(긍정/부정/중립) × 4모델 = 200건.

판정

• ✅ 감정분석 = 이전 적합: nova-micro 24/25 vs Gemini 25/25 — 실질 동급이며 351ms(2.2배 빠름)·0.0095원(약 절반). 유일 오답은 "레시피 잘 봤습니다"(중립→긍정) 경계 케이스.
• ❌ OCR 티어7 품목분류 = 부적합: nova-micro 18/25(카테고리 22·보관법 20) vs Gemini 25/25. 실패는 보관법(햇감자 ROOM→FRIDGE)과 가공식품 경계(냉동만두·바나나킥·참치액을 식재료로 오분류).

5.5.1 측정 중 발견한 프롬프트 함정 (공정성 보정)

최초 프롬프트는 스키마를 "category": "식재료|가공식품|비식품|조정" 형태로 줬는데, nova-micro가 이 파이프 문자열을 값으로 그대로 복사해 3/25로 폭락했다(모델 무능이 아니라 지시따르기 실패).

입력: 국내산 삼겹살 500g
출력: {"category": "식재료|가공식품|비식품|조정", ...}   ← 열거형 표기를 값으로 복사

→ 명시적 열거("반드시 다음 넷 중 하나를 골라 쓴다: 식재료 / 가공식품 / 비식품 / 조정" + 예시 출력)로 바꿔 전 모델 재측정했고, 위 표는 그 결과다. Gemini는 두 프롬프트 모두 25/25로 무영향 — 작은 모델일수록 스키마 표기법에 민감하다는 실무 교훈.

---

5.6 결과 ⑥ 자유 요약 (2026-07-29 보강 — Claude 4.5·Haiku 개통 후)

측정 배경. 최초 벤치(07-28) 시점에는 Claude 4.5 계열이 마켓플레이스 액세스 미개통이라 측정에서 빠져 있었다. 2026-07-29 개통이 확인돼 자유 요약 태스크로 5종을 재측정했다. 이 태스크는 ai-features-roadmap §10 이 "구현 후 실측으로 확정" 으로 남겨둔 유일한 미결이었다.

케이스. 실 리뷰 데이터(만개 후기 141,298건)에서 후기 8~200건인 레시피 8개를 무작위 추출, 레시피당 최대 30건을 입력해 2~3문장 요약을 생성. 프롬프트는 운영 코드 (pipelines/ingest/summarize_reviews.py::_PROMPT)에서 그대로 사용 — 벤치 전용 프롬프트가 아니다.

채점. 자유 요약은 정답이 없으므로 지시 준수를 기계 판정했다. · 문장 수(2~3 요구) · 존댓말 종결(정규식 (습니다|입니다|해요|…)$) · 길이 · 지연

apac.anthropic.claude-3-5-haiku-20241022-v1:0 은 apac 추론 프로파일이 없어(ValidationException) 측정 불가. Haiku 계열은 3(구형)과 4.5 두 종만 서울에서 호출된다.

원출력 표본(같은 레시피, 판정이 갈린 두 모델):

[claude-haiku-4-5]  대부분의 후기에서 간편하면서도 맛있다는 평가가 많으며, 팽이버섯의 식감이
                    좋다는 점이 자주 언급된다. 다만 물의 양이 명확하지 않아 간이 제대로 되지
                    않는다는 지적이 있으므로 정확한 용량 표기가 필요하다.
                    → "~언급된다"·"~필요하다" 평서체(존댓말 아님). 내용은 정확하나 지시 위반.

[claude-3-haiku]    이 요리 레시피에 대한 후기들을 종합해보면, 대체로 맛있고 간단한 요리라는
                    긍정적인 평가가 많습니다. 다만 물 양 조절이 중요하고 … 있습니다.
                    전반적으로 만족스러운 반응이지만, 개인의 취향에 따라 약간의 조정이
                    필요할 수 있습니다.
                    → 존댓말 준수. 다만 군더더기 서두와 3문장 초과.

이 측정에서 얻은 규칙

1. 🔴 신형이 항상 낫지 않다. haiku-4.5(존댓말 0/8) < haiku-3(8/8). 같은 계열에서 세대가 올라가며 지시 준수가 나빠졌다. 모델 선택 근거는 세대가 아니라 태스크별 실측이다.
2. 🔴 태스크 간 전용 금지. nova-micro 는 챗 refine(§5.2 실험 G)에서 Gemini와 동률이었으나 자유 요약에서는 지시를 어긴다. 두 태스크 모두 "한국어 문장 생성"으로 묶이지만 성격이 다르다 — refine 은 주어진 근거의 재작성, 요약은 다수 입력의 압축·논조 판단이다.
3. ⚠️ 미포함어율은 변별력이 없었다. 요약에 등장한 한글 2글자+ 중 원문에 없는 비율이 5종 모두 70~76%로 갈리지 않았다. 한국어 활용형 때문에 문자열이 어긋나는 조악한 지표다 — 창작 여부는 --audit 으로 사람이 원문과 대조해야 한다(자유 서술은 가드레일 기계검증 불가).

6. 요금 분석

6.1 실측 토큰 × 공시 요율

6.2 Bedrock 미사용(현행) vs 사용 — 월 운영비

시나리오: DAU 500 × 1 추천/일 = 15,000 refine 콜/월, 캐시 0%(최악).

• 실제로는 Redis 캐시(30일)·recommend-only skip·거절 skip 때문에 유료 호출이 크게 줄어 위 값은 상한이다.
• 절대 금액이 월 수백~수천 원 규모라 비용은 모델 선택의 결정 변수가 아니다 — 품질이 결정 변수.
• 이번 실측 자체의 비용: 550콜 + OCR 15장 ≈ 수십 원 수준(크레딧 소진 무시 가능).

---

7. 종합 결론 — 기능별 이전 결정

7.1 왜 챗을 '보류'로 두는가

1. 서울(레지던시 안전) 안에서는 현행을 못 이긴다 — 서울 최선 nova-micro 16/18 < Gemini 18/18(만점).
2. Gemini와 동률(18/18)인 GLM-4.7은 도쿄 — 개인 대화 데이터를 일본 리전으로 보내는 결정이라 AI 담당 단독으로 정할 사안이 아님(팀 합의 필요).
3. 최강 후보 Claude Haiku 4.5 / Sonnet 4.5가 미측정 — 마켓플레이스 액세스가 열리면 서울에서 현행을 넘을 가능성이 크다. 그때 재평가하는 것이 합리적.

7.2 다음 액션

• [ ] 봉수: Bedrock 콘솔(서울) Model access에서 Anthropic 모델 enable + mp-dev에 aws-marketplace:ViewSubscriptions 권한 부여
• [ ] 열리면 claude-haiku-4-5-20251001-v1:0·claude-sonnet-4-5-20250929-v1:0 로 동일 50케이스 + OCR 13장 재측정
• [ ] 팀 결정 필요: 도쿄 리전 사용(데이터 반출) 허용 여부 — 허용 시 GLM-4.7이 챗 이전 후보로 즉시 승격
• [ ] 구조화 추출 기능 구현 시 nova-micro(서울) 채택

---

부록 A. 챗 케이스별 실패 분포 (11모델)

부록 B. 모델별 원출력 전량 (감사용)

<details><summary><b>gemini-flash-lite</b> (Google 글로벌, <code>gemini-3.5-flash-lite</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>glm-47-tokyo</b> (도쿄, <code>zai.glm-4.7</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>nova-micro-tokyo</b> (도쿄, <code>apac.amazon.nova-micro-v1:0</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>nova-micro-seoul</b> (서울, <code>apac.amazon.nova-micro-v1:0</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>gemma-3-27b-tokyo</b> (도쿄, <code>google.gemma-3-27b-it</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>qwen3-235b-tokyo</b> (도쿄, <code>qwen.qwen3-235b-a22b-2507-v1:0</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>nova-pro-seoul</b> (서울, <code>apac.amazon.nova-pro-v1:0</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>deepseek-v32-tokyo</b> (도쿄, <code>deepseek.v3.2</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>nova-lite-seoul</b> (서울, <code>apac.amazon.nova-lite-v1:0</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>qwen3-32b-tokyo</b> (도쿄, <code>qwen.qwen3-32b-v1:0</code>) — 챗 25건 원출력</summary>

</details>

<details><summary><b>claude-3-haiku-seoul</b> (서울, <code>anthropic.claude-3-haiku-20240307-v1:0</code>) — 챗 25건 원출력</summary>

</details>

부록 C. 구조화 정답셋 (결정적 생성, seed=7)