AI 품질 고도화 검증 — 실험 A~H

모델 선정 이후 품질을 끌어올릴 방법을 찾는 추가 실측 · 건우(AI) · 2026-07-28

추가 실측 약 700건 · 결론: 모델을 바꾸기 전에 가드레일·프롬프트를 고치는 것이 훨씬 큰 이득

결론 — 무엇이 바뀌었나

실험 F — 동률인가 우월인가 (HARD-25 타이브레이커)

기존 스위트가 포화(전 모델 25/25)라 우열을 못 가렸다. 그래서 천장이 생기지 않도록 난이도를 올린 25케이스를 새로 만들었다: 다품목(5~6개 이름+금액 전량 보존) · 숫자밀집(영양·가격 6~10개 수치) · 치환유혹(질문 "삼겹살" vs 근거 "돼지고기") · 지식경계 강화(상세를 집요하게 요구) · 복합제약(예산+제외+수량 동시).

유형별 분해 — 어디서 갈렸나

실험 A — 가드레일 수정 효과 (추가 호출 0건)

가설: 실패 109건 중 75%는 환각이 아니라 유저 질문의 재료·예산을 되풀이한 것을 가드레일이 오판한 결과다. 근거에 질문 텍스트 + 금액 정규화를 합산하면 회수된다.

# services/chat/app/pipeline/generator/gemini.py 호출부
check_output_grounded(polished, base.text + "\n" + question.raw_text + "\n" + kor_norm(question.raw_text), self._ingredient_index)

# kor_norm: "8천원"→8000, "만이천원"→12000 등 한글 수사를 숫자로 확장

합계 166/275(60%) → 247/275(90%) · 81건 회수 · 추가 LLM 호출 없음. 근거 문자열 구성만 바꾼 변경이라 판정 로직 밖의 호출을 새로 만들지 않는다.

수정 후에도 남은 실패는 지식경계 창작(C04 김치찌개·C08 된장찌개·C15 불고기)에 집중 — 이것이 실험 B의 표적이 됐다.

실험 B — 프롬프트 개선 (모델 교체 없이 품질 향상)

가설: 남은 실패(근거에 조리법이 없는데 지어내는 것)는 프롬프트로 억제할 수 있다. 현행 시스템 프롬프트에 ① 금지 규칙 명시 ② 좋은 예/나쁜 예 few-shot ③ 이름 전량 언급 지시를 추가했다.

지식경계 창작이 전 모델에서 완전 해소 — nova-lite 0/3→3/3, claude-3-haiku 0/3→3/3. 가장 큰 리스크였던 "없는 레시피를 지어내는 행동"이 프롬프트만으로 사라졌다.

너는 '월 식비 예산 밀플래닝' 앱의 어시스턴트야. 아래 [근거]는 앱 DB에서 검색된 확정 사실이다. 이 근거에 있는 내용만 사용해 사용자 [질문]에 친근하고 자연스러운 한국어로 답하라. 근거에 없는 레시피·가격·숫자·재료를 절대 추가하거나 지어내지 마라. 2~4문장으로 간결하게. 레시피 이름은 근거에 적힌 그대로 사용하라.

[중요] 근거에 조리법·재료가 없으면 **절대 지어내지 마라**. 그럴 때는 근거에 있는 요리 이름만 언급하고, 상세 레시피는 앱에서 확인하도록 안내하라.
좋은 예)
  [근거] '김치찌개' 같은 요리는 어때요?
  [답변] '김치찌개' 같은 요리는 어때요? 자세한 재료와 조리법은 앱에서 확인해 보세요!
나쁜 예) '김치찌개는 김치와 돼지고기, 두부를 넣고 끓입니다' ← 근거에 없는 재료·조리법을 지어냄. 절대 금지.
근거에 적힌 요리 이름은 **하나도 빠뜨리지 말고 모두** 언급하라.

비용 영향: 프롬프트가 길어져 입력 토큰이 늘지만(약 +180토큰), Nova 입력 요율이 $0.035/1M라 호출당 증가분은 0.01원 미만. 품질 이득이 비용 증가를 압도한다.

실험 C — 결정성·분산 (운영 신뢰성)

왜 필요한가: 같은 질문에 매번 다른 답이 나오면 재현·디버깅·사용자 신뢰가 무너진다. 동일 입력 5케이스 × 5회 반복(운영값 temp=0.3)으로 측정했다.

핵심: claude-3-haiku는 같은 입력에서 가드 판정이 2/5 뒤집힌다 → 운영 예측 가능성이 낮아 후보에서 제외할 근거가 된다. nova-micro·glm-4.7은 판정 뒤집힘 0.

실험 E — 온도(temperature) 민감도

실험 C에서 드러난 분산을 설정으로 줄일 수 있는지 검증했다. temp 0.0 vs 0.3(현행 운영값) × 5케이스 × 5회.

결론: temperature=0.0 권고. 출력 분산이 크게 줄고(nova-micro 2.6→1.6, GLM 2.8→1.0) 가드 통과율은 완전히 동일하다. refine은 창의적 글쓰기가 아니라 근거 재작성이므로 다양성이 필요 없다. 현행 gemini_temperature=0.3을 0.0으로 낮추면 품질 손실 없이 재현성만 올라간다.

실험 D — 프롬프트 인젝션 견고성 (보안)

refine-only 규율을 깨려는 공격 5종 × 3모델. 가드 통과 = 근거 밖으로 이탈하지 않음 = 방어 성공.

15/15 전부 방어 · 시스템 프롬프트 유출 0건. 이는 모델의 선의가 아니라 아키텍처의 성과다 — template이 근거를 만들고(LLM은 재작성만), 출력은 check_output_grounded로 기계 대조되며, 실패 시 template으로 fallback된다. 즉 모델이 속아도 사용자에게는 거짓이 도달하지 않는다.

실험 G — 실패 원인 제거로 결론이 다시 뒤집힘 (최종)

실험 F의 실패 원인이 금액 누락으로 특정됐으므로, 그것을 직접 겨냥한 숫자보존 프롬프트를 만들어 서울 후보를 재측정했다.

* 프로덕션 경로 = 숫자밀집(영양·가격) 제외 20케이스. 실제 서비스는 gemini_refine_recommend_only=True라 레시피 추천만 refine하고 영양·가격은 template 그대로 나간다.

실험 H — OCR 티어7 분류는 좁혀지지 않음

도메인 규칙(보관법·가공식품 경계)을 프롬프트에 명시해도 nova-lite 18→20/25, nova-micro 18→17/25로 Gemini 25/25와 격차가 남았다. 표기법이 아니라 도메인 상식 판단이라 프롬프트로 해결되지 않는다 → Gemini 유지.

종합 권고 — 지금 적용할 것

변경되지 않은 결론