AI 답이 매번 다르게 나올 때

한 줄 답

답이 흔들리는 건 실력 문제가 아니라 지시문 형식 문제입니다. 「잘 써줘」는 매번 다르게 해석되고, 해석이 다르면 결과도 달라집니다. 흔들림을 줄이는 건 프롬프트 길이가 아니라 판정 기준입니다. 결과가 갖춰야 할 조건 3개를 적고 「조건을 못 지키면 못 지킨 항목을 말하라」를 붙이면, 평균 품질보다 편차가 먼저 잡힙니다. 첨부의 프롬프트 고정화 프롬프트와 프롬프트 관리표 (xlsx)을 쓰면 40분 안에 자주 쓰는 프롬프트 5개를 조건 3개짜리 고정판으로 바꾼 관리표가 나옵니다.

이런 증상이면 이 자료입니다

· 어제 쓴 프롬프트를 그대로 붙였는데 오늘은 톤이 완전히 달라졌다 · 상세페이지 문구를 뽑을 때마다 길이가 800자, 1,500자, 300자로 튄다 · 결과가 마음에 안 들어 「다시」를 세 번 쳤고, 그중 뭐가 나았는지 기억이 안 난다 · 프롬프트를 계속 길게 고쳐 쓰는데 좋아지는 느낌이 없다

왜 안 풀렸나 — 프롬프트가 「부탁」으로 쓰여 있다

흔한 통념은 「프롬프트를 더 자세히, 더 길게 쓰면 안정된다」입니다. 그래서 역할 설정을 붙이고, 예시를 넣고, 문장을 늘립니다. 그런데 늘어난 문장 대부분이 여전히 부탁입니다. 「자연스럽게」 「전문가처럼」 「매력적으로」. 이 단어들은 검사할 수 없습니다.

검사할 수 없는 지시는 그때그때 다르게 채워집니다. 같은 프롬프트라도 앞선 대화, 붙인 자료, 문장 순서에 따라 해석이 흔들립니다. 어제 잘 나온 건 실력이 아니라 그날의 해석이 마음에 맞았던 것입니다.

그래서 고칠 지점은 「무엇을 부탁했는가」가 아니라 「무엇으로 합격을 판정하는가」입니다. 합격선이 프롬프트 안에 없으면 AI는 자기 기준으로 합격을 선언합니다. 편차는 거기서 생깁니다.

조건 3개 — 세거나 볼 수 있는 것만 적는다

· 분량 조건: 「600~700자」처럼 셀 수 있게. 「적당히」는 조건이 아닙니다. · 구조 조건: 「소제목 3개, 각 소제목 아래 2문단」처럼 눈으로 확인되는 형태로. · 금지 조건: 「느낌표 금지」 「최고·완벽 같은 단어 금지」처럼 검색해서 찾을 수 있게.

조건은 3개까지가 좋습니다. 5개를 넘기면 서로 부딪히고, 부딪히면 AI가 임의로 하나를 버립니다. 그 순간 편차가 돌아옵니다.

자기 점검 한 줄 — 「못 지킨 항목을 말하라」

조건만 적으면 절반입니다. 마지막에 한 줄을 붙입니다. 「위 조건 3개를 지켰는지 항목별로 확인하고, 못 지킨 항목이 있으면 결과 아래에 적어라.」 이 문장이 있으면 클로드가 자기 결과를 조건에 대고 맞춰 봅니다. 못 지켰다고 스스로 적는 경우도 생깁니다. 그게 오히려 이득입니다. 어디가 틀렸는지 읽고 고칠 수 있으니까요.

이 한 줄이 붙으면 「다시」를 막 누르지 않게 됩니다. 재시도할 때도 「2번 조건만 다시」처럼 좁혀서 요청합니다. 대화가 짧아지고, 결과 비교가 가능해집니다.

쓰는 법 — 총 40분

1단계 (10분). 최근 2주간 실제로 쓴 프롬프트를 5개 골라 관리표에 붙입니다. 자주 쓰는 것부터. 한 번 쓰고 버린 건 넣지 마세요.

2단계 (15분). 프롬프트 고정화 프롬프트를 클로드에 넣고 원본 프롬프트를 붙입니다. 조건 3개 후보가 나옵니다. 그중 「셀 수 있는가」를 통과한 것만 남깁니다. 통과가 2개면 2개로 갑니다. 억지로 3개를 만들지 않습니다.

3단계 (10분). 고정판으로 같은 작업을 3번 돌립니다. 결과 3개의 분량과 구조를 비교합니다. 셋이 비슷하면 성공, 하나라도 크게 튀면 조건 문장이 모호한 것입니다. 그 조건만 다시 씁니다.

4단계 (5분). 관리표에 시도 횟수와 성공 횟수를 적습니다. 성공률이 자동으로 계산되고 70% 미만은 「손볼 것」으로 표시됩니다. 표시된 행만 다음 주에 다시 봅니다.

나오는 결과

· 조건 3개와 자기 점검 한 줄이 들어간 고정판 프롬프트 5개 · 목적·조건·마지막 수정일·성공률이 한 화면에 보이는 관리표 · 「손볼 것」으로 표시된 프롬프트 목록. 다음에 뭘 고칠지 정해집니다

한 가지 주의

아이디어를 넓히는 작업에는 맞지 않습니다. 이름 후보를 30개 받거나 각도를 탐색할 때는 편차가 자산입니다. 조건을 걸면 비슷한 답만 30개 나옵니다. 고정화는 반복해서 납품하는 결과물, 매주 쓰는 문구, 형식이 정해진 문서에 씁니다.

되돌리기 힘든 실수는 원본 프롬프트를 지우고 고정판으로 덮어쓰는 것입니다. 고정판이 더 나쁠 때 비교할 대상이 사라집니다. 관리표에 원본 열을 남기고, 수정할 때마다 마지막 수정일을 갱신하세요.

받는 파일 (ZIP 1개, 3종)

· 본문 PDF — 조건 3개 만드는 기준과 자기 점검 한 줄의 문장 예시 · 프롬프트 고정화 프롬프트 (.txt) — 기존 프롬프트를 붙이면 검사 가능한 조건 후보를 뽑아 주는 지시문 · 프롬프트 관리표 (xlsx) — 목적·조건 3개·마지막 수정일·성공률 자동 계산, 70% 미만 「손볼 것」 표시

이 구조는 퀀텀점프가 AI로 창업·부업을 시작하는 1인 사업자들과 실제로 쓰면서 정리한 것입니다.