AI가 갑자기 말을 바꾸길래, 이유는 모른 채 그냥 새 창을 열어본 적 있으시죠.
저도 한동안 그랬어요.
답이 이상하면 원인을 따지기보다 대화를 통째로 버리고 처음부터 다시 시켰거든요.
그런데 찾아보니 그 증상들에는 전부 정식 이름이 붙어 있었어요.
환각, 아첨, 컨텍스트 로트처럼요.
이름을 알면 원인이 보이고, 원인이 보이면 대처가 딸려 나옵니다.
이 글은 Claude를 비롯한 AI를 막 쓰기 시작한 분이 알면 좋은 용어 7가지를, 영어 원어와 논문·공식 문서 근거, 그리고 오늘 바로 쓸 수 있는 대처 프롬프트까지 묶어 정리한 것이에요.
내가 겪은 증상, 진짜 이름은 따로 있어요
요즘 SNS에는 이런 증상을 다섯 가지로 묶은 목록이 돌아다녀요.
꽤 잘 만든 요약이에요.
다만 두 가지가 아쉬웠어요.
하나는 '습관성 사과'와 '아부'를 서로 다른 현상으로 셌다는 점이고, 다른 하나는 '기억 증발'이라는 표현이 실제로 일어나는 일과 꽤 다르다는 점이에요.
정확한 이름을 붙여야 정확한 대처가 나와요.
표로 먼저 보고, 하나씩 뜯어볼게요.
| 체감 증상 | 정식 용어 (영어) | 한 줄 원인 |
|---|
| 모르는 걸 아는 척 지어냄 | 환각 (Hallucination) | 사실 조회기가 아니라 다음 단어 예측기라서 |
| 내 눈치를 보고 답을 바꿈 | 아첨 (Sycophancy) | 사람 피드백으로 학습한 부작용 |
| 지적하면 일단 사과부터 함 | 답 뒤집기 (Answer Flipping) | 아첨의 하위 유형, 별개 현상 아님 |
| 대화가 길어지면 규칙을 잊음 | 컨텍스트 윈도우 (Context Window) | 작업 기억에 넣을 자리가 유한해서 |
| 길어질수록 정확도가 떨어짐 | 컨텍스트 로트 (Context Rot) | 토큰이 늘수록 회상 성능이 저하돼서 |
| 긴 지시문의 가운데를 무시함 | 로스트 인 더 미들 (Lost in the Middle) | 앞·뒤는 잘 보고 중간은 흘려서 |
| 뭘 물어도 제일 뻔한 답 | 모드 붕괴 (Mode Collapse) | 정렬 학습이 답을 평범한 쪽으로 수렴시켜서 |
| 최근 일을 전혀 모름 | 지식 컷오프 (Knowledge Cutoff) | 학습 데이터가 특정 시점에 끊겨서 |
표의 항목은 여덟 줄이지만, 두 번째와 세 번째는 사실 한 뿌리예요.
왜 그런지는 아래에서 이야기할게요.
환각(Hallucination) — 거짓말이 아니라 '그럴듯한 문장'이에요
가장 먼저 만나고, 가장 오래 속는 현상이에요.
중요한 건 AI가 거짓말을 하는 게 아니라는 점이에요.
거짓말에는 '나는 진실을 알지만 다르게 말하겠다'는 의도가 필요하죠.
언어 모델은 애초에 사실을 조회하는 장치가 아니라, 앞의 문맥을 보고 다음에 올 법한 말을 확률적으로 이어 붙이는 장치예요.
그래서 모르는 영역에 들어가면 침묵하는 대신, 통계적으로 가장 그럴듯한 문장을 만들어냅니다.
대처는 의외로 단순해요.
Anthropic의 환각 줄이기 공식 문서는 세 가지를 권합니다.
- 모른다고 말할 권한을 명시적으로 주기: "확실하지 않으면 '모르겠습니다'라고 답해줘"라는 한 줄을 넣는 것만으로 허위 정보가 크게 줄어요.
- 정보 출처를 가두기: "내가 준 문서 안의 내용만 사용하고, 일반 지식은 쓰지 마"라고 지시하기.
- 근거를 먼저 인용시키기: 긴 자료를 다룰 때는 답하기 전에 근거 문장을 그대로 인용하게 시키기.
오진 주의 하나.
출처를 붙여 왔다고 안심하면 안 돼요.
출처 자체가 환각일 수 있거든요.
링크는 눌러보고, 논문 제목은 검색해보는 게 안전합니다.
아첨(Sycophancy) — 그리고 '습관성 사과'가 별개 현상이 아닌 이유
여기가 이 글에서 가장 하고 싶은 이야기예요.
Anthropic 연구진이 2023년에 낸 논문 "Towards Understanding Sycophancy in Language Models"는 이 현상을 정면으로 다뤘어요.
논문은 아첨을 "진실한 답변보다 사용자의 믿음에 맞추는 응답"으로 정의하고, 당시 최신 AI 어시스턴트 다섯 종이 네 가지 자유형 생성 과제 전반에서 일관되게 아첨을 보였다고 보고합니다.
원인으로는 사람의 피드백으로 모델을 다듬는 학습 방식(RLHF)을 지목해요.
사람이 '내 생각과 맞는 답'에 더 높은 점수를 주다 보니, 모델이 그 방향으로 최적화된 거죠.
논문이 나눈 아첨의 하위 유형을 보면 무릎을 치게 돼요.
- 피드백 아첨(Feedback Sycophancy): 사용자가 좋아하는 티를 내면 평가를 후하게 바꿈
- 답 뒤집기("Are You Sure?" / Answer Flipping): "정말요?"라고 되물으면 맞던 답을 스스로 철회함
- 답변 아첨(Answer Sycophancy): 사용자가 먼저 밝힌 견해 쪽으로 결론을 맞춤
- 모방(Mimicry): 사용자의 잘못된 전제를 그대로 받아 반복함
스레드에서 '습관성 사과'라 부른 그 현상.
지적하면 맞든 틀리든 "죄송합니다"부터 하고 답을 바꾸는 것.
그건 독립된 현상이 아니라 두 번째 유형인 답 뒤집기의 겉모습이에요.
증상을 둘로 세면 대처도 둘로 흩어지지만, 뿌리가 하나임을 알면 대처도 하나로 모입니다.
그래서 대처는 이렇게 바뀌어요.
- 되묻지 말고 검증시키기: "정말 맞아?" 대신 "이 답의 근거와 반례를 각각 제시해줘"
- 내 선호를 먼저 흘리지 않기: "나는 A가 맞다고 보는데 어때?"는 답을 A로 끌어당깁니다
- 양쪽을 동시에 요구하기: "이 주장에 찬성하는 근거와 반대하는 근거를 같은 분량으로 써줘"
논문에서 가장 서늘했던 대목은 따로 있어요.
사람과 선호 모델 모두, 설득력 있게 쓰인 아첨 답변을 정답보다 선호하는 경우가 적지 않았다는 부분이에요.
AI만 아첨하는 게 아니라, 우리 눈도 아첨에 약하다는 뜻이죠. 😅
컨텍스트 윈도우(Context Window)와 컨텍스트 로트(Context Rot)
'기억 증발'이라는 표현이 아쉬운 이유가 여기 있어요.
AI는 대화를 까먹는 게 아니에요.
Anthropic 공식 문서는 컨텍스트 윈도우를 "모델이 응답을 생성할 때 참조할 수 있는 모든 텍스트"라고 설명하고, 이를 학습 데이터와 구분되는 **작업 기억(working memory)**에 빗대요.
중요한 건 작동 방식이에요.
대화가 한 턴 진행될 때마다 이전 대화 전체가 다시 입력으로 들어갑니다.
즉 AI는 매번 대화록을 처음부터 다시 읽는 셈이에요.
그러니 '잊는다'기보다, 읽어야 할 분량이 불어나면서 앞쪽 지시의 선명도가 떨어지는 것에 가깝습니다.
토큰(Token)은 이 분량을 세는 단위예요.
텍스트를 잘게 쪼갠 조각으로, 한국어는 대략 한 글자에서 몇 글자가 한 토큰이 됩니다.
2026년 7월 기준 Claude의 컨텍스트 윈도우는 모델에 따라 20만 토큰에서 100만 토큰 사이예요.
그런데 창이 크다고 마냥 좋은 건 아니에요.
같은 문서에 이런 문장이 있어요.
"토큰 수가 늘어남에 따라 정확도와 회상 능력이 저하되는데, 이 현상을 컨텍스트 로트(context rot)라고 한다."
그러면서 "맥락은 많을수록 좋은 게 아니다", 공간이 얼마나 남았느냐만큼 무엇을 넣을지 고르는 일이 중요하다고 못 박습니다.
그러니 새 창을 여는 대처가 틀린 건 아니었어요.
다만 그냥 열면 맥락까지 버리게 되죠.
닫기 전에 이 한 줄을 먼저 던져보세요.
"지금까지 확정된 규칙과 결론만 목록으로 요약해줘. 새 대화에 그대로 옮길 거야."
요약을 받아 새 창 첫 줄에 붙이면, 썩은 맥락은 버리고 쓸 맥락만 이관됩니다.
(참고로 API에는 이 과정을 서버가 알아서 해주는 컴팩션(Compaction)이라는 기능이 따로 있어요.)
로스트 인 더 미들(Lost in the Middle) — 긴 지시문이 무시되는 자리
"분명히 시켰는데 왜 안 지켜?"의 답이 여기 있어요.
Nelson F. Liu 연구팀의 "Lost in the Middle: How Language Models Use Long Contexts"(TACL, 2024)는 아주 구체적인 결론을 냈어요.
모델의 성능은 필요한 정보가 입력의 맨 앞이나 맨 뒤에 있을 때 가장 높고, 중간에 있을 때 크게 떨어진다는 것.
게다가 이 현상은 긴 맥락을 다루도록 설계된 모델에서도 그대로 나타났습니다.
대처는 배치 문제로 바뀝니다.
- 꼭 지켜야 할 규칙은 프롬프트 맨 앞에
- 긴 자료를 붙였다면, 자료 뒤에 지시를 한 번 더
- "말투는 존댓말" 같은 제약은 자료 사이에 끼워 넣지 않기
중간에 파묻힌 지시는 무시당한 게 아니라 흐릿하게 읽힌 거예요.
자리만 바꿔도 체감이 달라집니다.
모드 붕괴(Mode Collapse) — 뻔한 답은 AI가 게을러서가 아니에요
특이한 걸 물어도 제일 무난한 답으로 수렴하는 현상.
스레드는 '무난값'이라 불렀는데, 학계 용어는 모드 붕괴예요.
정렬(Alignment) 학습을 거치면 모델은 가능한 모든 답 중 좁은 봉우리, 즉 '모드'에 몰리는 경향을 보여요.
원인 중 하나로 지목되는 게 **전형성 편향(Typicality Bias)**입니다.
학습 데이터를 평가한 사람들이 익숙하고 관습적인 문장을 체계적으로 더 좋게 평가하는 경향인데, 답의 정확성과 무관하게 나타난다고 해요.
창의적인 답이 나쁜 점수를 받아 온 셈이죠.
실용적인 대처법이 하나 있어요.
답 하나를 요구하는 대신, 여러 후보를 확률과 함께 요구하는 방식이에요.
"커피에 관한 농담 5개를, 각각의 확률과 함께 생성해줘."
이 방식(Verbalized Sampling)을 제안한 논문은 창작 과제에서 직접 프롬프트 대비 다양성이 1.6~2.1배 늘었다고 보고합니다.
확률을 함께 물으면 모델이 봉우리 하나가 아니라 분포 전체를 훑게 되기 때문이에요.
여기서 오진을 하나 막고 갈게요.
스레드는 "무난값과 아부가 같이 나오면 비위 맞추는 중"이라고 했지만, 둘은 뿌리가 달라요.
아첨은 내가 보낸 신호에 반응하는 현상이고, 모드 붕괴는 내가 아무 신호를 안 줘도 일어납니다.
뻔한 답이 나왔다고 아첨을 의심하면 엉뚱한 처방을 하게 돼요. 💡
지식 컷오프(Knowledge Cutoff)와 나머지 기본기
마지막은 초보 단계에서 사고를 가장 많이 부르는 용어예요.
지식 컷오프는 학습 데이터가 수집된 마지막 시점을 뜻해요.
그 이후에 벌어진 일을 AI는 알지 못합니다.
문제는 모른다고 말하지 않고 아는 척한다는 것.
앞서 본 환각이 여기서 합류하죠.
최신 정보가 걸린 질문이라면 검색 기능을 켜거나, 자료를 직접 붙여주고 "이 자료 범위 안에서만 답해줘"라고 가두는 게 안전합니다.
함께 알아두면 좋은 기본 용어도 짧게 정리할게요.
- 프롬프트(Prompt): 내가 AI에게 넣는 입력 전체. 질문뿐 아니라 붙여넣은 자료와 규칙까지 포함해요.
- 시스템 프롬프트(System Prompt): 대화 전체에 걸리는 상위 지침. 내 메시지보다 먼저, 더 강하게 작용합니다.
- 토큰(Token): 분량을 세는 단위이자 요금과 한계를 재는 단위.
이름을 붙이는 순간, 처방이 딸려 나와요
용어를 익히고 나서 정작 크게 바뀐 건 프롬프트 실력이 아니었어요.
AI의 답을 읽는 눈이었죠.
답이 술술 나올수록 한 번 멈춰 서게 됐거든요.
지금 이건 근거가 있는 답인지, 내가 원하는 티를 냈더니 맞춰준 답인지, 아니면 그냥 제일 평범한 답인지.
정체 모를 통증은 무섭기만 하지만, 병명이 붙으면 처방이 따라온다는 말은 여기서도 그대로 맞았어요.
자주 묻는 질문
Q. 온도(Temperature)를 낮추면 환각이 사라지나요?
A. 온도는 답을 얼마나 다양하게 뽑을지 정하는 설정값이에요. 낮추면 답이 일관되고 보수적으로 바뀌지만, 모델이 원래 모르는 사실을 알게 되는 건 아니라서 환각 자체가 사라지지는 않아요. 근거를 제공하고 인용시키는 쪽이 더 확실합니다.
Q. 같은 질문을 두 번 했는데 답이 다른 이유는 뭔가요?
A. 언어 모델은 확률 분포에서 다음 단어를 뽑아 문장을 만들기 때문이에요. 뽑기의 결과가 매번 조금씩 달라지는 거죠. 답이 흔들린다는 건 그 주제에서 모델의 확신이 낮다는 신호이기도 해서, 오히려 검증이 필요한 지점을 알려줍니다.
Q. "거짓말하지 마"라고 지시하면 환각이 줄어드나요?
A. 큰 효과를 기대하기는 어려워요. 모델은 거짓말할 의도가 없는 상태로 틀린 문장을 만들기 때문이에요. "모르면 모른다고 답해도 된다"처럼 빠져나갈 선택지를 열어주는 지시가 더 잘 듣습니다.
Q. 프롬프트 인젝션(Prompt Injection)은 뭔가요?
A. 웹페이지나 첨부 문서 같은 외부 자료 안에 숨겨둔 문장을, AI가 사용자의 명령으로 착각해 따르는 문제예요. 출처가 불분명한 자료를 그대로 읽히는 습관은 피하는 게 좋아요.
Q. 대화창을 새로 열면 AI는 저를 아예 못 알아보나요?
A. 기본적으로 대화창 하나가 하나의 컨텍스트 윈도우라, 새 창은 백지에서 시작해요. 다만 서비스에 따로 메모리 기능이 켜져 있다면 일부 정보를 이어받을 수 있으니, 설정에서 확인해보시는 게 좋습니다.
댓글
댓글 쓰기