사람마다 제각기 노하우는 다르지만,
프롬프트를 잘 작성하면 LLM 모델의 결과물의 질이 좋아지는 것은 대체로 동의하는 것 같다.
(여담이지만, 이번에 나온 제미니 3.0을 보면 프롬프트를 건드리지 않아도 정말 좋아진 것이 느껴진다.. 정말 LLM 모델 개발 속도란…)
LLM 모델이 인간과 같아지기 위해서 가장 중요한 키워드를 인식과 추론이라고 생각해본다면, 오늘은 추론에 대해서 좀 더 깊게 들어가는 글의 시작점이 될 것 같다.
LLM 모델에게 질문하고 답변을 받을 때, 답변이 도출되는 과정을 추론(inference, reasoning)하고 이를 설명하도록 요청하는 것은 복잡한 질문에 대한 답변 성능을 엄청나게 끌어올린다. (아직도 chatGPT나 Gemini 를 검색 엔진처럼 쓰시는 분들은, 꼭 “Let’s think step by step” (단계별로 생각해 보자) 이거라도 추가해보길!!!)
| 비교 항목 | 표준 프롬프팅 (Standard) | Chain of Thought (CoT) |
|---|---|---|
| 방식 | 질문 $\rightarrow$ 정답 | 질문 $\rightarrow$ 논리적 추론 단계 $\rightarrow$ 정답 |
| 비유 | 수학 시험에서 답만 적는 것 | 수학 시험에서 풀이 과정을 함께 적는 것 |
| 장점 | 속도가 빠름 | 복잡한 문제의 정답률이 크게 올라감 |
| 단점 | 논리적 비약이 발생하기 쉬움 | 답변이 길어지고 리소스가 더 듦 |
이 논리적 추론 과정을 거치는 것을 멋진 단어로 chain of thought 라고 하는데, 기억만 해놓자.
중요한 것은 추론 과정을 LLM 에게 요청하면 다음의 장점이 있다는 것이다.
- 복잡한 문제 해결: 산술, 상식, 기호 추론 등 단순 패턴 매칭으로는 풀기 어려운 문제에 강하고,
- 해석 가능성 (Interpretability): AI가 왜 그런 결론을 내렸는지 사용자가 과정을 들여다보고 오류(hallucination 등)를 파악할 수도 있고
- 모델 성능 최적화: 모델의 파라미터(크기)를 늘리지 않고도, 프롬프트 방식만 바꾸어 성능을 높일 수 있는 직관적인 방법이다.
LLM 의 성능이 좋아진다는 피상적인 결과 이면에는 Chain of Thought 을 통해 LLM 모델이 단순 상관관계가 아닌 인과관계(correlation -> causal inference)를 설명할 수 있게 도와준다는 다소 통계학적인 설명도 있는데,
가설을 세우고 실험을 해서 결과를 통계분석 해보신 분들은 상관관계와 인과관계의 차이와 그 중요성에 대해서 공감하실 수 있으리라 생각된다.
현재는 많이 개선되었지만, 토큰의 패턴 매칭 기반의 LLM 모델이 가지고 있는 문제인 할루시네이션 해결에도 이 중간단계 추론과정은 꼭 필요해 보인다.
글을 적으며 떠올려보니, LLM 이전의 모델들이 training set 에 과적합되어 새로운 데이터 셋에 대한 모델 성능이 떨어지는 것과 할루시네이션이 개념적으로 유사하다는 생각도 든다.
추론 능력은 기억(또는 training set)에 의존하지 않고, 논리(Logic)를 통해 새로운 상황에서 정답을 도출하는 알고리즘이 될 수 있을 것 같다.
일단 관련 글에서는 아래 논문과 키워드를 차근 차근 리뷰해볼 계획이다(아래).
https://arxiv.org/abs/2305.15408
whole-slide base genotype prediction
https://www.nature.com/articles/s41591-024-03141-0
https://www.nature.com/articles/s41591-024-02857-3
https://www.biorxiv.org/content/10.1101/2024.11.11.623004v1.full.pdf
https://arxiv.org/abs/2412.10849
https://ai-2027.com
https://microsoft.ai/news/towards-humanist-superintelligence/
![[통계실전] 1. FDR 분석](https://overman.blog/wp-content/uploads/2025/03/0b92d-pexels-andreea-ch-371539-3371410.jpg?w=800)