1. AI가 답을 만드는 원리
모델이 텍스트를 예측하는 기본 구조
🧒
초딩
제가 채팅창에 질문 치면, AI가 그걸 "이해"해서 대답하는 거 맞죠?🧑💻
코딩천재
여기서부터 헷갈리기 쉬운데 — 질문 하나 할게. 너가 "오늘 날씨 참 좋"까지만 듣고, 다음 말을 맞혀보라고 하면 뭐라고 할 것 같아?🧒
초딩
음... "네"요? 아니면 "다"?🧑💻
코딩천재
바로 그거야. 너는 지금 "이해"한 게 아니라, 앞 문맥을 보고 다음에 올 가능성이 제일 높은 말을 예측한 거야. LLM(거대언어모델)이 하는 일이 정확히 이거야 — "지금까지 나온 글자들을 보고, 다음에 올 토큰이 뭘지 확률로 계산해서 제일 그럴듯한 걸 내놓는다." 그걸 한 글자씩, 한 단어 조각씩 계속 반복하는 거지.🧒
초딩
어? 근데 그럼 AI는 "생각"을 안 하는 거예요? 그냥 다음 단어 맞히기 게임?🧑💻
코딩천재
정확히는 — "다음 토큰 맞히기"를 엄청나게 잘하려면, 결국 문법도 알아야 하고, 사실관계도 알아야 하고, 논리도 따라갈 줄 알아야 해. 인터넷의 거의 모든 글을 보면서 그 예측을 잘하는 방향으로 파라미터(숫자 수천억 개)를 계속 조정한 게 지금의 모델이야. 그래서 결과적으로는 "이해하는 것처럼 보이는" 답이 나오는 거고. 사람처럼 의식하고 생각하는 것과는 다르지만, 실용적으로는 꽤 쓸만한 수준까지 온 거지.💡 핵심
AI는 질문을 "이해"한다기보다, 지금까지 나온 텍스트(컨텍스트) 뒤에 올 확률이 가장 높은 다음 토큰을 하나씩 예측해서 이어붙입니다. 이 과정을 추론(inference)이라고 부릅니다.
🧒
초딩
그럼 왜 같은 질문을 두 번 하면 대답이 조금씩 달라져요?🧑💻
코딩천재
좋은 질문. 모델이 매번 "가장 확률 높은 토큰 딱 하나만" 고르면 항상 똑같은 답만 나오겠지? 근데 그러면 너무 뻔하고 재미없는 글이 되거든. 그래서 확률 상위권 후보들 중에서 약간 랜덤하게 고르는 걸 허용해 — 이걸 temperature(온도)라고 불러. 그래서 매번 살짝 다른 표현이 나오는 거야. 답의 "핵심 내용"은 대체로 비슷하지만, 표현이나 순서는 조금씩 달라질 수 있어.🧒
초딩
근데 이게 "실전 에이전틱 코딩" 책 이해하는 거랑 무슨 상관이에요?🧑💻
코딩천재
여기가 진짜 중요한 지점이야. "AI가 다음 토큰을 예측하는 게 전부"라면, AI 혼자서는 파일을 읽거나 코드를 실행할 수 없어. 텍스트만 만들 수 있으니까. 그런데 Claude Code 같은 도구를 쓰면 AI가 실제로 파일을 고치고, 명령어를 실행하고, 배포까지 해. 그게 어떻게 가능한 걸까? 다음 장에서 그 얘기를 할 거야 — 텍스트만 만드는 모델이 어떻게 "행동"까지 하게 되는지.