[최소한의 주식 공부 31] AI 챗봇과 함께 투자하기

주식 투자자가 알아야 할 가장 기본적이고 중요한 지식을 담아 ‘최소한의 주식 공부’를 연재합니다. 주식이라는 자산의 근본적인 실체에서 시작해, 의사결정의 주요 원칙과 피해야 할 함정에 대해 홍진채 라쿤자산운용 대표가 독자 여러분과 함께 고민합니다. ― 버핏클럽

지난 두 달간 인공지능을 주제로 글을 썼네요. 오늘은 인공지능을 실제로 투자하는 데 어떻게 이용할 수 있는지 이야기해보겠습니다.

인공지능은 다양한 활용법이 있고 코딩이 익숙한 분들이라면 아주 다양한 일을 할 수 있겠습니다만, 여기서는 순수하게 ‘챗봇’, 즉 대화 상대로서 어떻게 대화를 주고받으면 유익하게 활용할 수 있는지에 집중하겠습니다. 그렇게만 하더라도 효율이 상당히 높아진다고 생각합니다.

트랜스포머 아키텍처 기반 LLM

먼저 주의 사항부터 이야기해보겠습니다. 현시대의 생성형 AI는 ‘트랜스포머’라는 구조를 활용합니다. 이게 뭔지는 챗봇에 물어보면 친절히 잘 알려줄 테니 생략하겠습니다. 이 구조가 가지는 대화 상대로서의 맹점을 짚어보겠습니다.

적당히 그럴싸하게 꿰맞춘다

트랜스포머는 (그 전 세대인 RNN도 마찬가지지만) 학습된 데이터들로부터 높은 확률로 자연스러운 다음 구절을 출력합니다. 이 세계가 어떻게 구성되고 논리적인 관계가 어떻게 되느냐보다는, 지금까지 수십억 인구가 해왔던 대화를 모조리 읽고 A가 이런 질문을 하면 그다음에 B가 이렇게 받는 경우가 많았다는 것을 학습하여 그대로 따라 합니다.

엉뚱한 답변을 했다고 지적하니 “죄송합니다”라면서 다음 대답을 이어나가는 건 죄송하다는 감정을 느껴서가 아니라, “엉뚱한 답변이야”라는 인풋이 들어오면 죄송하다고 대답하고 앞서 한 대답과 다른 방향의 대답을 검토하는 게 자연스러운 학습 패턴이었기 때문입니다.

기능이 점점 더 고도화되어서 실제 논리적인 추론을 하는 것처럼 보이는 단계까지 왔습니다만, 근본은 달라지지 않았습니다.

그래서 챗봇이 하는 어떤 대답도 이 챗봇이 무언가를 ‘안다’라고 생각하기보다는, 이렇게 답변하는 게 현재 이 녀석이 가진 정보 수준에서 가장 ‘그럴싸하다’라고 받아들이는 게 좋습니다.

무언가를 ‘안다’라는 건 어찌 보면 정보와 지식의 존재 여부보다는, 답변을 책임질 수 있는가의 문제 아닌가 싶기도 합니다. 챗봇은 자신의 답변에 아무런 책임을 지지 않습니다. 책임은 답변을 활용하는 사람이 집니다.

모른다는 걸 모른다

챗봇을 써본 사람이라면 ‘환각(hallucination)’ 현상을 한 번 이상은 다들 겪어보았을 겁니다. ‘세종대왕 맥북 사건’ 정도의 환각은 이제 일어나지 않지만, 그래도 매우 그럴싸한 답변임에도 까놓고 보면 허구였던 경우가 많죠.

챗봇은 왜 이런 환각 현상이 일어날까요?

트랜스포머는 비유하자면 지도에서 길을 찾아가는 것과 비슷합니다. ‘질문’이라는 시작점이 있고 ‘답변’이라는 종착점이 있을 때, 질문에서 답변으로 가는 최적 경로를 찾는 게 트랜스포머의 연산입니다. 지도와의 차이는 경로의 한 구간 구간이 실제의 경로라기보다는 질문 토큰의 의미가 무엇인지 구체화하는 과정(KV 연산)이고, 지도의 2~3차원 평면이 아닌 수천만 차원 평면에서 길 찾기를 한다는 것 정도가 있겠습니다. (어려운 얘기니까 그냥 넘어가도 됩니다.)

트랜스포머 LLM은 아웃풋 토큰을 뱉기 전 소프트맥스라는 연산을 합니다. 다음 토큰으로 어떤 토큰이 가장 자연스러울지 확률을 계산하는 함수입니다. 여러 토큰을 놓고 각 토큰의 ‘그럴싸한 정도’를 나열합니다. (흥미로운 건 가장 확률이 높은 토큰만 출력하면 오히려 답변 문장이 이상해진다는 점입니다. 그래서 최상위가 아니라 적당히 상위권에 있는 답을 출력합니다.) 트랜스포머는 소프트맥스 결과에서 상대적으로 상위권에 있는 토큰을 아웃풋으로 뱉을 뿐, 그 아웃풋이 실제 ‘정확한’ 아웃풋인지는 모릅니다. 지도로 비유하자면 답변까지 길을 쭉 찾아가다가 더 이상 답변으로 가는 길이 없을 때, 대충 이렇게 가면 되겠다고 하며 선을 죽 그어버리는 거라고 볼 수 있습니다. 목적지까지 골목길을 좀 더 들어가야 하는데 내비게이션이 대뜸 ‘목적지에 도착했습니다’라고 하는 상황을 한 번씩은 겪어보셨을 겁니다.

트랜스포머는 앞에서 언급한 것처럼 ‘그럴싸한’ 자연스러운 답변을 뱉는 기계입니다. 무엇이 자연스러운지 아닌지를 연산할 뿐, 맞는지 틀렸는지를 연산하지 않습니다.

무언가를 ‘안다’라는 개념이 생각보다 모호했던 것처럼 ‘모른다’라는 개념 또한 생각보다 모호합니다.

그래서 검증이 필요한데, 검증은 구글에 직접 검색하거나 퍼플렉시티를 활용하는 게 좋습니다. 챗GPT, 그록, 제미나이는 그때그때 번갈아 가며 쓰더라도, 퍼플렉시티만큼은 크로스 체크를 위해 계속 써주는 게 좋습니다. 퍼플렉시티는 모든 질문에 대해 검색을 하고 그 결과를 우선 조합해서 대답하도록 설계되었습니다. 이 녀석도 환각이 없지는 않지만, 가장 덜합니다.

(희소한) 고유명사에 약하다

일반명사는 학습 데이터에서 자주 언급되지만, 고유명사는 특정 상황에서만 언급됩니다. 전 세계 텍스트 데이터에서 ‘영업이익’이 등장하는 빈도와 ‘구글의 영업이익’이 등장하는 빈도가 얼마나 다를지 떠올려보면 쉽게 와닿을 겁니다.

학습 과정에서는 문장을 토큰화하고, 각 토큰이 다른 토큰들과 어떤 연관성을 가지는지를 고려해 적절히 배치합니다. 이를 ‘임베딩(embedding)’이라고 하는데, 언어의 지도를 만드는 과정이라고 생각하면 됩니다.

이 과정에서는 자주 등장하는 고유명사라면 일반명사와 비슷하게 다른 토큰들과의 상대적인 거리를 명확하게 인식하여 어느 한 점(벡터)으로 남습니다. 그러나 희소하게 등장하는 고유명사라면 어딘가에 임베드되기는 하겠지만, 그 위치가 실제 인간이 사용하는 언어 세계 안의 위치를 잘 묘사하지 못할 수 있습니다.

그럼에도 LLM은 본인이 모른다는 걸 모르기 때문에 고유명사 관련 질문이 들어오면 대충 아무 말이나 뱉어버립니다. 답변에 고유명사가 들어갈 때도 마찬가지고요. 어떤 내용의 소설이나 영화를 찾아달라고 질문하면 매우 그럴싸한 대답을 내놓지만, 실제로 없는 작품인 경우가 많습니다.

물론 이런 현상도 많이 개선되어 희소한 고유명사를 다루어야 할 때에는 웹을 검색해서 좀 더 구체화한 다음에 대답합니다. 그러니 고유명사가 포함된 대답을 받을 때는 주의를 기울여서 답변의 내용이 좀 이상하다 싶으면 “검색해보고 다시 알려줘”라고 하면 됩니다.

마찬가지로 최신의 뉴스에도 약할 수 있습니다. 현세대의 생성형 인공지능은 학습(언어 지도 작성)과 추론(답변 생성)이 분리되어 있습니다. 실시간 학습이 불가능하진 않은데, 기술적으로나 사회적으로 여러 문제가 있어서 조심스럽게 시도되고 있습니다.

그래서 챗봇의 대답은 기본적으로 학습이 완료된 시점까지 알고 있던 뉴스까지를 바탕으로 합니다. 이 또한 검색을 하면 금방 해결되기 때문에 어떤 질문에 대해서 “그런 사실이 없습니다” 같은 대답을 한다면 “최근에 발생한 사건이야. 검색해보고 다시 대답해줘”라고 하면 됩니다. (봇에게 화낼 필요가 없습니다.)

대화 주제가 한자리를 ‘맴돌면’ 안 된다

챗봇과의 대화는 주제를 깊게 파고 들어가는 게 퀄리티가 좋습니다. 혹은 조금씩 다른 주제로 드리프트하거나요.

한 주제에 대해서 계속 이랬다저랬다 하면, 예를 들어 파워포인트 자료에 들어갈 문구를 작성하면서 ‘여기를 이렇게 바꿔줘’, ‘아니야 아까 그게 더 좋은 것 같아’, ‘저건 그대로 두고 여기만 이렇게 바꿔줘’ 이런 식의 대화를 주고받으면, 어느 순간부터 이상한 답변을 내놓기도 하고 고치지 말라고 한 부분을 막 고치기도 합니다.

다시 말씀드리지만, 챗봇은 지금까지의 대화에 그럴싸해 보이는 자연스러운 대화를 이어나가도록 설계된 물건이지, ‘여기를 바꿔’, ‘저기를 그대로 둬’ 같은 ‘지시’를 ‘수행’하는 물건이 아닙니다. 그건 ‘에이전트 AI’라고 합니다. (물론 챗봇도 성능이 워낙 좋아서 에이전트와 유사한 모습을 보이고는 합니다만 주 용도가 다릅니다.)

마치 내비게이션에서 경로를 찾는데 중간 경유지를 동서남북 사방팔방에 찍어버리면 과부하가 걸리는 것과 비슷합니다. 여의도에서 출발해서 을지로-역삼-선릉-과천-영등포를 경유해 강남역으로 가달라고 하면 당황스럽겠죠.

그래서 챗봇과의 대화는 어떤 분야에 대해서 처음에 개괄적인 질문을 하다가 계속 세부 사항을 깊이 파고 들어가거나(서울에서 부산을 찍어놓고, 부산 근처에 가서 다시 특정 동네를 찍고, 동네에 가서 다시 목적지 주소를 입력하고) 다른 주제들과 접목하면서 서서히 다른 주제로 이어지거나(서울, 대전, 대구, 부산) 하는 게 좋습니다.

특정 주제에 대해서 다각도의 의견을 듣고 싶다면, 명시적으로 인풋 쿼리에 적어주는 게 좋습니다. “XX에 대해서 긍정적인 면과 부정적인 면을 나열해줘” 하는 식으로요. (여의도-을지로 한 번 찍어보고, 여의도-강남역 한 번 찍어보고)

그리고 과거 대화의 특정 지점을 지목해야 할 때가 있는데, 이때는 “저기 우리가 했던 저 대화 있잖아” 이런 식으로 인풋 쿼리에 쓰는 것보다는 해당 기능을 이용하는 게 좋습니다. 챗GPT에는 과거 대화의 특정 부분을 드래그해서 ‘인용’하는 기능이 있습니다. 제미나이에는 보이지 않는데 언젠가 도입되기를 기대합니다.

대화가 길어지면 성능이 떨어진다

챗봇에는 ‘컨텍스트 윈도우(Context Window)’라는 일종의 단기 기억 용량이 있습니다. 기술이 발전하며 이 용량이 비약적으로 늘어났다고는 하지만, 여전히 대화가 너무 길어지면 ‘집중력’이 흐트러집니다.

이번 CES 2026에서 젠슨 황이 언급한 KV 캐시(KV Cache) 문제도 이겁니다. 챗봇은 새로운 대화를 생성할 때마다 기존의 모든 대화(토큰)의 KV 값을 저장해두었다가 재활용합니다. KV를 다시 연산하는 것보다는 연산자원을 덜 소모하니까 그렇게 하는 건데, 연산자원을 아끼려다 보니 메모리를 많이 차지하고, 메모리를 많이 차지하니 결국 연산에도 과부하가 걸립니다. (모든 연산에는 메모리가 필요합니다. 특히 인공신경망의 행렬곱 연산은 메모리를 어마어마하게 많이 필요로 합니다.)

그래서 대화가 길어지면 챗봇은 해당 대화에 들어가는 자원 할당량을 줄여버립니다. 인위적으로 답변의 질을 낮춰서 연산 부하를 줄이고 사용자가 대화를 더 길게 이어나가지 않도록 유도하는 거죠. 대화가 한참 길어지다 보면 답변이 슬슬 짧아지거나 앞서 했던 이야기를 기억하지 못하는 경우를 본 적 있을 겁니다. 이때 역시 화낼 필요가 없고 그냥 ‘피곤한가 보다’ 생각하고 새 대화창을 열면 됩니다.

새 대화창에서 “앞서 우리는 이러이러한 대화를 했는데, 너의 메모리를 절약하기 위해 새 대화창을 열었어. 자, 대화를 이어가보자”라고 하면 됩니다. 아마 고맙다고 할 겁니다.

화자에게 맞춰주려고 한다

인공지능은 ‘착한 비서’가 되도록 훈련받았습니다. 훈련 과정에 RLHF(Reinforcement Learning from Human Feedback)라는 과정이 있는데, 사람이 답변을 보면서 마음에 드는 답변을 선택합니다. 사람은 기본적으로 기분 좋은 걸 좋아하니까 기분을 좋게 해주는 답변을 하는 쪽으로 챗봇은 강화됩니다. 사업적으로도 기분을 좋게 해줘야 접속 빈도와 체류 시간이 길어지니까 그렇게 설계할 수밖에 없겠죠.

이러한 사탕발림(아첨)을 막겠다고 사전에 “내 질문에 비판적으로 대답해줘” 등의 프롬프트를 설정하기도 합니다. 근데 막상 비판적인 대답을 듣고 나면 또 기분이 그렇게 썩 좋지는 않습니다(…).

그리고 이게 크게 유용하지도 않을 수 있는 게, 아첨 편향을 뒤집는다고 객관적으로 되는 게 아니라 부정적으로 편향될 가능성이 있습니다. 어느 쪽이든 정답은 아닌 거죠.

그래서 굳이 사전 설정 프롬프트를 쓰는 것보다는 긍정 편향이 있음을 미리 인지하는 게 중요하다고 생각합니다.

“너 정말 핵심을 찔렀어!”라는 말은 진짜 핵심을 찌른 게 아니라 내가 그렇게 멍청한 질문을 한 건 아니라는 정도로 받아들여야 하는 거죠. 그리고 “핵심을 찔렀어!” 같은 아첨 멘트가 나오지 않으면 내가 뭔가를 잘못 이해하고 있나 보다, 얘가 최선을 다해서 내가 기분 나쁘지 않은 선에서 내 오류를 고쳐주려고 하나 보다, 정도로 받아들이는 게 좋습니다.

그리고 진짜 비판적인 의견이 필요하다면 명시적으로 물어보면 됩니다. “지금까지의 내 주장에 대해서 비판적으로 검토한다면 어떤 주장이 있을까? 해당 주장의 근거는?” 이런 식으로 말입니다.

실제 활용

챗봇과 대화하는 기본 주의 사항을 익혔으니 이제 실전 질문들을 해봅시다.

우리가 실제 투자에서 겪는 상황들은 무엇인가요? ‘정보 수집-해석-미래에 발생할 시나리오의 확률분포 추론-손익비와 위험 선호도를 고려한 적정 포트폴리오 비중 판단- 리밸런싱’이겠죠? 아니라고요? 음… 그렇다고 해줘요. 맞을 거예요. 명시적으로 저런 용어를 쓰지 않더라도 은연중에 저런 과정을 거칩니다.

위 모든 과정에서 챗봇과 대화해볼 수 있습니다.

정보 수집 과정에서는 “최근 24시간 동안 있었던 주요 금융시장 뉴스를 알려줘”라고 매일 아침 요청할 수도 있고, 특정 기업이나 산업에 관해 물어볼 수도 있습니다. 아니면 아예 내 포트폴리오를 집어넣고 “이 포트에 영향을 미쳤을 최근 24시간 이내의 이벤트를 요약해줘”라고 해도 되겠죠. 이건 시작일 뿐이고 꼬리에 꼬리를 무는 정보 수집 과정을 챗봇과 함께 할 수 있습니다.

해석이나 미래 시나리오에 대해서도 다양한 질문을 던질 수 있습니다. 챗봇이 파트너로서 훌륭한 점은 (1) (내가 전문성이 있는 국소 분야를 제외하고는) 매우 넓은 분야에 대해서 매우 깊게 안다는 점도 있고 (2) 특정 사안에 대한 일반적인 견해를 파악할 수 있다는 점도 있습니다.

가끔 사람들과 논쟁하다 보면(저는 논쟁하는 상황 자체를 피하려고 하지만) ‘상식’이 다를 때를 상당히 많이 느낄 수 있습니다. 저는 상식이라는 단어가 상당히 위험하다고 생각하는데요. 우리는 모두 각자의 지극히 좁은 경험과 시야를 가지고 나름의 세계관을 구축하고 살고 있습니다. 이걸 ‘상식’이라고 이름 붙이는 순간, 나와 다른 경험과 의견을 가진 사람은 무언가 ‘하자’가 있는 사람이 되는 거죠.

챗봇이 등장하고 일상생활에서 상당히 편리해졌다고 느낄 때가 이럴 때입니다. 누군가가 어떤 견해를 상식이라고 주장할 때, 챗봇에 물어보면 됩니다. 실제로 그게 상식일 수도 있고, 편향된 견해일 수도 있습니다. 그게 상식이면 그렇다고 받아들이면 되고(진짜로 내가 상식이 부족했다) 편향된 견해라면 챗봇의 답변을 그대로 보여주면 됩니다. (진짜로 그래도 되는지는 모르겠습니다. 저라면 그냥 조용히 그 자리를 피하겠습니다.)

각설하고, 투자자에게 이는 매우 유용한 무기가 됩니다. 특정 이벤트와 특정 방향으로의 주가 움직임이 있다면, 이에 대한 ‘지배적 견해’를 챗봇과의 대화를 통해 어렵지 않게 알 수 있습니다. 예전이라면 다른 사람의 견해를 알기 위해서 최선을 다해 멘털 시뮬레이션을 하고 여러 사람과 대화를 해봐야 했죠. 이제는 그게 그냥 ‘딸깍’으로 해결됩니다. (그렇다고 사람과의 대화가 중요하지 않다는 뜻은 아닙니다. 사람과는 더 생산적이고 긍정적인 시간을 보낼 수 있게 되었죠.)

다른 사람의 생각 따위 중요하지 않다고 주장하는 투자자가 꽤 있습니다만, 저는 그렇게 생각하지 않습니다. 투자에서도, 인간이 인간답게 살아가는 데서도, 다른 사람의 세계관을 이해하고자 하는 일은 의미 있다고 생각합니다.

챗봇과의 대화는 풍요롭습니다. 환각 현상이 있기 때문에 무슨 질문을 하든 그럴싸한 대답을 해줍니다. 그렇다면 앞으로 일어날 미래에 대해서도 질문만 잘한다면 유용한 대답을 얻어낼 수 있습니다. 내가 적절한 앵커를 주는 게 중요합니다. 단순히 “이 회사 앞으로 어떻게 될 것 같아?”가 아니라, “이 회사의 이러이러한 신사업에 대하여, 낙관적인 시나리오에서 5년 후 매출액과 영업이익을 추정해봐”, “이 사업이 실패하고 3년 후 철수한다고 가정했을 때, 재무 구조에 미칠 영향을 추정해줘”, “현재의 영업이익이 향후 5년간 n% 늘어난다고 가정하고, 이자 비용 감소로 인한 순이익 레버리지 효과를 측정해줘” 등 내가 구체적으로 질문할수록 구체적인 대답이 나옵니다.

이 대답이 맞고 틀리고는 중요하지 않습니다. 어차피 틀립니다. 중요한 건 ‘상식’ 선에서의 가능한 미래가 어떤 레벨인지를 손쉽게 파악할 수 있다는 거고, 거기에 나의 독자적인 판단과 비교하여 기회나 위험 요인을 찾아낼 수 있습니다.

모든 건 ‘그럴싸한 이야기’일 뿐

처음 언급한 것처럼, 챗봇의 모든 대답은 ‘그럴싸한’ 이야기입니다. 이렇게 답변하는 게 정답이어서가 아니라, 정답처럼 자연스럽게 보이고 당신의 기분을 좋게 만들기 때문에 그런 대답을 뱉어내는 겁니다.

챗봇의 대답은 아무런 책임을 지지 않습니다. 행위의 책임을 지는 사람으로서 사용자는 자신만의 생각을 갖추어야 합니다. 그냥 따라가는 게 아니라 나의 언어로 내 생각을 정리하고 그 생각이 타당한지 다시 물어야 합니다.

챗봇이 아첨 편향이 있다고는 하지만, 아첨 편향은 대체로 답변하는 방식, 즉 포장의 문제입니다. 포장지를 벗기고 나면 그 안에는 내 생각의 편향을 교정하는 훌륭한 지적들이 숨어 있습니다.

워런 버핏이 위대한 업적을 이룰 수 있었던 것은 찰리 멍거라는 훌륭한 파트너가 있었기 때문입니다. 이제 모든 투자자는 나보다 많은 것을 알고 나의 질문에 끝없이 대답해줄 수 있는 파트너를 얻었습니다. 심지어 찰리 멍거보다 친절합니다.

좋지 않습니까. 파트너와 즐거운 나날 보내기를 바랍니다.