Last updated on 3월 26th, 2025 at 11:52 오후
AI 레전드가 직접 알려주는 LLM 활용법
오픈AI의 창립 멤버이자 AI계의 전설인 안드레 카파시가 자신의 유튜브에서 LLM(Large Language Model)을 실용적으로 사용하는 방법을 소개했어요. ChatGPT를 예시로 들어 LLM과 상호작용하는 기본 원리를 설명하고, 다양한 LLM 서비스(Gemini, Claude, Grok 등)와 그 특징을 비교하는데요. 아마 많은 분들이 이 영상을 통해 LLM의 기본 원리를 이해하고, 이를 효과적으로 활용하여 생산성을 높일 수 있을 것 같아요.
🤔지금부터 카파시의 2시간 넘는 강의를 그대로 옮겨볼게요.
[출처] 안드레 카파시 유튜브
다양한 LLM 서비스의 등장
ChatGPT는 2022년 OpenAI에 의해 개발되어, 사람들이 텍스트 인터페이스를 통해 대화할 수 있는 첫 기회를 제공하며 인터넷에서 큰 인기를 끌었습니다. 2025년, LLM 생태계는 크게 성장하여 다양한 앱들이 출시되었으며, 특히 ChatGPT는 기능이 가장 풍부하고 인기 있는 서비스입니다. 많은 빅테크 회사들이 ChatGPT와 유사한 경험을 제공하는 서비스(예: Gemini, Meta.ai, Copilot)를 개발하였고, Anthropic의 Claude나 XAI의 Grok 등 여러 스타트업들도 이 분야에 참여하고 있습니다. 언어 모델과의 기본적인 상호작용은 텍스트 입력을 제공하고 이에 대한 응답 텍스트를 받는 것입니다.
언어 모델은 하이쿠와 같은 시나 편지 등을 잘 작성할 수 있는 능력이 뛰어난데, 이는 모델이 다양한 형태의 글쓰기에 능숙하기 때문입니다.사용자 쿼리와 모델의 응답은 토큰이라는 작은 텍스트 조각들로 나뉘며, 전체 문장도 사실상 하나의 일차원 토큰 시퀀스로 구성됩니다.다양한 특수 토큰을 사용하여 대화 형식이 유지되며, 이는 사용자와 모델 간의 상호작용 흐름을 반영합니다.컨텍스트 윈도우는 대화의 작업 기억으로, 이 안에 있는 정보는 모델이 직접 접근 가능한 내용으로 처리됩니다.
LLM의 두 가지 훈련 방식 소개
언어 모델은 **pre-training(사전 훈련)**과 post-training(후 훈련) 두 단계로 훈련되며 pre-training은 인터넷의 모든 데이터를 토큰으로 쪼개어 압축하는 단계입니다.이 pre-training의 결과물은 대략 1 테라바이트의 용량을 가지며, 이는 약 1조 개의 매개변수로 구성되어 간섭형 기계학습 네트워크에 저장됩니다.모델은 주어진 토큰의 순서로 다음 토큰을 예측하는 방식으로 작동하며, 이를 통해 방대한 지식이 모델에 내장됩니다 그러나 pre-training은 매우 비쌀 수 있으며, 오랜 시간이 소요되기 때문에 여러 달에 걸쳐 진행되며, 이로 인해 최신 정보는 잃게 됩니다. post-training 단계에서는 모델이 대화형 성격을 가져주기 위해 인간이 생성한 대화 데이터 세트를 사용하여 조정됩니다.
사전 훈련 단계에서는 인터넷의 모든 정보를 토큰으로 나누고 이를 압축하여 하나의 zip 파일처럼 만듭니다.
이 zip 파일은 손실적이고 확률적이며, 실제 인터넷 모든 정보를 정확하게 표현할 수는 없습니다.
사전 훈련에서 생성된 모델에는 약 1조 개의 매개변수가 포함되며, 이는 다음 토큰을 예측하는 데 사용됩니다.
사전 훈련은 수많은 비용이 소모되며, 흔히 몇 개월이 걸립니다.
LLM의 자아 이해하기
언어 모델은 완전히 독립적인 존재로서 기본적으로 1 테라바이트 크기의 파일에 비유되며, 이는 1조 개의 파라미터와 그 설정을 포함합니다.이 모델은 계산기, 컴퓨터, Python 인터프리터, 웹 브라우징과 같은 도구 없이 작동하며, 단순히 zip 파일의 역할을 합니다.모델의 응답은 사전 훈련에서의 지식과 사후 훈련에서 형성된 스타일과 형태를 기반으로 합니다.예를 들어, “안녕하세요, 저는 ChatGPT입니다. 제 지식은 약 6개월 전에 전체 인터넷을 읽은 것에서 비롯되며, 다소 불확실하고 모호합니다.”모델은 인터넷에서 자주 언급되는 주제에 대해 더 나은 기억력을 가지며, 희귀하게 논의되는 것들에 대해서는 기억력이 떨어집니다.
ChatGPT의 활용 예시, 정보 검증 어떻게 할까?
ChatGPT에 카페인 함량에 대한 질문을 했을 때, 답변으로 63mg의 카페인이 있다고 언급했습니다. 이는 비교적 오래된 정보로, 모델이 해당 내용을 잘 기억하고 있을 것으로 기대됩니다.사용자는 ChatGPT가 제공한 정보를 직접 확인할 수 있으며, 예를 들어 1샷 아메리카노의 카페인량을 검증하기 위해 1차 출처를 참조할 수 있습니다. 또 다른 예로 사용자는 감기 증상 완화용 약물인 DayQuil과 NightQuil에 대해 질문했습니다. ChatGPT는 약물의 성분과 효능에 대한 정보를 제공했지만, 사용자는 이 정보를 체크하기 위해 실제 약물 포장지를 살펴보았습니다. ChatGPT는 일반적인 정보와 지식 기반 쿼리에 대해 유용할 수 있지만, 반드시 모든 정보가 정확할 것이라고 보장할 수는 없습니다. 이러한 대화는 큰 위험이 없는 상황에서 이루어지며, 사용자에게는 의약품에 대한 추가 정보를 제공하는 데 도움이 되었음을 나타냅니다.
LLM을 사용할 때 주의할 점
대화가 길어지면 주제를 바꿀 때마다 새 채팅을 시작하는 것이 좋으며, 이는 맥락 창의 토큰을 초기화해 비용을 절감하는 데 도움을 줍니다.맥락 창에 너무 많은 토큰이 들어가면 모델의 정확도와 성능이 저하될 수 있고, 더 많은 토큰은 다음 토큰을 샘플링하는 데 소요되는 비용을 약간 증가시킵니다.토큰은 소중한 자원으로 여겨야 하며, 필요 없는 정보로 과부하를 주지 말고 가능한 한 짧게 유지해야 합니다.사용 중인 모델을 항상 인지해야 하며, 비로그인 상태에서는 모델이 약간 제한된 GPT 4.0 Mini일 가능성이 있습니다.각 모델은 가격에 따라 성능 차이가 있으며, 프로 구독을 통해 보다 강력한 모델에 접근할 수 있는 이점이 있습니다.
그렇다면 어떤 모델을 선택하면 좋을까?
모든 LLM 제공자는 다른 가격대와 모델 옵션을 가지고 있으며, 이로 인해 사용자가 선택할 수 있는 폭이 넓어지는 구조입니다. 예를 들어, Anthropic의 Claude를 사용할 경우, 전문 계획에 가입하면 3.5 Sonnet에 접근할 수 있지만, 그렇지 않으면 기본 모델인 Haiku 등의 제한된 접근만 가능합니다.개인적인 경험으로는, 여행 조언을 요청했을 때 Claude가 추천한 스위스의 Zermatt을 여행하게 되었고, 이는 이러한 모델들이 유용하게 활용될 수 있는 예시 중 하나입니다.Google의 Gemini 또한 Zermatt을 추천하여 여러 모델 간의 의견을 비교하는 것이 흥미롭게 작용하였습니다. 다양한 LLM 제공자와 그들의 가격대를 실험하면서 자신에게 맞는 최적의 모델을 찾는 것이 중요하며, 이를 통해 여러 질문에 대한 답변을 얻기 위해 여러 모델을 동시에 사용하는 것이 효과적입니다.
LLM 종류별 특징
GPT-4.0은 문제 해결에 대한 특정한 핵심 이슈를 파악하지 못하고 일반적인 조언만 제공하여, 실제 문제를 해결하는 데 도움이 되지 않았습니다. O1 Pro 모델은 1분 동안의 심도 있는 사고 과정을 거쳐, 매칭되지 않은 파라미터 문제와 같은 정확한 해결책을 제시하여 문제를 해결했습니다. 여러 다른 모델들, 예를 들어 Claude나 Gemini도 문제를 해결할 수 있었으며, 심지어 Sonnet과 같은 비사고 모델에서도 이슈를 인식하고 해결했습니다.Thinking models는 더 어려운 수학 및 코드 문제 해결에 효과적이며, 일반적인 질문에서는 빠른 응답을 제공하는 비사고 모델을 선호하는 것이 유리할 수 있습니다.필요 시 모델의 사고 시간을 늘려서 더욱 심도 있는 답변을 얻기 위해 사고 모델로 전환하는 방법이 권장됩니다.
인터넷 검색 기능의 필요성
모델이 정보를 찾기 위해 인터넷 검색 기능을 활용해야 합니다. 예를 들어, ‘White Lotus’ 시즌 3의 방영 일자를 찾기 위해 사용자가 직접 여러 웹페이지를 검색하던 과거와 달리, 모델이 자동으로 검색하여 정보를 제공할 수 있습니다.모델은 검색 결과를 컨텍스트 창에 삽입하여 질문에 대한 답변을 제공합니다. 사용자가 질문하면, 모델이 필요한 웹페이지를 탐색하고 그 내용을 기반으로 올바른 답을 형성하게 됩니다.모델은 최신 정보를 알기 위해 반드시 인터넷 검색을 수행해야 합니다. 예를 들어, ‘White Lotus’ 시즌 3의 방영 일정은 모델이 훈련된 이후에 결정된 정보로, 따라서 모형 자체에 포함되어 있지 않습니다.Perplexity와 ChatGPT와 같은 도구들이 이러한 검색 기능을 지원합니다. 이들 도구를 사용하면 사용자가 직접 웹사이트를 탐색할 필요 없이 정보를 효율적으로 얻을 수 있습니다.제공된 정보는 정확성이 보장되지 않으므로 사실 확인이 필요합니다. 모델이 제시한 답변은 참고용으로, 사용자가 직접 웹페이지를 확인해볼 필요가 있습니다.
LLM 모델은 때때로 자체적으로 웹검색이 필요하다고 인식하여 검색을 수행하고 결과를 인용합니다.Claude 모델은 실제로 인터넷 검색 도구를 사용하지 않으며, 최신 정보에 대한 접근이 제한적입니다. Gemini 2.0 Pro Experimental은 인터넷 검색에 접근할 수 없어 정보 조회가 불가능합니다.사용자는 최신 정보가 필요할 때 검색 도구를 사용하여 구체적인 질문을 설정하는 것이 좋습니다.검색 도구를 활용하여 최근 정보나 트렌드를 확인하고, LLM을 통해 요약 정보를 얻는 것을 선호합니다.
Deep Research 소개
Deep Research는 인터넷 검색과 사고를 결합하여 심층 연구를 수행하는 기능으로, 현재 월 $200에 제공됩니다.사용자는 특정 주제에 대한 정보 검색을 요청하면, 모델이 여러 논문과 인터넷 자료를 조사하여 자세한 보고서를 작성합니다. 다른 플랫폼에서도 유사한 기능이 도입되고 있으며, 예를 들어 Perplexity와 Grok에서도 Deep Research 혹은 Deep Search 기능이 제공됩니다.결과물은 심층적인 정보를 제공하지만, 모델이 잘못된 정보를 생성할 가능성이 있으므로, 이를 첫 번째 초안으로 삼고 추가 검증이 필요합니다.사용자는 Deep Research를 통해 제품 비교, 생명 연장 연구 등 다양한 주제를 연구할 수 있으며, 결과는 때때로 부정확할 수 있습니다.
LLM과 문서 참조 활용
대형 언어 모델(LLM)은 특정 문서를 참조하여 정보를 제공할 수 있으며, 이를 통해 더욱 신뢰할 수 있는 답변을 생성할 수 있습니다.Perplexity Labs와 ChatGPT Enterprise는 문서를 업로드하여 LLM이 해당 문서를 기반으로 답변을 생성하는 기능을 지원합니다.
이 기능을 활용하면 긴 보고서나 연구 논문을 빠르게 분석하고 요약할 수 있습니다.
예를 들어:
- 연구 논문 요약: 사용자가 논문을 업로드하면 LLM이 핵심 내용을 요약해 줌.
- 기업 내부 문서 분석: 사내 문서를 업로드하여 필요한 정보를 신속하게 검색 가능.
현재 많은 플랫폼에서 이러한 기능을 제공하고 있으며, 특히 기업용 LLM 솔루션에서 활용도가 높습니다.
하지만, 모델이 문서를 정확하게 이해하고 요약하는 능력은 한계가 있을 수 있으므로, 중요한 정보는 직접 검토하는 것이 필요합니다.
LLM과 API 사용
LLM은 API(Application Programming Interface)를 활용하여 다양한 도구 및 데이터베이스와 연동될 수 있습니다.API를 통해 LLM은 실시간 정보를 제공하거나, 특정 시스템과 상호작용할 수 있습니다.
- 금융 데이터 조회: LLM이 금융 데이터 API와 연동되어 최신 주식 시장 정보를 제공.
- 코딩 도우미: LLM이 GitHub API를 통해 코드 리포지토리를 검색하고, 코드 개선을 추천.
- 고객 지원: 챗봇이 API를 통해 고객의 주문 정보를 조회하고, 실시간으로 지원 제공.
API를 활용하면 LLM의 기능을 확장할 수 있지만, API의 응답 속도 및 신뢰성을 고려해야 합니다.
🤔그렇다면 카파시가 생각하는 LLM의 한계점은 무엇일까요?
LLM 활용의 한계와 해결 방법
LLM은 강력한 도구이지만, 몇 가지 주요 한계를 가지고 있습니다.
이러한 한계를 인식하고 적절한 해결 방법을 적용하면 LLM을 더욱 효과적으로 활용할 수 있습니다.
✅환각 현상 (Hallucination)
환각(hallucination)은 LLM이 사실이 아닌 정보를 생성하는 현상을 의미합니다.
이는 모델이 부족한 정보를 채우려 하거나, 훈련 데이터의 한계로 인해 발생합니다.
- 출처 확인: 모델이 제공하는 정보의 출처를 검토하고 신뢰할 수 있는지 확인.
- 다중 검증: LLM이 제공하는 정보를 다른 검색 엔진이나 데이터베이스와 비교.
- 전문가 검토: 중요한 결정에 사용할 경우, 전문가의 피드백을 받기.
✅맥락 유지의 어려움
LLM은 긴 대화를 진행할 때 초반의 맥락을 잃어버리는 경우가 있습니다.
이는 컨텍스트 창(Context Window)이 제한되어 있기 때문입니다.
- 요약 기능 활용: 긴 대화 중간에 핵심 내용을 요약하여 다시 입력.
- 문서 기반 답변 사용: 모델이 이전 대화 내용을 유지할 수 있도록 문서를 활용.
- 고급 모델 사용: GPT-4 Turbo와 같은 모델은 컨텍스트 창이 더 길어 맥락 유지에 유리함.
✅최신 정보 부족
LLM은 사전에 훈련된 데이터만을 활용하기 때문에, 실시간 정보를 반영하지 못할 수 있습니다.
- 웹 검색 기능 활용: Perplexity, ChatGPT의 검색 기능을 활성화하여 최신 정보 확인.
- API 연동: 실시간 데이터가 필요한 경우, API를 사용하여 최신 정보 반영.
- 사람의 판단 추가: 모델이 제공하는 정보가 최신인지 직접 확인하는 습관 들이기.
✅계산 및 논리적 추론의 한계
LLM은 복잡한 수학 계산이나 논리적 추론에서 오류를 범할 수 있습니다.
특히, 수식이 포함된 문제나 복잡한 논리 구조를 요구하는 질문에서는 정확도가 떨어질 수 있습니다.
- 계산 도구와 연동: Wolfram Alpha와 같은 외부 계산 도구를 활용.
- 추론 모델 사용: Thinking Model을 사용하여 논리적 추론 강화.
- 검산하기: 중요한 계산이나 논리는 직접 검산하여 오류 확인.
✅비용 문제
LLM을 사용할 때, API 호출 비용이나 모델 사용 요금이 부담될 수 있습니다.
특히, 높은 처리량이 필요한 경우 비용이 빠르게 증가할 수 있습니다.
- 적절한 모델 선택: 필요한 작업에 맞춰 비용 효율적인 모델 사용 (예: GPT-4 대신 GPT-3.5 활용).
- 캐싱 활용: 반복적인 질문에 대해 동일한 답변을 재사용하여 API 호출 비용 절감.
- 무료 또는 저가형 옵션 탐색: Claude, Mistral 등의 무료 또는 저렴한 모델 활용.
🤔앞으로 LLM은 어떤 방향으로 발전할 것인가?
카파시의 설명이 이어집니다.
LLM 기술 발전, 어떻게 이뤄질까?
LLM(대형 언어 모델)은 빠르게 발전하고 있으며, 앞으로 더 강력한 기능을 갖춘 모델이 등장할 것으로 예상됩니다. 다음은 LLM 기술이 발전할 주요 방향입니다.
☑️모델 크기와 성능 향상
현재 LLM은 수천억 개의 파라미터(매개변수)를 가지고 있지만, 앞으로는 더욱 크고 정교한 모델이 등장할 것입니다. 하지만 모델 크기를 무조건 키우는 것이 아닌, 효율적인 학습 방법이 중요해질 것입니다.
- 소형 모델의 고성능화: 적은 파라미터로도 높은 성능을 내는 모델 연구 증가.
- 모델 학습 비용 절감: 학습에 필요한 연산량을 줄이는 최적화 기술 발전.
- 추론 속도 개선: 더 빠른 답변 생성이 가능해질 것으로 예상.
현재 OpenAI, Google DeepMind, Anthropic 등이 이러한 연구를 활발히 진행 중입니다.
☑️멀티모달 AI 발전
현재 LLM은 주로 텍스트 데이터를 처리하지만, 앞으로는 이미지, 오디오, 영상, 코드 등 다양한 데이터를 동시에 이해하는 AI가 발전할 것입니다.
- 이미지+텍스트: 사진을 보고 설명하는 AI (예: GPT-4V, Gemini)
- 음성+텍스트: 음성을 듣고 즉시 분석하여 텍스트로 변환 (예: Whisper)
- 영상+텍스트: 동영상을 분석하고 자동으로 자막 생성 또는 요약 제공
이러한 기술이 발전하면, LLM을 더 많은 분야에서 활용할 수 있게 됩니다.
☑️개인 맞춤형 AI
현재의 LLM은 모든 사용자가 동일한 모델을 사용하지만, 미래에는 개인 맞춤형 AI가 활성화될 것입니다.
- 사용자 스타일에 맞는 AI: 개별 사용자의 말투, 취향을 학습하여 맞춤형 응답 제공.
- 개인 데이터 기반 최적화: 사용자의 검색 기록, 문서 등을 분석하여 맞춤형 정보 제공.
- 업무 보조 AI 발전: 특정 직업이나 산업군에 특화된 LLM 등장 (예: 의료 AI, 법률 AI).
이러한 변화는 AI의 활용도를 더욱 높일 것으로 기대됩니다.
☑️강화 학습을 통한 LLM 개선
기존 LLM은 지도 학습(Supervised Learning) 방식으로 훈련되었지만, 앞으로는 **강화 학습(Reinforcement Learning)**을 통한 개선이 이루어질 것입니다.
- AI가 자기 스스로 학습하며 점점 더 똑똑해짐.
- 단순한 데이터 학습이 아니라, 경험을 기반으로 문제 해결 능력 향상.
- 실시간 사용자 피드백을 반영하여 지속적으로 개선 가능.
이러한 방식은 더 자연스럽고 정확한 대화형 AI를 만드는 데 중요한 역할을 할 것입니다.
☑️ 윤리적 문제 해결과 AI 규제
AI 기술이 발전하면서, 윤리적인 문제와 규제 필요성이 증가하고 있습니다.
- 편향(Bias) 문제: AI가 특정 성별, 인종, 문화에 편향된 답변을 제공할 가능성.
- 프라이버시 보호: 사용자 데이터가 안전하게 보호되어야 함.
- AI 남용 문제: 허위 정보(딥페이크), 자동화된 스팸 생성 등의 문제 발생 가능.
이에 따라, AI 규제 법안 및 윤리 가이드라인이 마련될 것으로 예상됩니다.
🤔그렇다면, LLM이 우리 실생활에 어떻게 활용되고 있을까요?
[출처] 테슬라 유튜브
LLM의 실제 활용 사례
LLM(대형 언어 모델)은 다양한 산업에서 활용되며, 점점 더 실생활에 깊숙이 들어오고 있습니다.
여기서는 주요 활용 사례를 정리해볼게요.
✅고객 서비스(Chatbot & AI 상담사)
기업들은 LLM을 활용하여 고객 상담 자동화를 진행하고 있습니다.
이전의 단순한 챗봇과는 달리, LLM 기반 AI 상담사는 더 자연스럽고 유연한 응답을 제공합니다.
- 은행·금융: AI가 고객의 계좌 정보를 조회하고, 대출 상품 추천.
- 이커머스: 고객의 질문에 맞춤형 답변 제공 (예: 반품 정책, 제품 추천).
- 콜센터: AI가 기본적인 문의를 처리하고, 복잡한 상담은 사람에게 연결.
💡 대표 사례:
- OpenAI의 ChatGPT for Business
- 구글의 Bard 및 Duet AI
- 아마존의 AI 고객 서비스 봇
✅콘텐츠 제작 (글쓰기, 번역, 영상 편집)
LLM은 텍스트 기반 콘텐츠 생성에 강점을 보이며, 다양한 창작 도구로 활용됩니다.
- 블로그 & 기사 작성: LLM이 초안을 작성하고, 편집자가 수정하는 방식.
- 번역: 기존 번역기보다 자연스럽고 맥락을 고려한 번역 가능.
- 영상 스크립트 작성: 유튜브, TikTok 등의 영상 기획 지원.
💡 대표 사례:
- OpenAI의 GPT-4 Turbo
- DeepL의 AI 번역기
- Runway의 AI 영상 생성 도구
✅코딩 및 소프트웨어 개발
LLM은 프로그래머들이 코드를 더 빠르게 작성하고, 디버깅하는 데 도움을 줍니다.
- 코드 자동 완성: 개발자가 코드를 입력하면 AI가 자동으로 보완.
- 오류 수정: 버그를 분석하고, 해결 방법을 제안.
- 문서 작성: 코드 설명 문서를 자동으로 생성.
💡 대표 사례:
- GitHub의 Copilot
- OpenAI의 Codex
- Amazon의 CodeWhisperer
✅의료 및 헬스케어
AI가 의료 데이터를 분석하여 질병 진단, 연구 지원, 의료 상담을 도와줍니다.
- 의료 기록 분석: 환자의 과거 병력을 분석해 진단 지원.
- AI 건강 상담: 초기 증상을 분석하고, 병원 방문 여부 추천.
- 신약 개발: AI가 방대한 연구 데이터를 분석해 신약 후보 물질 추천.
💡 대표 사례:
- Google의 Med-PaLM 2 (의료 전문 AI)
- IBM Watson Health (의료 데이터 분석)
- BioGPT (바이오 분야 특화 AI)
✅금융 및 투자 분석
LLM은 금융 데이터 분석, 시장 예측, 투자 조언에도 활용됩니다.
- 주식 시장 예측: 뉴스와 데이터를 분석해 투자 전망 제공.
- 리스크 관리: 대출 신청자의 신용 평가 및 부실 위험 예측.
- 금융 보고서 요약: 장문의 보고서를 자동 요약하여 투자자에게 제공.
💡 대표 사례:
- Bloomberg의 GPT 금융 모델
- JP모건의 AI 투자 분석 도구
- ChatGPT의 주식 시장 분석 플러그인
✅교육 및 개인 학습
LLM은 학생과 학습자를 위한 맞춤형 교육 도우미로 활용됩니다.
- 개인 맞춤형 학습: 학생의 학습 수준을 분석해 최적의 커리큘럼 제공.
- 과제 및 논문 작성 보조: 논문 초안 생성 및 교정 지원.
- 언어 학습: 영어, 중국어 등 외국어 학습 도우미 역할.
💡 대표 사례:
- OpenAI의 GPT 기반 AI 튜터
- Khan Academy의 Khanmigo AI
- Duolingo의 AI 언어 학습 기능
✅ 법률 및 계약 분석
법률 문서는 복잡하고 길기 때문에, LLM이 이를 자동 분석하여 계약서 검토 및 법률 조언을 제공합니다.
- 계약서 요약: 긴 계약 내용을 자동으로 정리.
- 법률 문서 자동 생성: NDA, 고용 계약서 등의 초안 작성.
- 법률 질의응답: AI가 법률 조언을 제공하고 변호사와 연결.
💡 대표 사례:
- Casetext의 CoCounsel (AI 법률 조언)
- Harvey AI (법률 AI 챗봇)
- OpenAI의 GPT 기반 법률 분석 도구
🤔마지막으로, 카파시가 LLM이 갖는 한계를 정리해줍니다.
LLM의 한계와 문제점
LLM은 매우 유용한 도구지만, 완벽하지 않으며 몇 가지 중요한 한계와 문제점이 존재합니다.
이러한 점을 이해하고 사용할 때 주의하면 더욱 안전하고 효과적인 활용이 가능합니다.
✅환각(Hallucination) 문제
LLM은 사실이 아닌 정보를 마치 사실처럼 말하는 현상이 자주 발생합니다.모델이 훈련 데이터를 바탕으로 예측을 하기 때문에, 정확한 출처 없이 그럴듯한 거짓 정보를 생성할 수 있습니다.
- 존재하지 않는 책이나 논문 제목 생성
- 틀린 수치나 잘못된 역사적 사실 언급
해결 방법
- 사실 검증: 모델이 제공한 정보는 항상 검색이나 1차 출처로 검증
- 출처 요청: 모델에게 출처를 명시하게 하여 신뢰도 확인
✅맥락 유지의 한계
LLM은 기억력이 제한적이기 때문에, 긴 대화에서 앞의 내용을 잊어버릴 수 있습니다.
이는 컨텍스트 윈도우(Context Window)의 크기 제한 때문입니다.
- 대화 도중 과거 정보 왜곡
- 긴 작업에서 정보 손실 발생
해결 방법
- 주기적 요약: 대화 중간에 핵심 내용을 요약하여 다시 입력
- 고급 모델 사용: GPT-4 Turbo처럼 컨텍스트가 긴 모델 활용
✅최신 정보 반영 불가
LLM은 훈련 시점 이후의 정보를 알 수 없습니다.
예를 들어, 모델이 2024년에 훈련되었다면 2025년 뉴스는 모릅니다.
- 최신 사건, 트렌드, 데이터 반영 불가
- 시사성 높은 분야에서는 부정확한 정보 생성
해결 방법
- 웹 검색 기능 활성화: Perplexity, ChatGPT의 검색 도구 활용
- API 연동: 실시간 데이터 API로 최신 정보 반영
✅계산 및 논리적 사고 부족
LLM은 복잡한 수학 문제나 논리적 추론에서 오류를 자주 발생시킵니다.
이는 정확한 계산보다는 패턴 예측 중심으로 작동하기 때문입니다.
- 단순 계산 실수
- 논리적 모순 포함된 답변 생성
해결 방법
- Python 인터프리터 도구 사용: 복잡한 계산을 코드로 처리
- Thinking model 활용: 사고 기반 모델로 문제 해결 능력 향상
✅편향(Bias) 문제
모델은 훈련 데이터에 포함된 사회적, 문화적 편향을 그대로 반영할 수 있습니다.
- 특정 인종, 성별에 대한 고정관념 반영
- 정치적 편향 포함된 답변
해결 방법
- 중립적 질문 설계
- 다양한 모델 비교: 여러 모델을 비교해 답변의 균형 점검
✅프라이버시와 보안 문제
LLM에 입력된 민감한 정보가 데이터로 저장되거나 노출될 위험이 있습니다.
- 개인 정보, 회사 기밀 노출 가능성
- 외부 서버에서 데이터 처리 → 보안 이슈
해결 방법
- 민감 정보 입력 자제
- 로컬 모델 사용: 자체 서버에서 실행되는 LLM 선택 (예: Llama 2, Mistral)
- 데이터 암호화 및 접근 제한
카파시의 LLM 사용법 강의는 여기까지입니다.
영상으로 직접 보고싶은 분들을 위해
유튜브 링크를 달아둘게요!
AI 시대, 가장 확실한 대비를 위한
더 많은 AI 강의가 궁금하다면? ↓
