GPT를 무한으로 즐기는 법 (2024-01-19)
아이패드용 AI 드로잉 앱, 알파 지오메트리, 구글과 손잡은 삼성 등
💡 오늘의 하이라이트
GPT를 무한으로 즐기는 법: 로컬 언어모델 알아보기
ChatGPT나 구글 바드 같은 클라우드 기반 LLM 서비스들은 익숙한 반면 아직 로컬 LLM은 생소하신 분들이 많으리라 생각됩니다. 지난 글들을 통해 로컬 LLM 관련 소식들을 전해 소개해 드린 적 있는데요, 오늘은 이에 대해 조금 자세히 설명해 드리겠습니다.
기본 개념
로컬 LLM은 오픈소스로 공개되어, 내 PC(또는 스마트폰)에 설치해서 사용할 수 있는 언어 모델을 말합니다. 작년 메타에서 Llama 라는 모델을 공개한 이후로 매우 빠르게 발전하고 있고, 현재는 Mistral 계열의 모델들이 가장 좋은 성적을 내고 있습니다.
왜 필요한걸까?
ChatGPT가 익숙하고 편한데 왜 로컬 LLM에 관심을 가져야 할까요?
몇 가지 강력한 장점들이 있습니다.
무료로 사용할 수 있고, 메시지 수에 대한 제한이 없습니다.
서버에 채팅 내용이 올라가는 것이 아니기 때문에 개인정보를 안전하게 지킬 수 있습니다.
검열이 없습니다. 민감한 주제나 개인의 판단이 필요한 주제에 대해서도 자유롭게 대화를 나눌 수 있습니다
직접 학습을 시켜서 원하는 스타일의 모델을 만들 수 있습니다.
물론 단점들도 있습니다.
고사양 GPU가 필요하고 개인 PC에서 대체로 느립니다.
대부분 영어 중심으로 학습되었기 때문에 한국어 능력이 부족합니다.
일반인이 사용하기엔 아직 어렵습니다.
내 컴퓨터에서 LLM을 돌려보고 싶다면?
ChatGPT 내에서도 GPT 3.5랑 GPT4 등의 모델을 선택할 수 있듯이, 로컬 LLM도 모델의 종류가 매우 다양합니다. Jan, LMStudio 같은 프로그램을 사용하면 이런 다양한 모델들을 쉽게 설치하고 대화할 수 있습니다.
고성능 엔비디아 GPU가 장착되어 있거나, 메모리 16GB 이상의 애플 실리콘 맥이 있다면 충분히 사용해 볼 수 있습니다.
추후 기회가 되면 Jan의 사용법을 더 자세히 소개드리겠습니다.
📌 헤드라인
SageBrush, 아이패드용 AI 드로잉 앱
구글 딥마인드, 올림피아드 수준의 문제를 푸는 AlphaGeometry 발표
삼성, 구글과 협력하여 갤럭시 S24에 AI에 도입
한국어로된 GPT 봇을 찾거나, 만들고 있다면?
한국어 GPT 모음집에 방문해보세요.
카테고리 별로 봇을 찾아볼 수 있고, 누구나 자신의 봇을 등록할 수 있습니다.