내 컴퓨터에서 AI 모델을 직접 돌려보려고 마음먹으면 거의 두 이름부터 만나게 돼요. Ollama와 LM Studio예요. 둘 다 게오르기 게르가노프가 만든 llama.cpp를 엔진으로 쓰고, 같은 오픈 가중치 모델을 내 그래픽카드와 메모리로 돌린다는 점도 같죠. 그런데 설치하고 나서부터 쓰는 방식이 갈려요. 한쪽은 창을 닫아 둬도 서버가 뒤에서 조용히 요청을 기다리고, 다른 쪽은 창을 열어 모델을 고르고 대화를 시작해요. 코딩 에디터 자동완성이 목적이라면 앞쪽이, 양자화 파일별 답변을 비교하는 실험이 목적이라면 뒤쪽이 먼저 손에 잡혀요.
터미널에 두는 도구, 창을 여는 도구
Ollama도 데스크톱 앱이 있어요. 앱을 열고 설정 안내를 따라가면 클라우드 모델에 로그인하거나 로컬 모델을 고를 수 있죠. 맥이라면 여기에 앱의 Apps 메뉴에서 클로드 데스크톱과 ChatGPT 데스크톱을 붙이는 기능이 더해져요. 다만 ChatGPT 쪽은 Codex 모드에서만 내 Ollama 모델을 쓰고, 일반 채팅과 음성은 원래 쓰던 ChatGPT 연결을 그대로 써요. 그래도 모델을 띄우고 붙잡는 중심은 CLI와 HTTP API예요. FAQ 기준으로 기본 바인딩은 127.0.0.1의 11434 포트이고, 터미널에 ollama run gemma4를 치면 모델을 내려받아 대화를 시작하죠. 앱이나 systemd 서비스로 설치했다면 이 서버가 뒤에서 계속 돌기 때문에, 터미널을 닫아도 에디터 확장이나 스크립트가 호출할 수 있어요.
LM Studio는 데스크톱 앱이 출발점이에요. 앱 안에서 허깅페이스 모델을 검색해 내려받고, 받은 모델로 바로 대화할 수 있죠. 문서를 채팅에 붙여 오프라인으로 묻는 RAG와 MCP 서버 설치·사용도 앱 안에서 하고요. lms CLI와 헤드리스 데몬 llmster는 개발자 문서 쪽에 따로 정리돼 있어요.
엔진은 둘 다 llama.cpp로 같아요. LM Studio는 애플 실리콘 맥에서 MLX 런타임도 골라 쓸 수 있다는 점이 다르죠. 다만 두 런타임의 속도를 견줘 둔 문서는 아직 없으니, 같은 모델을 양쪽으로 한 번씩 돌려 보는 게 확실해요.
11434와 1234, 숫자보다 중요한 건 붙는 방식
로컬 모델을 채팅창에서만 쓰는 경우는 드물죠. 코딩 확장, 에이전트 프레임워크, 내 스크립트에서 불러 쓰려면 HTTP 엔드포인트가 기준이 돼요.
Ollama의 로컬 API는 /api와 /v1 두 갈래예요. 자체 API에는 대화용 /api/chat과 단발 생성용 /api/generate가 있고, OpenAI 호환 쪽은 /v1/chat/completions와 /v1/responses를 받아요. 앤스로픽 클라이언트도 붙어요. 베이스 URL을 http://localhost:11434로 두면 클라이언트가 그 뒤에 /v1/messages를 붙여서 호출하죠. 클로드 규격으로 짜 둔 스크립트라면 베이스 URL을 바꾸고 model에 로컬 모델 이름을 넣는 식으로 붙여 볼 수 있어요. 다만 Ollama가 받아 주는 건 Anthropic Messages API의 일부라서, tool_choice와 metadata처럼 빠져 있는 필드가 있고요.
생태계는 README의 Community Integrations 목록에서 볼 수 있어요. Open WebUI, Dify, Cline, Continue, LangChain 같은 프로젝트가 그 목록에 올라가 있죠. 다만 이건 README에 등록됐다는 사실이고, 각 도구가 Ollama를 얼마나 앞세우는지는 도구마다 달라요.
LM Studio는 Developer 탭에서 Start server 스위치를 켜면 서버가 열려요. 문서 예시는 1234 포트를 쓰는데, lms server start --port 1234와 curl http://localhost:1234/...가 그 예죠. lms server start 문서에는 --port를 생략했을 때 마지막에 쓴 포트를 그대로 쓴다고 적혀 있고, OpenAI 호환 문서는 자기 예시가 1234를 전제한다고 밝혀요. 그러니 1234를 늘 고정된 기본값으로 믿기보다, 서버를 켠 뒤 실제 포트를 한 번 확인하는 편이 안전해요.
엔드포인트는 OpenAI 호환 /v1/chat/completions·/v1/responses, 앤스로픽 호환 /v1/messages, 자체 v1 REST API /api/v1/chat이 있어요. 자체 API는 0.4.0에서 정식으로 나왔고, 상태 유지 대화와 API를 통한 MCP 호출, 모델 로드와 언로드까지 다뤄요. GUI 없이 서버나 CI에 올릴 때는 llmster 데몬과 lms CLI를 쓰고요.
에디터에 상시 붙여 둘 때
코딩 자동완성이나 스크립트용 엔드포인트가 필요하면 Ollama 쪽이 손이 덜 가요. 에디터를 켜 둔 동안 앱 창을 따로 관리할 필요가 없거든요. 메모리는 서버가 관리해요. FAQ 기준으로 모델은 기본 5분 동안 메모리에 남았다가 내려가고, keep_alive 파라미터나 OLLAMA_KEEP_ALIVE 환경 변수로 그 시간을 바꿀 수 있죠. 계속 켜 둘 모델이라면 음수를 주면 되고, 응답 직후 바로 내리고 싶다면 0을 넣어요.
Modelfile로 시스템 프롬프트와 temperature, 컨텍스트 길이를 묶어 커스텀 모델 이름 하나로 빌드해 두는 방법도 있어요. 프로젝트마다 다른 지시문을 쓴다면 이쪽이 편하고요.
프롬프트를 바꿔 가며 비교할 때
여러 모델과 설정을 눈으로 비교하는 작업은 LM Studio가 편해요. 앱 안에서 허깅페이스 모델을 검색해 양자화 단계별 파일을 받아 보고, 문서를 채팅에 붙여 오프라인으로 물어볼 수 있거든요.
메모리는 두 도구 모두 유휴 모델을 내리는 기능을 갖고 있어요. Ollama는 기본 5분이고, LM Studio는 요청 시점에 모델을 올리는 JIT 로딩에 기본 60분 TTL을 둬요. Developer 탭 서버 설정에는 쓰지 않는 JIT 모델을 자동으로 내리는 스위치가 있고, lms load로 직접 올린 모델은 TTL이 없어서 손으로 내려야 하죠. “알아서 정리된다”보다 기본값이 몇 분인지 확인하는 게 실전에서는 더 도움이 돼요.
한 컴퓨터에 둘 다 깔아 두려면
예시 포트 기준으로는 11434와 1234로 달라서, 같이 설치해도 서로 부딪히지 않아요. 코딩 확장은 Ollama에 물려 두고, 새 모델을 실험할 때만 LM Studio를 띄우는 식으로 나눌 수 있죠. 모델 파일은 각자 폴더에 따로 쌓여요. Ollama는 macOS ~/.ollama/models, Linux /usr/share/ollama/.ollama/models, Windows C:\Users\%username%\.ollama\models에 저장하고, OLLAMA_MODELS 환경 변수로 위치를 바꿀 수 있어요. LM Studio는 ~/.lmstudio/models/ 아래에 출판사와 모델 이름으로 폴더를 만들어 받고요. 같은 30B급 모델을 양쪽에 받으면 디스크를 두 번 쓰는 셈이에요.
고르는 시간을 줄이는 가장 빠른 길은 이미 깔린 걸 확인하는 거예요. VS Code에 Ollama 확장이 있거나 Cline·Continue 설정에 localhost:11434가 적혀 있다면 답은 이미 나온 셈이죠. 아무것도 없다면 모델 하나를 받아 대화 한 번을 끝까지 해 보세요. 그 한 번이면 어느 쪽을 계속 쓸지 감이 와요.