로컬 LLM 시작하기: Ollama와 LM Studio 중 내 작업엔 무엇이 맞을까
내 컴퓨터에서 오픈 가중치 모델을 돌릴 때 먼저 만나는 두 도구를 공식 문서 기준으로 맞대 봤어요. 포트와 엔드포인트, 메모리 처리 방식, 작업별 선택 기준까지 정리했죠.
내 컴퓨터에서 오픈 가중치 모델을 돌릴 때 먼저 만나는 두 도구를 공식 문서 기준으로 맞대 봤어요. 포트와 엔드포인트, 메모리 처리 방식, 작업별 선택 기준까지 정리했죠.
8GB, 12GB, 16GB, 24GB 그래픽카드에 각각 어떤 크기의 모델이 들어갈까요? 가중치, KV 캐시, 여유분 세 덩어리로 필요한 VRAM을 계산하는 법과 MoE 모델에서 틀리기 쉬운 부분을 Qwen3 실제 설정값으로 정리했어요.
GGUF 파일 이름의 Q4_K_M, Q8_0, IQ4_XS는 무슨 뜻일까요? llama.cpp 실측 자료로 양자화 단계별 크기와 품질 손실을 비교하고, 컨텍스트 길이까지 넣은 메모리 계산법을 정리했어요.
방문 통계를 위해 Google 애널리틱스 쿠키를 사용해도 될까요? 거부해도 사이트의 모든 기능을 그대로 쓸 수 있습니다.개인정보처리방침