RTX PRO 6000 기반 로컬 LLM 환경 구축
로컬에서 LLM 돌리려고 vLLM이랑 Ollama 비교하며 세팅함. 보유 중인 RTX PRO 6000(96GB) 스펙에 맞춰 Kimi, DeepSeek, GLM 등 후보 모델들 검토함. 모델별 최적 구동 방식이랑 리소스 배분 고민하며 환경 잡음.
이 날의 포인트
- vLLM vs Ollama 구동 방식 비교
- RTX PRO 6000(96GB) 최적 모델 선정
- 다양한 오픈소스 모델(DeepSeek, GLM 등) 스펙 검토
세션별로 뭘 시켰나 (2개)
-home-son-prj-local-llm
claude
08:35 — 08:35
3개 메시지
(시스템 메시지만 있음)
-home-son-prj-local-llm
claude
08:35 — 19:13
579개 메시지
혹시 local에서 llm 돌리고 싶어. 관련된 세팅 해줄래? vllm이 낫나? ollama가 낫나? 생각하는 모델은 kimi k2.6, mimo v2.5, deepseek v4 pro max, glm 5, minimax M2.7, GPT oss 120B 정도인데, 지금 내 로컬 장비 RTX PRO 6000 (blackwell 96GB) 에서 가장 적절한 모델은 무엇일까?