로컬 LLM 환경 구축 및 안드로이드 자동 업로드 로직 수정
RTX PRO 6000(96GB) 사양에 맞춰 vLLM/Ollama 중 최적 모델 선정 및 세팅 고민함. Kimi, DeepSeek 등 고사양 모델 돌려볼 준비 함. 안드로이드 앱은 수동 버튼 방식에서 매일 11시 자동 업로드로 로직 변경함. 스크린샷 제외하고 카메라 폴더 파일만 타겟팅하도록 필터링 조건 추가함.
이 날의 포인트
- Blackwell 96GB 기반 로컬 LLM 최적 모델 탐색
- vLLM vs Ollama 구동 환경 비교 및 세팅
- 안드로이드 사진 자동 업로드 스케줄링 구현
- 업로드 대상 파일 필터링 로직(Camera 폴더 한정) 적용
세션별로 뭘 시켰나 (3개)
-home-son-prj-local-llm
08:35 — 08:35
3개 메시지
(시스템 메시지만 있음)
-home-son-prj-local-llm
08:35 — 19:54
1542개 메시지
혹시 local에서 llm 돌리고 싶어. 관련된 세팅 해줄래? vllm이 낫나? ollama가 낫나? 생각하는 모델은 kimi k2.6, mimo v2.5, deepseek v4 pro max, glm 5, minimax M2.7, GPT oss 120B 정도인데, 지금 내 로컬 장비 RTX PRO 6000 (blackwell 96GB) 에서 가장 적절한 모델은 무엇일까?
-home-son-prj-log
18:02 — 12:06
701개 메시지
파일들 탐색해서 현재상황 읽어와. 그리고 android 앱이 현재는 버튼 식으로 눌러야 이미지를 옮기는데, 로직을 바꿔서 매일 11시에 사진 파일을 올리는 걸로 바꾸되, screenshot등은 제외한 오직 camera폴더에 있는 사진/동영상만 받아오도록 해줘.