Gemma 4 로컬 벤치마크 및 인프라 체크
Gemma 4 모델(31B, 26B MoE) vLLM으로 내려받고 벤치마크 돌림. HumanEval+, MBPP+ 등 기존 스위트 적용해서 결과 뽑고 BENCH.md 업데이트함. 중간에 Isaac 프로젝트 도커 자동 실행 여부 확인하고 마무리함.
이 날의 포인트
- Gemma 4 (31B/26B) 모델 다운로드 및 vLLM 로드
- 벤치마크 스위트 실행 및 BENCH.md 결과 기록
- Docker 컨테이너 재부팅 시 자동 실행 확인
세션별로 뭘 시켰나 (3개)
This session is being continued from a previous conversation that ran out of context. The summary below covers the earlier portion of the conversation. Summary: 1. Primary Request and Intent: - Download Gemma 4 models: `google/gemma-4-31B-it` (Dense 31B, ~61GB) and `google/gemma-4-26B-A4B-it` (MoE 4B active, ~52GB) and load via vLLM - Benchmark both Gemma 4 models using the same suite as previous models (HumanEval+, MBPP+, LCB v6, FLORES-200, perf) - Update BENCH.md with results and detailed methodology section (with examples) - Commit all files (BENCH.md, MANUAL.md, scripts, etc.
(시스템 메시지만 있음)
컴퓨터 껐다 켤건데 도커니까 알아서 자동실행 되지?