VAE 학습 분석 및 비디오 캡션 데이터 파이프라인 구축
VAE 직접 학습시키고 추론 과정 분석함. 사전/사후 분포 비교 셀까지 추가해서 제대로 파헤침. 중간에 ActivityNet Captions 데이터도 받아오고, Seedance 2.0 추론용 프롬프트 생성하려고 Dense Video Caption 방식 연구함. 데이터 확보부터 모델 분석까지 꽤 빡세게 달림.
이 날의 포인트
- VAE 학습 및 추론 과정 분석 (MD/Notebook 생성)
- VAE 사전/사후 분포 비교 로직 구현
- ActivityNet Captions 데이터셋 확보
- Seedance 2.0용 Dense Video Caption 프롬프트 전략 수립
세션별로 뭘 시켰나 (5개)
-home-son
claude
09:49 — 09:49
3개 메시지
(시스템 메시지만 있음)
-mnt-4tb-datasets
claude
15:58 — 17:10
232개 메시지
ActivityNet Captions 도 받아줄래?
-home-son-prj-vae
claude
16:43 — 17:22
155개 메시지
vae를 직접 학습시켜서 그 학습 과정과 추론 과정을 분석해보고 싶어. 관련된 자료들 다 알아서 받아서 이 폴더에 저장하거나 하고, (/mnt/4tb에 데이터들이 있으니 필요하면 활용) 결과를 md파일과 주피터 노트북 파일로 만들어줘.
-mnt-4tb-datasets-activitynet-captions-annotations
claude
17:45 — 18:00
20개 메시지
seedance 1.0 논문에 언급된 dense video caption 방식으로 프롬프트를 생성해 seedance 2.0 모델을 추론하려고 해. dvc 캡션의 대표주자인 애를 받아서 내용을 봤는데, 프롬프트로는 어떻게 적어야 할지 모르겠네?
-home-son-prj-vae
claude
17:47 — 18:23
151개 메시지
ㅇㅇ 사전 사후 분포 비교하는 셀 추가해줘.