feat: 모델 설정에 양자화 및 메모리 제한 구성 추가

This commit is contained in:
2025-08-28 10:43:17 +09:00
parent 8b4e5bb29c
commit 1eb2347886
4 changed files with 156 additions and 11 deletions

View File

@@ -120,13 +120,43 @@ python main.py --save-path "/content/drive/MyDrive/MyCustomFolder"
- Colab의 디스크 공간 확인
- 모델 크기가 크므로 충분한 공간 확보
### 6.2 Google Drive 마운트 실패
- 브라우저 팝업에서 권한 허용을 확인
- 마운트 코드 재실행: `drive.mount('/content/drive', force_remount=True)`
- `/content/drive/MyDrive` 경로가 존재하는지 확인
### 6.2 메모리 부족 오류 해결
모델이 클 경우 GPU 메모리가 부족할 수 있습니다. 다음 방법으로 해결하세요:
### 6.3 메모리 부족 오류
- 배치 크기 조정 또는 더 작은 모델 사용 고려
#### 6.2.1 GPU/CPU 메모리 공동 활용
시스템이 자동으로 GPU(20GB)와 CPU(60GB)를 함께 사용하여 모델을 분산 적재합니다.
#### 6.2.2 메모리 설정 커스터마이징
`config.json`에서 메모리 할당을 조정할 수 있습니다:
```json
{
"model_settings": {
"max_memory": {
"gpu": "25GB",
"cpu": "50GB"
}
}
}
```
#### 6.2.2 수동 설정
`config.json`에서 양자화 설정을 조정할 수 있습니다:
```json
{
"model_settings": {
"use_quantization": true,
"quantization_bits": 8
}
}
```
#### 6.2.3 더 작은 모델 사용
메모리가 여전히 부족하다면 `config.json`에서 모델을 더 작은 것으로 변경:
```json
{
"model_name": "microsoft/DialoGPT-medium"
}
```
## 7. 확장 및 커스터마이징