feat: 모델 설정에 양자화 및 메모리 제한 구성 추가
This commit is contained in:
@@ -120,13 +120,43 @@ python main.py --save-path "/content/drive/MyDrive/MyCustomFolder"
|
||||
- Colab의 디스크 공간 확인
|
||||
- 모델 크기가 크므로 충분한 공간 확보
|
||||
|
||||
### 6.2 Google Drive 마운트 실패
|
||||
- 브라우저 팝업에서 권한 허용을 확인
|
||||
- 마운트 코드 재실행: `drive.mount('/content/drive', force_remount=True)`
|
||||
- `/content/drive/MyDrive` 경로가 존재하는지 확인
|
||||
### 6.2 메모리 부족 오류 해결
|
||||
모델이 클 경우 GPU 메모리가 부족할 수 있습니다. 다음 방법으로 해결하세요:
|
||||
|
||||
### 6.3 메모리 부족 오류
|
||||
- 배치 크기 조정 또는 더 작은 모델 사용 고려
|
||||
#### 6.2.1 GPU/CPU 메모리 공동 활용
|
||||
시스템이 자동으로 GPU(20GB)와 CPU(60GB)를 함께 사용하여 모델을 분산 적재합니다.
|
||||
|
||||
#### 6.2.2 메모리 설정 커스터마이징
|
||||
`config.json`에서 메모리 할당을 조정할 수 있습니다:
|
||||
```json
|
||||
{
|
||||
"model_settings": {
|
||||
"max_memory": {
|
||||
"gpu": "25GB",
|
||||
"cpu": "50GB"
|
||||
}
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
#### 6.2.2 수동 설정
|
||||
`config.json`에서 양자화 설정을 조정할 수 있습니다:
|
||||
```json
|
||||
{
|
||||
"model_settings": {
|
||||
"use_quantization": true,
|
||||
"quantization_bits": 8
|
||||
}
|
||||
}
|
||||
```
|
||||
|
||||
#### 6.2.3 더 작은 모델 사용
|
||||
메모리가 여전히 부족하다면 `config.json`에서 모델을 더 작은 것으로 변경:
|
||||
```json
|
||||
{
|
||||
"model_name": "microsoft/DialoGPT-medium"
|
||||
}
|
||||
```
|
||||
|
||||
## 7. 확장 및 커스터마이징
|
||||
|
||||
|
||||
Reference in New Issue
Block a user