lukehemmin/AI_Devlop

Fork 0

Files

박상호 Sangho Park 1eb2347886 feat: 모델 설정에 양자화 및 메모리 제한 구성 추가

2025-08-28 10:43:17 +09:00

5.3 KiB

Raw Blame History

AI 웹 정보 수집 시스템 실행 가이드

이 가이드는 Google Colab Pro 환경에서 시스템을 실행하는 방법을 설명합니다.

1. 사전 준비

1.1 Google Colab Pro 설정

Google Colab Pro 계정으로 로그인
런타임 유형을 "GPU"로 설정 (A100 권장)
Python 3.8 이상 사용

1.2 Google Drive 설정 (간단한 방법 - 권장)

Google Colab에서는 다음 코드로 쉽게 Google Drive를 마운트할 수 있습니다:

from google.colab import drive
drive.mount('/content/drive')

이 방법은 별도의 API 설정 없이 데이터를 저장할 수 있어 간단합니다. 데이터를 /content/drive/MyDrive/AI_Data 폴더에 자동으로 저장합니다.

1.3 Google Drive API 설정 (고급 방법)

더 정교한 제어가 필요한 경우 Google Drive API를 사용할 수 있습니다:

Google Cloud Console (https://console.cloud.google.com/) 접속
새 프로젝트 생성 또는 기존 프로젝트 선택
"Google Drive API" 활성화
"OAuth 2.0 클라이언트 ID" 생성
클라이언트 ID를 다운로드하여 credentials.json으로 이름 변경
데이터를 저장할 Google Drive 폴더 생성 및 폴더 ID 확인
- 폴더 URL에서 ID 추출: https://drive.google.com/drive/folders/[FOLDER_ID]

1.4 프로젝트 파일 업로드

Colab에 프로젝트 파일들을 업로드하거나 GitHub에서 클론:

!git clone https://github.com/your-repo/AI_Web_Scraper.git
%cd AI_Web_Scraper

1.5 Google Drive 마운트

시스템 실행 전에 다음 코드를 실행하여 Google Drive를 마운트하세요:

from google.colab import drive
drive.mount('/content/drive')

2. 환경 설정

2.1 필요한 패키지 설치

!pip install -r requirements.txt

2.2 설정 파일 수정 (선택사항)

기본적으로 데이터는 /content/drive/MyDrive/AI_Data에 저장됩니다. 다른 경로를 원하시면 config.json의 drive_mount_path를 수정하세요:

{
  "data_storage": {
    "drive_mount_path": "/content/drive/MyDrive/MyCustomFolder"
  }
}

또는 실행 시 --save-path 옵션으로 지정할 수 있습니다.

3. 시스템 실행

3.1 기본 실행 (AI가 스스로 주제 선정)

python main.py

이 경우 AI가 현재 흥미로운 기술 트렌드 3개를 스스로 선정하여 조사합니다.

3.2 AI가 스스로 주제 선정하도록 명시적 실행

python main.py --auto-topics

3.3 특정 주제로 실행

python main.py --topics "인공지능" "머신러닝" "딥러닝"

3.4 설정 파일 지정

python main.py --config ./custom_config.json

3.5 저장 경로 지정

python main.py --save-path "/content/drive/MyDrive/MyCustomFolder"

이렇게 하면 데이터를 지정한 폴더에 저장합니다.

4. 실행 과정 설명

모델 다운로드: Hugging Face에서 jxm/gpt-oss-20b-base 모델을 다운로드
AI 에이전트 초기화: 모델을 로드하고 도구들을 설정
정보 수집: 각 주제에 대해 AI가 스스로 웹을 탐색하며 정보 수집
데이터 저장: 수집된 데이터를 마운트된 Google Drive의 지정된 폴더에 자동 저장

5. 모니터링 및 디버깅

5.1 로그 확인

실행 중 출력되는 로그를 통해 진행 상황을 확인할 수 있습니다.

5.2 Colab GPU 모니터링

!nvidia-smi

5.3 메모리 사용량 확인

!free -h

6. 문제 해결

6.1 모델 다운로드 실패

Colab의 디스크 공간 확인
모델 크기가 크므로 충분한 공간 확보

6.2 메모리 부족 오류 해결

모델이 클 경우 GPU 메모리가 부족할 수 있습니다. 다음 방법으로 해결하세요:

6.2.1 GPU/CPU 메모리 공동 활용

시스템이 자동으로 GPU(20GB)와 CPU(60GB)를 함께 사용하여 모델을 분산 적재합니다.

6.2.2 메모리 설정 커스터마이징

config.json에서 메모리 할당을 조정할 수 있습니다:

{
  "model_settings": {
    "max_memory": {
      "gpu": "25GB",
      "cpu": "50GB"
    }
  }
}

6.2.2 수동 설정

config.json에서 양자화 설정을 조정할 수 있습니다:

{
  "model_settings": {
    "use_quantization": true,
    "quantization_bits": 8
  }
}

6.2.3 더 작은 모델 사용

메모리가 여전히 부족하다면 config.json에서 모델을 더 작은 것으로 변경:

{
  "model_name": "microsoft/DialoGPT-medium"
}

7. 확장 및 커스터마이징

7.1 새로운 도구 추가

ai_agent.py의 tools 리스트에 새로운 도구를 추가할 수 있습니다.

7.2 모델 변경

config.json에서 model_name을 다른 모델로 변경 가능합니다.

7.3 크롤링 전략 수정

web_scraper.py에서 크롤링 로직을 커스터마이징할 수 있습니다.

8. 주의사항

모델 다운로드에 시간이 오래 걸릴 수 있습니다.
Google Drive API 사용량 제한에 유의하세요.
대량의 데이터를 수집할 경우 Colab 세션 시간 제한을 고려하세요.

9. 지원

문제가 발생하거나 추가 기능이 필요한 경우 다음 정보를 포함하여 문의하세요:

오류 메시지
실행 환경 (Colab Pro, GPU 유형)
재현 단계

5.3 KiB Raw Blame History