AI_Devlop/AI_Web_Scraper/README.md

AI 웹 정보 수집 시스템

이 프로젝트는 AI 모델을 사용하여 인터넷에서 정보를 자동으로 수집하고 Google Drive에 저장하는 시스템입니다.

주요 기능

• Hugging Face 모델 (jxm/gpt-oss-20b-base)을 사용하여 AI 에이전트 실행
• 웹 크롤링을 통한 정보 수집
• 수집된 데이터의 Google Drive 저장
• Colab Pro 환경에서 A100 GPU 활용

요구사항

• Python 3.8 이상
• Google Drive API 인증 파일 (credentials.json)
• Colab Pro 계정 (A100 GPU 지원)

설치 방법

pip install -r requirements.txt

설정

1. config.json 파일에서 다음 항목들을 설정하세요:

   • google_drive_folder_id: 데이터를 저장할 Google Drive 폴더 ID
   • google_credentials_path: Google API 인증 파일 경로

2. Google Drive API 설정:

   • Google Cloud Console에서 Drive API 활성화
   • OAuth 2.0 클라이언트 ID 생성
   • credentials.json 파일 다운로드

실행 방법

자세한 실행 방법은 run_guide.md 파일을 참고하세요.

파일 구조

AI_Web_Scraper/
├── main.py                 # 메인 실행 파일
├── model_downloader.py     # 모델 다운로드
├── web_scraper.py          # 웹 크롤링 도구
├── google_drive_uploader.py # Google Drive 업로드
├── ai_agent.py            # AI 에이전트
├── config.json            # 설정 파일
├── requirements.txt       # 의존성 파일
├── README.md              # 프로젝트 설명
└── run_guide.md           # 실행 가이드