feat: 이벤트 로깅 시스템 추가 및 주요 컴포넌트 로깅 통합
This commit is contained in:
@@ -3,6 +3,7 @@ from bs4 import BeautifulSoup
|
||||
import json
|
||||
import time
|
||||
import os
|
||||
from event_logger import get_logger
|
||||
|
||||
try:
|
||||
from selenium import webdriver
|
||||
@@ -64,7 +65,10 @@ class WebScraper:
|
||||
"""
|
||||
웹사이트에서 정보를 수집합니다.
|
||||
"""
|
||||
logger = get_logger()
|
||||
try:
|
||||
if logger:
|
||||
logger.log_event("scrape_start", url=url)
|
||||
if self.use_selenium and self.driver is not None:
|
||||
self.driver.get(url)
|
||||
time.sleep(self.delay)
|
||||
@@ -88,9 +92,13 @@ class WebScraper:
|
||||
'content': text_content[:5000],
|
||||
'timestamp': time.time()
|
||||
}
|
||||
if logger:
|
||||
logger.log_event("scrape_done", url=url, title=title, size=len(data['content']))
|
||||
return data
|
||||
except Exception as e:
|
||||
print(f"스크래핑 실패: {url} - {e}")
|
||||
if logger:
|
||||
logger.log_event("scrape_error", url=url, error=str(e))
|
||||
return None
|
||||
|
||||
def crawl_multiple_pages(self, start_urls, keywords=None):
|
||||
|
||||
Reference in New Issue
Block a user