효율적인 웹 크롤링 및 검색 결과 처리를 위한 라이브러리
Project description
Douzone-crawl
🔍 빠르고 쉬운 웹 크롤링을 위한 파이썬 라이브러리입니다. Google 검색 결과와 웹 페이지 콘텐츠를 손쉽게 추출하세요.
주요 기능
- Google 검색 결과 수집
- 검색 결과 페이지 내용 추출
- 검색 결과의 제목, URL, 날짜, 설명 정보 제공
- 결과 파일 저장 기능
설치 방법
pip install douzone_crawl
pip install requirements.txt
사용 방법
기본 사용 예시
import douzone_crawl
# 크롤러 생성
crawler = douzone_crawl.DouzoneCrawler(max_results=2)
# 검색 실행
results = crawler.crawl("더존비즈온")
# 결과 저장
crawler.save_to_json(results)
다중 검색어 사용 예시
import douzone_crawl
# 검색어 리스트
search_queries = ["더존비즈온", "ERP", "AI"]
crawler = douzone_crawl.DouzoneCrawler(max_results=2)
for query in search_queries:
# 검색 실행
results = crawler.crawl(query)
# 결과 저장 (검색어별로 다른 파일에 저장)
file_path = crawler.save_to_json(results, search_query=query)
print("모든 검색이 완료되었습니다.")
기여하기
- 버그 신고나 기능 제안은 이슈 트래커를 이용해 주세요. 풀 리퀘스트도 환영합니다!
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
douzone_crawl-0.1.6.tar.gz
(8.4 kB
view details)
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file douzone_crawl-0.1.6.tar.gz.
File metadata
- Download URL: douzone_crawl-0.1.6.tar.gz
- Upload date:
- Size: 8.4 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.12.5
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
1618adf9068cd21c19185b8fac067c5633f5738fa97a1fdcd9388d3e21ccd0d4
|
|
| MD5 |
dcf8a2364431f321957ac203359ac8f6
|
|
| BLAKE2b-256 |
5ee38fb4335ec3bed155fa16a714c17c4de630510891923dd9ad773f7b86ff99
|
File details
Details for the file douzone_crawl-0.1.6-py3-none-any.whl.
File metadata
- Download URL: douzone_crawl-0.1.6-py3-none-any.whl
- Upload date:
- Size: 8.4 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.12.5
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
37c8fb40521269de61a2a66f9beb0b0ee2398f1e0429d407a7c625fb24b1fe00
|
|
| MD5 |
13eee020ad0c2825ad73366bcc328e5d
|
|
| BLAKE2b-256 |
7d6443ea4072274f1e775f380e9df1bf12a7d7cd0ae9db1a9dce803128c6de51
|