효율적인 웹 크롤링 및 검색 결과 처리를 위한 라이브러리
Project description
Douzone-crawl
🔍 빠르고 쉬운 웹 크롤링을 위한 파이썬 라이브러리입니다. Google 검색 결과와 웹 페이지 콘텐츠를 손쉽게 추출하세요.
주요 기능
- Google 검색 결과 수집
- 검색 결과 페이지 내용 추출
- 검색 결과의 제목, URL, 날짜, 설명 정보 제공
- 결과 파일 저장 기능
설치 방법
pip install douzone_crawl
pip install requirements.txt
사용 방법
기본 사용 예시
import douzone_crawl
# 크롤러 생성
crawler = douzone_crawl.DouzoneCrawler(max_results=2)
# 검색 실행
results = crawler.crawl("더존비즈온")
# 결과 저장
crawler.save_to_json(results)
다중 검색어 사용 예시
import douzone_crawl
# 검색어 리스트
search_queries = ["더존비즈온", "ERP", "AI"]
crawler = douzone_crawl.DouzoneCrawler(max_results=2)
for query in search_queries:
# 검색 실행
results = crawler.crawl(query)
# 결과 저장 (검색어별로 다른 파일에 저장)
file_path = crawler.save_to_json(results, search_query=query)
print("모든 검색이 완료되었습니다.")
기여하기
- 버그 신고나 기능 제안은 이슈 트래커를 이용해 주세요. 풀 리퀘스트도 환영합니다!
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
douzone_crawl-0.1.5.tar.gz
(8.3 kB
view details)
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file douzone_crawl-0.1.5.tar.gz.
File metadata
- Download URL: douzone_crawl-0.1.5.tar.gz
- Upload date:
- Size: 8.3 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.12.5
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
23b4964724f95ad8269e151fb0967aa2723f515a28f1e898d6eca36876ad19c9
|
|
| MD5 |
05458db88ebdbe5b2f4da091b05aba55
|
|
| BLAKE2b-256 |
44be092834eda0ce1074f2e1e1604e6d71dd16d9ebee9f7ac17029eaeb94b078
|
File details
Details for the file douzone_crawl-0.1.5-py3-none-any.whl.
File metadata
- Download URL: douzone_crawl-0.1.5-py3-none-any.whl
- Upload date:
- Size: 8.2 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.12.5
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
3e664dea290b96c6229e7f9f58235de9d12e11cb70bccf704cbf4f3d1e0714ce
|
|
| MD5 |
f44729b25ac5b401e717640675a53c64
|
|
| BLAKE2b-256 |
c2222d9328a1b4dd7a82725e54abff54f6ce87afc9d0caff318a0e2533df9d84
|