A simple web crawling library
Project description
Douzone-crawl
🔍 빠르고 쉬운 웹 크롤링을 위한 파이썬 라이브러리입니다. Google 검색 결과와 웹 페이지 콘텐츠를 손쉽게 추출하세요.
주요 기능
- Google 검색 결과 수집
- 검색 결과 페이지 내용 추출
- 검색 결과의 제목, URL, 날짜, 설명 정보 제공
- 결과 파일 저장 기능
설치 방법
pip install Douzone-crawl
사용 방법
기본 검색
from Douzone_crawl import search
# 검색 수행 (기본 최대 결과 수: 5)
results = search("더존비즈온", max_results=3)
# 결과 출력
for title, link, date, description in results:
print(f"제목: {title}")
print(f"링크: {link}")
print(f"날짜: {date}")
print(f"설명: {description}")
print("-" * 50)
웹 페이지 내용 추출
from Douzone_crawl import get_content
# 특정 URL에서 콘텐츠 추출
content = get_content("https://example.com")
print(content)
검색 및 내용 추출 결합
from Douzone_crawl import search_and_extract
# 검색 결과와 페이지 내용을 함께 추출
report = search_and_extract(
"더존비즈온",
max_results=3,
save_to_file="results.txt" # 선택적 파일 저장
)
# 생성된 보고서 출력
print(report)
요구사항
- Python 3.6+
- Selenium
- Chrome WebDriver
- python-dotenv
라이선스
이 프로젝트는 MIT 라이선스를 따릅니다. 자세한 내용은 LICENSE 파일을 참조하세요.
기여하기
버그 신고나 기능 제안은 이슈 트래커를 이용해 주세요. 풀 리퀘스트도 환영합니다!
⭐ 이 프로젝트가 유용하다면 GitHub 저장소에 별표를 눌러주세요!
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
douzone_crawl-0.1.0.tar.gz
(6.3 kB
view details)
Built Distributions
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file douzone_crawl-0.1.0.tar.gz.
File metadata
- Download URL: douzone_crawl-0.1.0.tar.gz
- Upload date:
- Size: 6.3 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.12.5
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
91d8e766a0993d673aa20d423779ab1f1a5db029df287b8a5ce2bb8a9087c279
|
|
| MD5 |
d397b20d7c66976e41035bb909e329ce
|
|
| BLAKE2b-256 |
677a1da44d5a691bc333a14c815ca1b880325a49d37ffc923c147d7d6682a97b
|
File details
Details for the file douzone_crawl-0.1.0-py3-none-any.whl.
File metadata
- Download URL: douzone_crawl-0.1.0-py3-none-any.whl
- Upload date:
- Size: 6.7 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.12.5
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
bc0bc33fddc4faaf54753fbb7997043cb2b1ce8468e7888d1f932be8a18cf982
|
|
| MD5 |
d35b444930a3eeb75b0cb12bb87cae12
|
|
| BLAKE2b-256 |
ae428932d13a5bc90aae33c697d9ebd5052b601f4ee8c50616a3f3d5f2b3325a
|
File details
Details for the file Douzone_crawl-0.1.0-py3-none-any.whl.
File metadata
- Download URL: Douzone_crawl-0.1.0-py3-none-any.whl
- Upload date:
- Size: 7.0 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.1.0 CPython/3.12.5
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
3efed1a794780c97de4fb337ba5e71826d20dc5f073634c6afbdd0e721f3c5e2
|
|
| MD5 |
716771dcc43f36726981885c877c97b0
|
|
| BLAKE2b-256 |
35a4c33333567698e7d14d82ce45075de249b96e26c1de650da96a95b5a94f06
|