Ekşi Sözlük Scraper - AI-friendly output üreten terminal tabanlı scraper
Project description
eksisozluk-scraper
Terminal tabanlı Ekşi Sözlük scraper'ı. JSON, CSV ve Markdown çıktıları üretir; Gemini CLI ile özet/blog oluşturabilir.
Özellikler
- Tarih, entry sayısı ve özel filtreler uygulayabilme
- Referans verilen link ve YouTube transkript içeriğini toplama
- Rate limit, retry mekanizması
- Gemini CLI entegrasyonu (özet/blog/prompt)
Kurulum
- Pipx (önerilen):
pipx install eksisozluk-scraperveyapipx install git+https://github.com/erenseymen/eksisozluk-scraper.git - Pip:
pip install eksisozluk-scraperveyapip install git+https://github.com/erenseymen/eksisozluk-scraper.git - Kaynaktan:
git clone ... && pip install -r requirements.txt && python eksisozluk_scraper.py "başlık"
Komut Örnekleri
# Temel kullanım
eksisozluk-scraper "başlık"
# Tarih/süre filtreleri
eksisozluk-scraper "başlık" --start 2024.01.01 --end 2024.02.01
eksisozluk-scraper "başlık" --days 1
# Entry ve içerik filtreleri
eksisozluk-scraper "başlık" --filter "python|asyncio" --filter concurrency
eksisozluk-scraper "başlık" --filter-urls
eksisozluk-scraper "https://eksisozluk.com/entry/123456"
# Çıktı biçimleri
eksisozluk-scraper "başlık" --output sonuclar.json
eksisozluk-scraper "başlık" --output sonuclar.csv
eksisozluk-scraper "başlık" --output sonuclar.md
# Gelişmiş ayarlar
eksisozluk-scraper "başlık" --delay 2 --max-retries 5 --retry-delay 10 --no-bkz
Gemini CLI
- Kurulum: geminicli.com
- Özet:
eksisozluk-scraper "başlık" --ozet - Blog:
eksisozluk-scraper "başlık" --blog --months 1 - Özel prompt:
eksisozluk-scraper "başlık" --prompt "Analiz et" -o cikti.json - Flash modeli:
--ozet --flash
Notlar
- Rate limit ve retry mekanizması varsayılan olarak aktiftir.
- Gemini özellikleri için Gemini CLI kurulu ve giriş yapılmış olmalıdır.
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
eksisozluk_scraper-2.1.1.tar.gz
(34.4 kB
view details)
Built Distribution
Filter files by name, interpreter, ABI, and platform.
If you're not sure about the file name format, learn more about wheel file names.
Copy a direct link to the current filters
File details
Details for the file eksisozluk_scraper-2.1.1.tar.gz.
File metadata
- Download URL: eksisozluk_scraper-2.1.1.tar.gz
- Upload date:
- Size: 34.4 kB
- Tags: Source
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.2.0 CPython/3.12.3
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
2616f0ae63ffcc625544c2d6f719dcee7cdddd0d83938a96ec38cf894a28b63a
|
|
| MD5 |
a0d736cc571779f4e67483317c98f9e5
|
|
| BLAKE2b-256 |
f757e813ba6d2950b417d0012d8eeec23c9fbb53a426049b58f30a811137116a
|
File details
Details for the file eksisozluk_scraper-2.1.1-py3-none-any.whl.
File metadata
- Download URL: eksisozluk_scraper-2.1.1-py3-none-any.whl
- Upload date:
- Size: 31.4 kB
- Tags: Python 3
- Uploaded using Trusted Publishing? No
- Uploaded via: twine/6.2.0 CPython/3.12.3
File hashes
| Algorithm | Hash digest | |
|---|---|---|
| SHA256 |
afa4aacd497baa618100fa6e0859c3a47bd6ce8376950f953ab68f248d6cba3f
|
|
| MD5 |
3cbd305fe15130e1c4b4177d0b17a656
|
|
| BLAKE2b-256 |
261f63b326b6b7c11459631d64fcd46aa43f08d1547c0c6ebbefdc12cc95693c
|