A Simple Web Crawling and Web Scraping framework
Project description
Crwy
简介
Crwy是一个轻量级的爬虫抓取框架,参考Scrapy框架结构开发而来。该框架提供了实用的爬虫模板,旨在帮助大家快速实现爬虫任务,高效开发。
运行环境
Python2.7
Works on Linux, Mac OSX
依赖包
beautifulsoup4>=4.5.1
pycurl>=7.43.0
configparser>=3.5.0
SQLAlchemy>=1.0.14
安装
快速安装:
pip install crwy
使用手册
友情链接
修改日志
2017-01-09
修复模板中的BUG;
去除mysqldb依赖,用户根据自行需求进行安装;
讲utils中的sqlite包名称更改为db,且功能上更新为通用数据链接。
Project details
Release history Release notifications | RSS feed
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
Crwy-1.0.2.zip
(20.7 kB
view hashes)