Crwy 1.0.1

A Simple Web Crawling and Web Scraping framework

Crwy

简介

Crwy是一个轻量级的爬虫抓取框架，参考Scrapy框架结构开发而来。该框架提供了实用的爬虫模板，旨在帮助大家快速实现爬虫任务，高效开发。

运行环境

• Python2.7

• Works on Linux, Mac OSX

依赖包

• beautifulsoup4>=4.5.1

• pycurl>=7.43.0

• configparser>=3.5.0

• SQLAlchemy>=1.0.14

• MySQL-python>=1.2.5

安装

快速安装:

pip install crwy

or 前往下载: https://pypi.python.org/pypi/Crwy/1.0.1/

使用手册

在这里: http://crwy.readthedocs.io/zh_CN/1.0.1/

友情链接

• https://pypi.python.org/pypi/beautifulsoup4/

• https://pypi.python.org/pypi/pycurl/

• https://pypi.python.org/pypi/configparser/

• https://pypi.python.org/pypi/SQLAlchemy/

• https://pypi.python.org/pypi/MySQL-python/