crawl a site and find out all link http status code
Project description
##SiteMiner
爬取网站内所有链接,输出 markdown 文件。
##使用
import Miner
miner = Miner(”http://sibo.me”) miner.run() print “done!”
##说明
输出文件按照 Http 状态码分组,每个链接下面用一个列表来存放所有包含该链接的页面地址。
Project details
Download files
Download the file for your platform. If you're not sure which to choose, learn more about installing packages.
Source Distribution
SiteMiner-0.1.0.tar.gz
(2.8 kB
view hashes)