Skip to main content

个人工具库,主要用于SEO,数据采集方面

Project description

思明的个人工具库
=================

该工具库主要是把我平时常用的SEO代码、数据采集代码进行封装,方便在不同的项目中引用。
如果你使用该工具库,本人无法保证代码的稳定性。


安装
======
pip install ysmtool


使用
======

import ysmtool

Http模块
=========

http=ysmtool.Http()

status,html=http.get("https://www.baidu.com")

有get 和 post 方法, 返回 (status,html) , status 为 请求返回的状态码,数值型。

ip:指定本地出口IP,如果是多网卡服务器,设置为相应网卡绑定的IP地址,就会从指定网卡进行请求

gbk:如果返回的源码是gb2312,gbk之类的,设置为True

serverIp:指定域名对应的IP,可以免解析,或者截持

ua: user_agent

cookie: cookie文本

serverPort:网站对应的端口

http.get(self,url,ip=None,ua='',refer='',cookie='',gbk=False,serverIp='',serverPort='')

http.post(self,url,ip=None,ua='',refer='',cookie='',data={},gbk=False,serverIp='',serverPort='')

tool模块
===========

bs=ysmtool.tool.soup(html)
将html转为BeautifulSoup对象

str=ysmtool.tool.urlencode(str)
对字符串进行url编码

md5str=ysmtool.tool.md5(str)
对字符串进行md5

jsontxt=ysmtool.tool.json_encode(obj)
对json对象转化成json字符串,出错时 jsontxt==None


obj=ysmtool.tool.json_decode(jsontxt)
解析json字符串,出错时 obj==None


baidu模块
=========

status,num=ysmtool.baidu.index('www.taobao.com')
淘宝的百度收录 , 正常返回的话, status == 200

status,result=ysmtool.baidu.search('连衣裙',1)
百度搜索“连衣裙”,返回第一页的结果, 正常返回的话, status == 200

if status==200 and result:
for item in result['items']:
print item['title'],item['url']

当查询为第1页时,result['total'] 为相关结果数:

status,result=ysmtool.baidu.search('site:www.yesiming.com',1)
if status==200 and result:
print result['total'] #收录数


haosou模块
==========

status,num=ysmtool.haosou.index('www.taobao.com')
淘宝的360收录 , 正常返回的话, status == 200

status,result=ysmtool.haosou.search('连衣裙',1)
360搜索“连衣裙”,返回第一页的结果 , 正常返回的话, status == 200

if status==200 and result:
for item in result['items']:
print item['title'],item['url']

当查询为第1页时,result['total'] 为相关结果数:

status,result=ysmtool.haosou.search('site:www.yesiming.com',1)
if status==200 and result:
print result['total'] #收录数

联系我
==========

有问题请发邮箱至 simon@yesiming.com
或者QQ: 176089710

Project details


Download files

Download the file for your platform. If you're not sure which to choose, learn more about installing packages.

Source Distribution

ysmtool-0.5.tar.gz (5.7 kB view hashes)

Uploaded Source

Supported by

AWS AWS Cloud computing and Security Sponsor Datadog Datadog Monitoring Fastly Fastly CDN Google Google Download Analytics Microsoft Microsoft PSF Sponsor Pingdom Pingdom Monitoring Sentry Sentry Error logging StatusPage StatusPage Status page