您好,欢迎来到三六零分类信息网!老站,搜索引擎当天收录,欢迎发信息

Urllib2 Proxy

2024/5/17 8:55:43发布23次查看
自己写了一个小工具,抓取一些站点的东西,然后经过自己写的和个简单的算法, 给自己推荐感兴趣的文章,主要是在手机上看, 因为这个要抓取的 list 里面有很多国外的站点, 原因就不用说了,不用代理是访问不了的, urllib2 是支持代理的 import urllib2 enabl
自己写了一个小工具,抓取一些站点的东西,然后经过自己写的和个简单的算法,
给自己推荐感兴趣的文章,主要是在手机上看, 因为这个要抓取的 list 里面有很多国外的站点,
原因就不用说了,不用代理是访问不了的, urllib2 是支持代理的
import urllib2 enable_proxy = true proxy_handler = urllib2.proxyhandler({http : 'http://127.0.0.1:8087'}) null_proxy_handler = urllib2.proxyhandler({}) if enable_proxy: opener = urllib2.build_opener(proxy_handler) else: opener = urllib2.build_opener(null_proxy_handler) urllib2.install_opener(opener) f = open('00000002.html','wb') html = urllib2.urlopen('http://cn.nytimes.com').read() f.write(html) f.close()
stack overflow urllib proxy
原文地址:urllib2 proxy, 感谢原作者分享。
该用户其它信息

VIP推荐

免费发布信息,免费发布B2B信息网站平台 - 三六零分类信息网 沪ICP备09012988号-2
企业名录 Product