python2.7.2版本实现,推荐在ide中运行。
# -*- coding:utf-8 -*- #'''created on 2011-12-18@author: ahan'''import reimport sysimport osimport timeimport socketimport localeimport datetimeimport codecsfrom urllib import urlopen#正则表达式定义#匹配博文目录链接pattern1=u博文目录prog1 = re.compile(pattern1)#匹配博文标题链接pattern2=u.*?prog2=re.compile(pattern2)#匹配下一页链接pattern3=u下一页prog3=re.compile(pattern3)#匹配正文部分pattern4=u[\\s\\s]*?prog4=re.compile(pattern4)#匹配正文图片链接pattern5=u(src=[^]+( real_src =([^]+)))prog5=re.compile(pattern5)def read_date_from_url(url): 以unicode形式返回从url上读取的所有数据 try: data = request = urlopen(url) while true: s = request.read(1024) if not s: break data += s return unicode(data) except: print '读取数据时出错' print unexpected error:, sys.exc_info()[0],sys.exc_info()[1] return none finally: if request: request.close()def save_to_file(url,filename,blog_address): url为博文地址,filename为要保存的文件名,默认后缀为html #如果文件夹不存在则创建文件夹 if os.path.exists(blog_address)==false: os.makedirs(blog_address) #去掉文件名中的非法字符 filename=replacebadcharoffilename(filename) file_no=0 while os.path.isfile(blog_address+'/'+filename+'.html')==true: filename=filename+'('+file_no.__str__()+')' file_no+=1 text = read_date_from_url(url) text=_filter(text) #将图片保存到本地 result=prog5.findall(text) i=1 for pic in result: folder=blog_address+'/'+filename+'/' pic_name='image'+i.__str__()+'.gif' if os.path.exists(folder)==false: os.makedirs(folder) try: url_file = urlopen(pic[2]) pic_file = codecs.open(folder+pic_name,'wb') while true: s = url_file.read(1024) if not s: break pic_file.write(s) pic_file.close() url_file.close() except: print '噢,保存图片的时候出现问题了,跳过此张图片...' print unexpected error:, sys.exc_info()[0],sys.exc_info()[1] else: print '保存图片成功...' #替换正文中的图片地址 text=text.replace(pic[0],unicode(src=\ + filename + / + pic_name + \ + pic[1]),1) i=i+1 blog_file = codecs.open(blog_address+'/'+filename+'.html','wb') blog_file.write(text) blog_file.close()#提取文本中的正文部分def _filter(t): 提取文本中的正文部分,返回unicode形式的字符串 result=prog4.search(t) if result is not none: return u'' + unicode(result.group()) + u'' else: raise exception('噢,提取正文出错了……')#去掉文件名的不合法字符 def replacebadcharoffilename(filename): filename=filename.replace( ,) filename=filename.replace(\\, ) filename=filename.replace(/, ) filename=filename.replace(:, ) filename=filename.replace(*, ) filename=filename.replace(?, ) filename=filename.replace(, ) filename=filename.replace(|, ) filename=filename.replace(&,) filename=filename.replace(;,) return filename#主函数if __name__ == '__main__': #准备阶段 blog_no=1#博文编号 begin=1#起始博文 end=0#结束博文 page=0#页码 saved=0#成功保存的篇数 timeout = 60*5#超时设为5分钟 socket.setdefaulttimeout(timeout)#这里对整个socket层设置超时时间。后续文件中如果再使用到socket,不必再设置 blog_address=raw_input(请输入您的博客地址(输入最后部分即可,比如您的博客地址是http://blog.sina.com.cn/jiangafu,只要输入jiangafu):) blog_address=blog_address.replace('\r','') begin=raw_input('从第几篇开始:') begin=locale.atoi(begin) while begin<=0: begin=raw_input('请输入大于0的数:') begin=locale.atoi(begin) end=raw_input('到第几篇结束(到最后请输入0):') end=locale.atoi(end) while end<0: end=raw_input('请输入大于等于0的数:') end=locale.atoi(end) if end==0: print '您的博客地址是:http://blog.sina.com.cn/'+blog_address+',保存第'+begin.__str__()+'篇到最后一篇博文' else: print '您的博客地址是:http://blog.sina.com.cn/'+blog_address+',保存第'+begin.__str__()+'篇到第'\ +end.__str__()+'篇的博文' starttime = datetime.datetime.now() text=read_date_from_url('http://blog.sina.com.cn/'+blog_address) time.sleep(0.5) #提取“博文目录”的url result = prog1.search(text) if result is not none: print '博文目录地址:' , result.group(1) text=read_date_from_url(result.group(1)) time.sleep(0.4) else: print '提取博文目录地址失败' #终止程序运行 sys.exit() #查找每一页的全部博文,分析、提取、保存 while true: page+=1 print '开始备份第' , page , '页' #匹配该页的所有博文地址 result=prog2.findall(text) #循环下载本页每篇博文 for blog in result: if blog_no end: break else: try: save_to_file(blog[1],unicode(blog[0]),blog_address) except: print '噢,保存第',blog_no,'篇博文',blog[0],'的时候出现问题了,跳过...' blog_no += 1 print unexpected error:, sys.exc_info()[0],sys.exc_info()[1] else: print '成功保存了第', blog_no, '篇博文:', blog[0] blog_no += 1 saved += 1 time.sleep(0.4) #判断是否有下一页 result = prog3.search(text) if result is not none: text = read_date_from_url(result.group(1)) else: print '这是最后一页' break print '博客备份完成一共备份',saved,'篇博文' print '共用时:',datetime.datetime.now() - starttime raw_input('按回车键退出...')
更多关于python相关内容感兴趣的读者可查看本站专题:《python数据结构与算法教程》、《python socket编程技巧总结》、《python函数使用技巧总结》、《python字符串操作技巧汇总》、《python入门与进阶经典教程》及《python文件与目录操作技巧汇总》
希望本文所述对大家python程序设计有所帮助。
