我是一只百度贴吧的小爬虫
分类：Python
总体功能：查看特定帖子楼主的发言（不包含图片）
前段时间大概看了python的语法，但是确实第一次用python来写东西。很久之前就想学python，学爬虫了，现在终于开始了！谢了自己的第一个爬虫，很开心O(∩_∩)O 觉得学东西兴趣很重要，爬虫真的好玩！
整个功能的实现含有两个类，一个是工具类Tool，另一个是百度贴吧的爬虫类BaiduTieba，提取网页的内容主要还是正则表达式。代码如下：
# -*- coding:utf-8 -*-import urllibimport urllib2import re:#去除图片链接removeImage = re.compile(‘<img.*?>’)#去除<br>removeBR = re.compile(‘<br>’)#去除超链接removeHref = re.compile(‘<a href=.*?</a>’):x = re.sub(self.removeImage,””,x)x = re.sub(self.removeBR,”\n”,x)x = re.sub(self.removeHref,””,x)return x.strip()::#帖子基址self.baseUrl = baseUrl#只看楼主seeLZ=1self.seeLZ = ‘?see_lz=’+str(seeLZ)self.tool = Tool():try:url = self.baseUrl + self.seeLZ + ‘&pn=’ + str(pageNum)request = urllib2.Request(url)response = urllib2.urlopen(request)#print response.read()return response.read().decode(‘utf-8’)except urllib2.URLError,e:if hasattr(e,”reason”):print e.reason:page = self.getPage(1)pattern = re.compile(‘<h1hljs-keyword”>if result:result.group()else::#正则表达式匹配pattern = re.compile(‘<divhljs-number”>1for item in items:self.tool.replaceStrange(item)floor += baseURL = ‘http://tieba.baidu.com/p/’ + str(raw_input(u’http://tieba.baidu.com/p/’))baidu = BaiduTieba(baseURL,1)baidu.getContent(baidu.getPage(1))
效果如图（扒一扒这些年朋友之上恋人未满的逗逼）：
版权声明：本文为博主原创文章，未经博主允许不得转载。
上一篇由一个梦想到的下一篇Python正则表达式指南
顶0踩0
，人生就像爬坡，要一步一步来。
