上一回我们拿百度做了测试,那么这一次开始做知乎下巴啦。
首先花个三五分钟设计一个Logo=。=作为一个程序员我一直有一颗做美工的心!
好吧做的有点小凑合,就先凑合着用咯。
接下来呢,我们开始制作知乎的爬虫。
首先,确定第一个目标:编辑推荐。
网页链接:
我们对上次的代码稍作修改,先实现能够获取该页面内容:
import java.io.*;import java.net.*;import java.util.regex.*;public class Main {static String SendGet(String url) {// 定义一个字符串用来存储网页内容String result = "";// 定义一个缓冲字符输入流BufferedReader in = null;try {// 将string转成url对象URL realUrl = new URL(url);// 初始化一个链接到那个url的连接URLConnection connection = realUrl.openConnection();// 开始实际的连接connection.connect();// 初始化 BufferedReader输入流来读取URL的响应in = new BufferedReader(new InputStreamReader(connection.getInputStream()));// 用来临时存储抓取到的每一行的数据String line;while ((line = in.readLine()) != null) {// 遍历抓取到的每一行并将其存储到result里面result += line;}} catch (Exception e) {System.out.println("发送GET请求出现异常!" + e);e.printStackTrace();}// 使用finally来关闭输入流finally {try {if (in != null) {in.close();}} catch (Exception e2) {e2.printStackTrace();}}return result;}static String RegexString(String targetStr, String patternStr) {// 定义一个样式模板,此中使用正则表达式,括号中是要抓的内容// 相当于埋好了陷阱匹配的地方就会掉下去Pattern pattern = Pattern.compile(patternStr);// 定义一个matcher用来做匹配Matcher matcher = pattern.matcher(targetStr);// 如果找到了if (matcher.find()) {// 打印出结果return matcher.group(1);}return "Nothing";}public static void main(String[] args) {// 定义即将访问的链接String url = "";// 访问链接并获取页面内容String result = SendGet(url);// 使用正则匹配图片的src内容//String imgSrc = RegexString(result, "src=\&;(.+?)\&;");// 打印结果System.out.println(result);}}运行一下木有问题,接下来就是一个正则匹配的问题了。
首先我们先来获取该页面的所有的问题。
右击标题,审查元素:
啊哈,可以看到标题其实是一个a标签,也就是一个超链接,而其中能够和其他超链接区分开的,应该就是那个class了,也就是类选择器。
于是我们的正则语句就出来了:question_link.+?href=\&;(.+?)\&;
调用RegexString函数,并给它传参:
public static void main(String[] args) {// 定义即将访问的链接String url = "";// 访问链接并获取页面内容String result = SendGet(url);// 使用正则匹配图片的src内容String imgSrc = RegexString(result, "question_link.+?>(.+?)<");// 打印结果System.out.println(imgSrc);}
啊哈,可以看到我们成功抓到了一个标题(注意,只是一个):
等一下啊这一大堆的乱七八糟的是什么玩意?!
别紧张=。=它只是字符乱码而已。
编码问题可以参见:HTML字符集
一般来说,对中文支持较好的主流编码是UTF-8,GB2312和GBK编码。
网页可以通过meta标签的charset来设置网页编码,譬如:
<meta charset="utf-8" />
我们右击,查看页面源代码:
可以看到,知乎采用的是UTF-8编码。
在这里和大家解释一下查看页面源代码和审查元素的区别。
查看页面源代码是显示整个页面的所有代码,没有按照HTML的标签进行排版,,相当于是直接查看源码,这种方式对于查看整个网页的信息,比如meta比较有用。
审查元素,或者有的浏览器叫查看元素,是针对你右击的元素进行查看,比如一个div或者img,比较适用于单独查看某个对象的属性和标签。
好的,我们现在知道了问题出在了编码上,接下来就是对抓取到的内容进行编码转换了。
在java中实现很简单,只需要在InputStreamReader里面指定编码方式就行:
// 初始化 BufferedReader输入流来读取URL的响应in = new BufferedReader(new InputStreamReader(connection.getInputStream(),"UTF-8"));
此时再运行程序,便会发现可以正常显示标题了:
宁愿停歇在你门前的那棵树上,看着你,守护你。