java网络爬虫项目--慕课猿问爬取-原创手记-慕课网

什么是网络爬虫？

维基百科

网络爬虫（英语：web crawler），也叫网络蜘蛛（spider），是一种用来自动浏览万维网的网络机器人。其目的一般为编纂网络索引。

百度百科

网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。

java网络爬虫练习项目

一个比较简单的java练习项目。

需要知识

什么是网络爬虫
Java基础
正则表达式

项目思路

在慕课网的猿问页面，寻找一个你喜欢的问题页面，利用http请求获取问题页面的源码，然后通过正则表达式，不断爬取相关问题页面。

项目介绍

该项目存在三个类
Imooc.java : imooc问题bean类
Spider.java: 封装用来爬取页面的方法类
Main.java: 运行起始页面

Imooc.java类是要爬取内容的对象类，属性成员有问题，问题链接，问题描述，答案列表和下一个问题链接。

package bean;
import java.util.HashMap;
import java.util.Map;
import java.util.regex.Matcher;
import java.util.regex.Pattern;
import spider.Spider;

/**
 * 单个问题页面对象
 * @author hjy
 *
 */
public class Imooc {
    public String question;
    public String quesUrl;
    public String quesDescription;
    public Map<String,String> answers;
    public String nextUrl;

    public Imooc(String url) {
        question="";
        quesUrl=url;
        quesDescription="";
        answers = new HashMap<String,String>();
        nextUrl="";

//          获取单个问题页面源码
        String codeSource = Spider.getSource(url);

//          正则表达式获取question
        Pattern pattern=Pattern.compile("js-qa-wenda-title.+?>(.+?)</h1>");
        Matcher matcher=pattern.matcher(codeSource);
        if(matcher.find()){
            question = matcher.group(1);
        }

//          正则表达式获取问题描述
        pattern=Pattern.compile("js-qa-wenda.+?rich-text\">(.+?)</div>");
        matcher=pattern.matcher(codeSource);
        if(matcher.find()){
            quesDescription = matcher.group(1).replace("<p>", "").replace("</p>", "");
        }

//           正则表达式获取答案列表      
        pattern=Pattern.compile("detail-name.+?>(.+?)</a>.+?answer-content.+?>(.+?)</div>");//获取回答者name
        matcher=pattern.matcher(codeSource);
        while(matcher.find()){
            String answer = matcher.group(2).replace("<p>", "");
            answer = answer.replace("</p>", "");
            answer = answer.replace("<br />", "");
            answers.put(matcher.group(1),answer);
        }

//          正则表达式获取下一个url   爬取获取相关问题的url
        pattern=Pattern.compile("class=\"relwenda\".+?href=\"(.+?)\".+?</a>");//获取回答者name
        matcher=pattern.matcher(codeSource);
        while(matcher.find()){
            nextUrl="http://www.imooc.com"+matcher.group(1);
//          防止相关文题是本问题无线循环下去
            if(!nextUrl.equals(quesUrl)){
                break;
            }
        }
    }

    @Override
    public String toString() {
        return "问题为:"+ question +"\n问题地址为:"+quesUrl+
                "\n问题的表述为:"+quesDescription+"\n"
                + "回答的内容为:"+answers+"\n指向下一个链接地址为:"+nextUrl+"\n";
    }

//  测试方法
    public static void main(String[] args) {
        String url = "http://www.imooc.com/wenda/detail/345010";
        Imooc imooc = new Imooc(url);
        System.out.println(imooc);
    }
}

Spider.java类封装了2个可能用到的方法，getSource方法获取网页源代码和getImoocPage获取页面Url列表。

package spider;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import java.net.URL;
import java.net.URLConnection;
import java.util.ArrayList;
import java.util.List;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

import bean.Imooc;

/**
 * 1.获取网页源码
 * 
 */
public class Spider {

    /**
     * 获取网页源代码
     * @param url 网址
     * @return
     */
    public static String getSource(String url){
        BufferedReader reader=null;
        String result = "";
        try {
            URL realUrl = new URL(url);
//          打开和url之间的连接
            URLConnection conn = realUrl.openConnection();

            reader = new BufferedReader(new InputStreamReader(conn.getInputStream()));
            String line="";
            while((line=reader.readLine())!=null){
                result+=line;
            }
//          System.out.println(result);
            if(reader!=null)
                reader.close();
        } catch (Exception e) {
            e.printStackTrace();
        }
        return result;
    }

//  测试是否获得慕课问答页面源码
//  测试是否获取问题的url
    public static void main(String[] args) {
        String url = "http://www.imooc.com/wenda";
        String regex = "class=\"content\".+?href=\"(.+?)\".+?</a>";
        String result = getSource(url);
        List<String> wendaUrl = getImoocPage(result,regex);
        System.out.println(wendaUrl);
    }

//  没有用到
/**
 * 获取问题页面url
 * @param quesSource 页面源码
 * @param regex      匹配正则表达式
 * @return
 */
    public static List<String> getImoocPage(String quesSource,String regex){
        Pattern pattern = Pattern.compile(regex);
        Matcher matcher = pattern.matcher(quesSource);
        List<String> quesUrl = new ArrayList<String>();
        while(matcher.find()){
            String url = "http://www.imooc.com"+matcher.group(1);
            quesUrl.add(url);
        }
//      System.out.println(quesUrl);    
        return quesUrl;
    }

}

Main.java类

package main;
import java.util.ArrayList;
import java.util.List;
import bean.Imooc;
public class Main {

public static void main(String[] args) {
        String url = "http://www.imooc.com/wenda/detail/345252";
//      List<Imooc> imoocs = new ArrayList<Imooc>();
        Imooc imooc;
//      限定爬取数量
        for(int i=0; i<5;i++){      
            imooc = new Imooc(url);
//          imoocs.add(imooc);
            url = imooc.nextUrl;
            System.out.println(imooc);
        }
    }
}

项目源码

IMOOCSpider项目已上传到我的github上----传送门
欢迎Star

下载下来后导入eclipse即可运行。

java网络爬虫项目--慕课猿问爬取原创