© 版权声明：本文为博主原创文章，转载请注明出处

一、分析

　　1.目标：抓取慕课网首页推荐课程的名称和描述信息

　　2.分析：浏览器F12分析得到，推荐课程的名称都放在class="course-card-name"的h3标签里，描述信息都放在h3标签下面的p标签中。因此只需要获取到这两个标签中的内容即可

 二、实例

1. 项目结构

2.pom.xml

      	
      
       4.0.0
      	
      
       org.swing
      	
      
       Spider01
      	
      
       0.0.1-SNAPSHOT
      	
      
       jar
      	
      		
       
        UTF-8
       	
      	
      		
       		
       			
        
         junit
        			
        
         junit
        			
        
         4.12
        			
        
         test
        		
       	
      	
     

3.Spider_Imooc.java

package org.spider.demo;import java.io.BufferedReader;import java.io.IOException;import java.io.InputStream;import java.io.InputStreamReader;import java.net.HttpURLConnection;import java.net.URL;import java.util.HashMap;import java.util.Map;import java.util.regex.Matcher;import java.util.regex.Pattern;/** * 网络爬虫获取慕课网相关信息 * */public class Spider_Imooc {		/**	 * 连接到慕课网	 * 	 * @param url	 * 				慕课网url	 * @return	 */	private String connect(String address) {				HttpURLConnection conn = null;		URL url = null;		InputStream is = null;		InputStreamReader isr = null;		BufferedReader br = null;		StringBuffer sb = null;				try {			url = new URL(address);// 将字符串转换为url			conn = (HttpURLConnection) url.openConnection();// 打开连接			conn.setConnectTimeout(5000);// 设置连接主机的超时时间：5s			conn.setReadTimeout(5000);// 设置从主机读取数据的超时时间：5s			conn.setDoInput(true);// 设置是否向HttpURLConnection读入，默认是true			conn.connect();// 连接			is = conn.getInputStream();// 获取服务器返回的输入流			// 将输入流解析为字符串并返回			isr = new InputStreamReader(is);			br = new BufferedReader(isr);			sb = new StringBuffer();			String line = null;			while((line = br.readLine()) != null) {				sb.append(line);			}		} catch (Exception e) {			e.printStackTrace();		} finally {			try {				if (br != null) {					br.close();				}				if (isr != null) {					isr.close();				}				if (is != null) {					is.close();				}				if (conn != null) {					conn.disconnect();				}			} catch (IOException e) {				e.printStackTrace();			}		}		return sb.toString();			}		/**	 * 解析数据，获取课程名及描述	 * 	 * @param data	 * 				慕课网首先数据	 * @return	 */	private Map
     
       analyData(String data) {				Map
      
        map = new HashMap
       
        ();		Pattern courseRule = Pattern.compile("
        
(.+?)
");// 创建正则表达式		Matcher courseMatch = courseRule.matcher(data);// 匹配正则表达式		while (courseMatch.find()) {// 循环匹配结果			String courseInfo = courseMatch.group();			String title = "";			String desc = "";						Pattern courseNameRule = Pattern.compile(">(.+?)<");			Matcher courseNameMatch = courseNameRule.matcher(courseInfo);			if (courseNameMatch.find()) {				title = courseNameMatch.group();				title = title.substring(1, title.length() - 1);			}		    			Pattern courseDescRule = Pattern.compile("title='(.+?)'");			Matcher courseDescMatch = courseDescRule.matcher(courseInfo);			if (courseDescMatch.find()) {				desc = courseDescMatch.group();				desc = desc.substring(7, desc.length() - 1);			}						map.put(title, desc);		}		return map;			}		public static void main(String[] args) {				Spider_Imooc si = new Spider_Imooc();		String code = si.connect("http://www.imooc.com");		Map
         
           map = si.analyData(code);				for(String key: map.keySet()) {			System.out.println(key + " : " + map.get(key));		}			}	}
         
       
      
     

4.效果预览

Android网络框架-OkHttp使用 : 本视频教程主要讲解Android SDK 6.0之后网络请求框架，赶快学起来吧python-web.py开发入门 : web.py开发入门入门教程，讲解一个你最快能学会的web开发的框架PHP中的HTTP协议 : PHP视频教程从PHP的角度深度解析HTTP协议知识，例如post、和get请求Linux Bind负载均衡 : DNS转发、主从模式及传输限制，通过本课了解更多DNS知识Linux系统扫描技术及安全防范 : Linux系统下系统扫描及安全防范，规避一些安全的隐患大型PHP电商网站商品秒杀功能实现思路分析 : 本课程属于PHP高级教程，汇集前沿技术，实现商品秒杀，小白慎入		常用的网页加载进度条 : 通过课程，让你学习到网页中常见的进度加载的实现方式.JAVA生成二维码 : 二维码无处不在，自己动手用Java生成二维码，三种生成方式任你选ReactNative基础与入门 : 敲开React Native的大门,掌握未来趋势新技术Python分布式爬虫打造搜索引擎 Scrapy精讲 : 彻底掌握Scrapy原理，Django+Elasticsearch搭建搜索引擎轻松愉快之玩转SpringData : 利用Spring Data提高开发效率，提升程序员的幸福指数Laravel 5.4 快速开发简书 : Laravel最新特性结合Mysql异步消息队列、ElasticSearch搜索引擎、Debugbar调试利器开发简书Shell典型应用之应用日志分析 : 如何应用shell脚本分析系统日志，这门视频教程会给你答案Java Spring技术栈构建完整前后台团购网站  : 完整的前后台团购网站，提升实战技能与高效编程技巧微信小程序商城构建全栈应用 : 前后端分离+RESTFul API标准接口+微信支付，手把手带你打通全栈！iOS基础之UIImageView知识拓展(上) : 掌握iOS图像处理之UIImage展示，了解UIImageView更多的用途Android常用异常集及解决方案 : 介绍Android常用异常集及常用的几种解决方案Angular2一小时快速入门 : Angular2一小时快速入门教程，帮助大家快速上手Angular2开发Python开发简单爬虫 : 本教程带您解开python爬虫这门神奇技术的面纱带你实现别样的Android侧滑菜单 : 学会熟练使用侧滑菜单之DrawerL，介绍常用菜单开源库SlidingMenuBAT大咖助力 全面升级Android面试 : 2017最全面的Android面试课程，赢取称心offer的不二之选iOS架构初探 : iOS视频教程教你轻松搞定各种架构设计模式的学习，如MVC、MVVM等基础线性和剪影化icon的制作方法 : 刚接触UI的小伙伴们从哪里作为切入点？UI设计icon制作必备技能PHP消息队列实现及应用 : 消息队列是个什么玩意儿，使用队列解决秒杀等实际问题概念和使用方法自动化测试之selenium工具使用 : web自动化测试selenium从0基础开始。去哪儿前端沙龙分享第三期 : 本课程为去哪儿网前端交互沙龙第三期，精彩分享不容错过噢django入门与实践 : 手把手带你进入Django开发的大门，充分领略Django的魅力Java SSM开发大众点评后端 : SSM全面梳理，前后端分离，zTree和复杂SQL打造权限系统，解惑MyBatis和RESTful不一样的自定义实现轮播图效果 : Android开发自定义实现轮播图效果案例实现，从无到有让你会懂会用从零开始打造自己的PHP框架 : 和我一起开发一套属于自己的PHP框架，自己开发的才是最好用的Web安全-XSS : 从Web安全XSS的定义开始讲起，从原理到实战全方位理解XSS安全Linux软件安装管理 : 通过本课程了解Linux中的软件如何进行安装、卸载、升级等管理Java模板引擎之Freemarker : 学习Java模板引擎中Freemarker技术，web开发人员必要掌握的技术之一jQuery基础(四)—动画篇 : jQuery基础教程动画篇，讲解jQuery基础开启动画修炼PHP+AJAX实现表格实时编辑 : PHP和AJAX实现表格动态实时编辑案例，轻松实现最好的用户体验玩儿转Swift 2.0（第四季） : Swift泛型、扩展、面向协议编程等，大家真正玩儿转swiftiOS快速构建IM功能 : 本视频教程将告诉大家在iOS开发中如何快速构建一个IM功能浅谈搜索引擎_SEO : 如何使用SEO让大家能更好的搜索到你的网站。前端JavaScript面试技巧 : 百度高级前端工程师亲授，结合真实面试题，提高面试成功几率