使用正则表达式实现网页爬虫的思路详解
1.为模拟网页爬虫,我们可以现在我们的tomcat服务器端部署一个1.html网页。(部署的步骤:在tomcat目录的webapps目录的ROOTS目录下新建一个1.html。使用notepad++进行编辑,编辑内容为:
2.使用URL与网页建立联系
3.获取输入流,用于读取网页中的内容
4.建立正则规则,因为这里我们是爬去网页中的邮箱信息,所以建立匹配 邮箱的正则表达式:String regex="\w+@\w+(\.\w+)+";
5.将提取到的数据放到集合中。
代码:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 | import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import java.util.ArrayList; import java.util.List; import java.util.regex.Matcher; import java.util.regex.Pattern; /* * 网页爬虫:就是一个程序用于在互联网中获取指定规则的数据 * * */ public class RegexDemo { public static void main(String[] args) throws Exception { List<String> list=getMailByWeb(); for (String str:list){ System.out.println(str); } } private static List<String> getMailByWeb() throws Exception { //1.与网页建立联系。使用URL URL url= new URL(path); //2.获取输入流 InputStream is=url.openStream(); //加缓冲 BufferedReader br= new BufferedReader( new InputStreamReader(is)); //3.提取符合邮箱的数据 String regex= "\\w+@\\w+(\\.\\w+)+" ; //进行匹配 //将正则规则封装成对象 Pattern p=Pattern.compile(regex); //将提取到的数据放到一个集合中 List<String> list= new ArrayList<String>(); String line= null ; while ((line=br.readLine())!= null ){ //匹配器 Matcher m=p.matcher(line); while (m.find()){ //3.将符合规则的数据存储到集合中 list.add(m.group()); } } return list; } } |
注意:在执行前需要先开启tomcat服务器
运行结果:
编辑:--ns868