java利用url实现网页内容的抓取_网络技术_宿州市腾雀网络科技有限公司

java利用url实现网页内容的抓取

发布时间 - 2026-01-11 00:08:17 点击率：次

闲来无事，刚学会把git部署到远程服务器，没事做，所以简单做了一个抓取网页信息的小工具，里面的一些数值如果设成参数的话可能扩展性能会更好！希望这是一个好的开始把，也让我对字符串的读取掌握的更加熟练了，值得注意的是JAVA1.8 里面在使用String拼接字符串的时候，会自动把你要拼接的字符串用StringBulider来处理，大大优化了String 的性能，闲话不多说，show my XXX code～

运行效果：

首先打开百度百科，搜索词条，比如“演员”，再按F12查看源码

然后抓取你想要的标签，注入LinkedHashMap里面就ok了，很简单是吧！看看代码罗

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.HttpURLConnection;
import java.net.URL;
import java.util.*;
/**
 * Created by chunmiao on 17-3-10.
 */
public class ReadBaiduSearch {
 //储存返回结果
 private LinkedHashMap<String,String> mapOfBaike;
 //获取搜索信息
 public LinkedHashMap<String,String> getInfomationOfBaike(String infomationWords) throws IOException {
  mapOfBaike = getResult(infomationWords);
  return mapOfBaike;
 }
 //通过网络链接获取信息
 private static LinkedHashMap<String, String> getResult(String keywords) throws IOException {
  //搜索的url
  String keyUrl = "http://baike.baidu.com/search?word=" + keywords;
  //搜索词条的节点
  String startNode = "<dl class=\"search-list\">";
  //词条的链接关键字
  String keyOfHref = "href=\"";
  //词条的标题关键字
  String keyOfTitle = "target=\"_blank\">";
  String endNode = "</dl>";
  boolean isNode = false;
  String title;
  String href;
  String rLine;
  LinkedHashMap<String,String> keyMap = new LinkedHashMap<String,String>();
  //开始网络请求
  URL url = new URL(keyUrl);
  HttpURLConnection urlConnection = (HttpURLConnection) url.openConnection();
  InputStreamReader inputStreamReader = new InputStreamReader(urlConnection.getInputStream(),"utf-8");
  BufferedReader bufferedReader = new BufferedReader(inputStreamReader);
  //读取网页内容
  while ((rLine = bufferedReader.readLine()) != null){
   //判断目标节点是否出现
   if(rLine.contains(startNode)){
    isNode = true;
   }
   //若目标节点出现，则开始抓取数据
   if (isNode){
    //若目标结束节点出现，则结束读取，节省读取时间
    if (rLine.contains(endNode)) {
     //关闭读取流
     bufferedReader.close();
     inputStreamReader.close();
     break;
    }
    //若值为空则不读取
    if (((title = getName(rLine,keyOfTitle)) != "") && ((href = getHref(rLine,keyOfHref)) != "")){
     keyMap.put(title,href);
    }
   }
  }
  return keyMap;
 }
 //获取词条对应的url
 private static String getHref(String rLine,String keyOfHref){
  String baikeUrl = "http://baike.baidu.com";
  String result = "";
  if(rLine.contains(keyOfHref)){
   //获取url
   for (int j = rLine.indexOf(keyOfHref) + keyOfHref.length();j < rLine.length()&&(rLine.charAt(j) != '\"');j ++){
    result += rLine.charAt(j);
   }
   //获取的url中可能不含baikeUrl,如果没有则在头部添加一个
   if(!result.contains(baikeUrl)){
    result = baikeUrl + result;
   }
  }
  return result;
 }
 //获取词条对应的名称
 private static String getName(String rLine,String keyOfTitle){
  String result = "";
  //获取标题内容
  if(rLine.contains(keyOfTitle)){
   result = rLine.substring(rLine.indexOf(keyOfTitle) + keyOfTitle.length(),rLine.length());
   //将标题中的内容含有的标签去掉
   result = result.replaceAll("<em>|</em>|</a>|<a>","");
  }
  return result;
 }
}

以上就是本文的全部内容，希望本文的内容对大家的学习或者工作能带来一定的帮助，同时也希望多多支持！

# java实现网页数据抓取 # java实现网页内容抓取 # url抓取工具 # JavaWeb项目打开网页出现Session Error的异常解决方案 # java通过Jsoup爬取网页过程详解 # 详解java实现简单扫码登录功能(模仿微信网页版扫码) # java调用微信接口实现网页分享小功能 # Java实现微信网页授权的示例代码 # Java实现的简单网页截屏功能示例 # 详解JAVA抓取网页的图片 # JAVA利用正则表达式抓取网站图片 # Java导出网页表格Excel过程详解 # 的是 # 无事 # 你要 # 我对 # 这是一个 # 很简单 # 如果没有 # 不含 # 会把 # 多说 # 也让 # 则在 # 你想要 # 值为 # 再按 # 小工具 # 闲来 # HttpURLConnection # infomationWords # getInfomationOfBaike

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】

上一篇：thinkphp开发用什么IDE？

下一篇：ie浏览器无法登录某些网站 ie浏览器cookie设置方法【

相关栏目网站优化
网络推广
网络技术
AI营销

最新文章 Sublime怎么一键压缩JS代码 Su sublime如何在搜索中使用正则表达式 Sublime如何设置透明窗口效果 Su mysql如何设计商品表结构_mysql css属性背景图不显示怎么办_通过检查路如何使用Golang实现排序_Golan 农历闰月是怎么回事_为合回归年加一月调整塑造《刺客信条》艾吉奥传奇的编剧离开育碧 1英里等于多少公里 1mile和km的换 css grid布局中行和列是如何定义的 PS批量旋转和翻转图片，快速校正图片方向 C# Swagger UI自定义方法 C OPPO手机九宫格和全键盘怎么切换_OP Go语言如何实现用户登录注册_Golan 1节飞行速度多少公里每小时 1节是多少公纸嫁衣8千子树第五章庙门怎么开启庙门 Laravel 多行数据编辑表单中实现逐明日之后如何提升钓鱼等级明日之后提升钓支付宝怎样查年度账单_支付宝年度账单查看 C# 多线程UI更新Dispatcher

上一篇：thinkphp开发用什么IDE？

下一篇：ie浏览器无法登录某些网站 ie浏览器cookie设置方法【