利用node.js写一个爬取知乎妹纸图的小爬虫_网络技术

利用node.js写一个爬取知乎妹纸图的小爬虫

发布时间 - 2026-01-11 00:57:18 点击率：次

前言

说起写node爬虫的原因，真是羞羞呀。一天，和往常一样，晚上吃过饭便刷起知乎来，首页便是推荐的你见过最漂亮的女生长什么样？,点进去各种漂亮的妹纸爆照啊！！!,看的我好想把这些好看的妹纸照片都存下来啊！一张张点击保存，就在第18张得时候，突然想起。我特么不是程序员么，这种手动做的事，怎么能做，不行我不能丢程序员的脸了，于是便开始这次爬虫之旅。

原理

初入爬虫的坑，没有太多深奥的理论知识，要获取知乎上帖子中的一张图片，我把它归结为以下几步。

准备一个url(当然是诸如你见过最漂亮的女生长什么样？)
获取这个url的html内容，并分析其中的dom结构，遍历找到这些漂亮的妹纸图片url
获取图片内容
将图片内容写入本地文件

开始动手

大概知道原理之后我们就可以开干了

准备一个url

这个最简单了，去知乎随便一搜就是一大把，我们以

发一张你认为很漂亮的|美女|照片？

为例子，先来分析一下这个页面的dom结构,其实很简单，知乎的一个页面中会包含很多种类型的图片，有头像，用户评价上传的图片啥的。基本上在noscript种都可以找到对应的图片地址。

获取这个url的html内容,并且拿到当前页面noscript中的img链接

这一步我们需要会点简单的nodejs的知识，以及用到一个库叫cheerio,这个库具体是用来做什么的，详细请移步cheerio。

简单来说就是可以在命令行中使用jQuery来搜索遍历获取相应的元素。

那么怎样才能获取这个帖子的html呢

使用nodejs的https模块

var https = require('https')
getAllHtml (url, callback) {
 let sHtml = '',
 _this = this;
 https.get(url, (res) => {
 res.on('data', (data) => {
 sHtml += data;
 });
 res.on('end', () => {
 callback.bind(_this, sHtml)();
 })
 }).on('error', (err) => {
 console.log(err);
 });
}

通过以上操作拿到网站的html之后，便是遍历出我们需要的图片地址来了

filterHtml (sHtml, filePath) {
 let $ = cheerio.load(sHtml), // 将上一步拿到的网站html传入cheerio.load，便得到类似于包装过的jQuery对象，可以像jQuey的选择器一样来选择元素
 $Imgs = $('noscript img'),
 imgData = [],
 _this = this;
 $Imgs.each((i, e) => {
 let imgUrl = $(e).attr('src'); //取出对应的url
 imgData.push(imgUrl);
 // 将url传入开始下载
 _this.downloadImg(imgUrl, _this.filePath, 
 function (err) {
 console.log(imgUrl + 'has be down');
 });
 });
 console.log(imgData);
}

有了图片的url，如何下载到本地呢？

我们需要使用request这个库，简单的调用一下api再结合node原生写文件的api。

downloadImg (imgUrl, filePath, callback) {
 let fileName = this.parseFileName(imgUrl);
 request(imgUrl).pipe(fs.createWriteStream('./' + filePath + '/'+fileName)).on('close', callback && callback);
 }

到这里就大功告成了，是不是很简单!!!已经将源码上传，欢迎大家下载查看。

gitHub地址：https://github.com/qianlongo/node-small-crawler

本地下载地址：http://xiazai./201705/yuanma/node-small-crawler().rar

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家学习或者使用node.js能带来一定的帮助，如果有疑问大家可以留言交流，谢谢大家对的支持。

# nodejs爬取动态页面 # nodejs爬虫抓取知乎 # nodejs 爬取页面 # node.js实现简单爬虫示例详解 # node.js做一个简单的爬虫案例教程 # node.js爬虫框架node-crawler初体验 # Node.js爬虫如何获取天气和每日问候详解 # 基于node.js实现爬虫的讲解 # node.js学习笔记之koa框架和简单爬虫练习 # 浅谈Node.js爬虫之网页请求模块 # 使用 Node.js 开发资讯爬虫流程 # 基于node.js制作简单爬虫教程 # node.js爬虫爬取拉勾网职位信息 # Node.js 实现简单爬虫的示例代码 # 遍历 # 见过 # 最漂亮 # 上传 # 来了 # 就在 # 本地下载 # 做什么 # 把它 # 之旅 # 很简单 # 大功告成 # 欢迎大家 # 我好 # 这篇文章 # 几步 # 你认为 # 很漂亮 # 想把 # 能做

相关栏目：【网站优化151355 】【网络推广146373 】【网络技术251813 】【 AI营销90571 】

上一篇：自助建站时如何避开插件兼容性问题，确保网站稳定运行？

下一篇：如何在CentOS上更新PyTorch

相关栏目网站优化
网络推广
网络技术
AI营销

最新文章 Sublime怎么一键压缩JS代码 Su sublime如何在搜索中使用正则表达式 Sublime如何设置透明窗口效果 Su mysql如何设计商品表结构_mysql css属性背景图不显示怎么办_通过检查路如何使用Golang实现排序_Golan 农历闰月是怎么回事_为合回归年加一月调整塑造《刺客信条》艾吉奥传奇的编剧离开育碧 1英里等于多少公里 1mile和km的换 css grid布局中行和列是如何定义的 PS批量旋转和翻转图片，快速校正图片方向 C# Swagger UI自定义方法 C OPPO手机九宫格和全键盘怎么切换_OP Go语言如何实现用户登录注册_Golan 1节飞行速度多少公里每小时 1节是多少公纸嫁衣8千子树第五章庙门怎么开启庙门 Laravel 多行数据编辑表单中实现逐明日之后如何提升钓鱼等级明日之后提升钓支付宝怎样查年度账单_支付宝年度账单查看 C# 多线程UI更新Dispatcher

上一篇：自助建站时如何避开插件兼容性问题，确保网站稳定运行？

下一篇：如何在CentOS上更新PyTorch