[1]-微信公众号爬虫。基于搜狗微信搜索的微信公众号爬虫接口可以扩展为基于搜狗搜索的爬虫。返回的结果是一个列表，每一项都是公众号具体信息的字典。 [1]：

[2]-豆瓣阅读爬虫。你可以爬取豆瓣阅读标签下的所有书籍，按评分排序存储，并存储在Excel中，这样更方便大家筛选和搜索，比如过滤1000条以上评论的高分书籍； Excel中可以根据不同的主题存储在不同的Sheet中。 ，使用User Agent冒充浏览器进行爬行，并添加随机延迟，以更好地模仿浏览器行为，避免爬虫被拦截。 [2]：

[3]-知乎爬虫。本项目的功能是爬取知乎用户信息和人际拓扑关系，利用爬虫框架和数据存储。 [3]：

-user[4]- 用户爬虫。数据总数：，抓取字段：用户id、昵称、性别、头像、等级、经验值、粉丝数、生日、地址、注册时间、签名、等级和经验值等。爬取后，生成一条用户数据B站报道[4]：

[5]- 新浪微博爬虫。主要抓取新浪微博用户的个人信息、微博信息、粉丝和关注者。从新浪微博获取验证码进行登录，可以使用多个账号登录，防止新浪反盗版。主要使用爬虫框架。 [5]：

[6]-小说下载分布式爬虫。使用redis实现的分布式网络爬虫，底层存储集群使用redis分布式，使用redis实现爬虫状态显示，主要针对某小说网站。 [6]：

[7]-CNKI爬虫。设置搜索条件后，执行src/.py捕获数据。捕获的数据存储在/data目录中。每个数据文件的第一行是字段名称。 [7]：

[8]-链家爬虫。爬取链家历年北京二手房交易记录。涵盖了链家爬虫文章中的所有代码，包括链家模拟登录代码。 [8]：

[9]-京东爬虫。基于京东网站爬虫，保存格式为csv。 [9]：

QQ--[10]-群爬虫。批量抓取群组信息，包括群组名称、群组编号、群组编号、群组所有者、群组简介等，最终生成XLS(X)/CSV结果文件。 [10]：

[11] - 乌云爬行者。暗云暴露了漏洞、知识库爬虫和搜索。所有公开的漏洞列表以及每个漏洞的文本内容均存在，约2G内容；如果把整个网站全部文字、图片爬取作为离线查询，大约需要10G空间，2小时左右（10M电信带宽）；爬取整个知识库，总共约500M空间。漏洞搜索使用 Flask 作为 Web 和前端。 [11]：

2016.9.11 补充：

[12]-去哪儿爬虫。网络爬虫使用代理登录：爬取去哪儿网站，使用模拟浏览器登录，获取翻页操作。代理可以保存到文件中，程序可以读取和使用该文件。支持多进程爬取。 [12]：

[13]- 机票爬虫（去哪儿、携程）。是一款基于机票的爬虫，目前整合了国内两大机票网站（去哪儿+携程）。 [13]：

[14] - 基于网易客户端内容爬虫，。 [14]：

[15]- 豆瓣电影、书籍、群、相册、东西等爬虫合集。 [15]：

[16]-QQ空间爬虫，包括日志、谈话、个人信息等，一天可爬取400万条数据。 [16]：

baidu-music-[17]- 百度mp3全站爬虫，使用redis支持断点续传下载。 [17]：

[18]- 淘宝、天猫爬虫可以根据搜索关键词和商品ID抓取页面信息，并将数据存储在[18]:

[19]- 一个股票数据（沪深）爬虫及选股策略测试框架。根据选定的日期范围捕获所有上海和深圳股票市场的市场数据。支持使用表达式定义选股策略。支持多线程。将数据保存到 JSON 文件或 CSV 文件。 [19]

--------------------------

本项目包含各种网络爬虫实用开源代码，并将长期更新。欢迎补充。

# WechatSogou微信公众号爬虫、DouBanSpider豆瓣读书爬虫与zhihu_spider  # 群组  # 新浪  # 链家  # 去哪儿  # 数据存储  # 并将  # 经验值  # 可以根据  # 个人信息  # 搜狗  # 携程  # 选股  # 都是  # 是一个  # 京东  # 离线  # 注册时间  # 你可以  # 多个  # 两大  # 口碑好的网站推广价格高  # 邯山区营销推广中心地址  # 邯郸网站优化推广可靠吗  # 滨州推广营销  # 兰州论坛营销推广网站  # 杨浦抖音营销推广怎么做  # 宝鸡营销推广怎么选  # 株洲网站优化网络推广  # 市场营销和公关推广  # 湖南提供网站推广多少钱  # 新疆公司推广员招聘网站  # 东莞营销推广大师排名榜  # 鞋产品网站建设方案  # 张从利seo博客  # 袋装茶营销思路及推广  # 台州天台外贸推广seo  # 墨家seo  # seo需求的重要性  # 哪里有网站建设加盟平台  # 河西区网站建设论坛 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 黄石SEO优化行业费用介绍,介绍优化背后的成本与价值,新浪博客seo 广告  衢州SEO基础优化报价介绍,如何以最低成本打造高效搜索引擎排名,南阳怎么做优化网站  SEO伪创：提升网站排名的危险策略与如何避免,怎样介绍社交网站推广  SEO指：如何通过精准优化提高网站流量和转化率,无锡论坛营销推广要多久  淘宝SEO三大秘诀，如何让你的店铺脱颖而出？,未来互联网营销推广  手机已连网线或WiFi却无法上网？三个原因及解决办法来啦   无网络连接原因大揭秘！设备、Wi-Fi、移动网络皆有可能？   百度下拉框：关键词联想服务，助力企业推广提升知名度？   日常求人不得？这6款老司机才懂的见光死网站快收藏   广州百度推广话术的有效应用与优化策略,网站推广建设优化方法  广州百度推广难吗？解析其中的秘诀与挑战,天猫营销推广方式分析  个人信息保护加强，APP账号注销受关注，腾讯QQ将新增此功能   分享免费下载无损音乐网站，车载CD刻录歌曲不愁啦   同一手机如何使用两个微信账号？微信分身方法大揭秘   介绍英文SEO工作,优化步骤、职业前景与挑战,谷歌seo优质文章推广  沙田SEO优化费用揭秘，如何高效提升网站排名？,喜来登酒店营销推广方案  广州百度推广渠道有哪些？,酷开网络推广营销  SEO模板：提升网站排名，助你快速抢占搜索引擎流量高地,选择seo职业缺点  SEO排序：如何让你的网页在搜索引擎中脱颖而出,平谷抖音seo推广招聘  做好网站设计这些规范准则要知晓  探索数字时代的隐私与安全，一场关乎未来的较量,望城税务系统网站建设  衡阳神马SEO优化方法,助力企业腾飞，打造网络营销新格局,抖音seo稳定排名多少  广州百度推广模式解析，助力企业数字营销新突破,江干全网营销推广招聘网  淘宝SEO优化介绍,掌握关键词布局，助力店铺流量提升,网站的页面布局优化  SEO考核：如何通过精准的SEO优化提升网站排名与流量,茶艺营销推广方案怎么写  深圳SEO生产工艺,打造高效搜索引擎优化解决方法,吴中企业网站优化找哪家  新乐SEO关键词排名优化步骤,介绍提升网站流量之路,辽宁铁岭网站设计优化  滨州SEO优化，投入与产出的性价比之我见,株洲网络营销推广学校  探秘武威,历史与现代交融的丝绸之路明珠,seo推荐30火星软件  网站建设主机的选择标准  如何通过广州百度推广有效卖药,网站如何运营方案推广  黄山SEO推广口碑爆棚，介绍其背后的秘密与优势,网站内容seo  广州百度推广如何助力销量增长？,建设行业公司网站  介绍快速SEO优化外包,提升网站排名，抢占市场先机,seo排名公司 吉林  怀化关键词SEO优化,专业服务助力企业提升网络曝光率,seo原创图片  企业SEO优化一站式服务,助力企业互联网时代腾飞,仙桃餐饮seo推广公司  青海SEO优化，打造品牌新高度的秘诀在这片土地,河北省seo关键词排名  SEO基础知识解析：如何提升网站排名，助力企业成长,毕节企业建设网站  SEO用户：如何为您的网站带来持续流量和转化,惠州网站推广哪个好  SEO技术如何通过优化提升网站流量与排名,四平网站优化公司  365好商机网：集多种服务于一体，助力创业与招商   SEO场景下的数字营销：如何通过精准优化提升网站流量,陕西融发建设集团网站  介绍黑帽SEO,恶意手段与风险防范,重庆秀山抖音关键词排名服务公司  揭秘成功的自媒体人，如何克服困难，实现梦想？,中山网站优化怎么样  武隆区SEO优化市场介绍,价格与价值并重，助力企业腾飞,南京网站建设优化  淘宝宝贝SEO优化攻略,提升搜索排名，引爆流量与销量,长乐抖音关键词搜索排名  随州服装SEO推广价格介绍,如何以最合理的预算实现品牌飞跃,南京seo发展  抖音人气爆棚捧红众多网红，想走红容易却也难？且看这位   福建百度推广开户渠道公司怎么样？全面解析优势与服务,济南楼盘营销推广  介绍南京SEO关键字推广代做,助力企业抢占网络市场先机,福州seo技巧培训班