Redis 中spark参数executor-cores引起的异常解决办法

发布时间 - 2026-01-11 00:24:42    点击率:

Redis 中spark参数executor-cores引起的异常解决办法

报错信息

Unexpected end of stream

16/10/11 16:35:50 WARN TaskSetManager: Lost task 63.0 in stage 3.0 (TID 212, gzns-arch-spark04.gzns.iwm.name): redis.clients.jedis.exceptions.JedisConnectionException: Unexpected end of stream.
 at redis.clients.util.RedisInputStream.ensureFill(RedisInputStream.java:199)
 at redis.clients.util.RedisInputStream.readByte(RedisInputStream.java:40)
 at redis.clients.jedis.Protocol.process(Protocol.java:151)
 at redis.clients.jedis.Protocol.read(Protocol.java:215)
 at redis.clients.jedis.Connection.readProtocolWithCheckingBroken(Connection.java:340)
 at redis.clients.jedis.Connection.getBinaryMultiBulkReply(Connection.java:276)
 at redis.clients.jedis.Connection.getMultiBulkReply(Connection.java:269)
 at redis.clients.jedis.Jedis.hmget(Jedis.java:723)

DENIED Redis is running in protected mode because protected mode is enabled

DENIED Redis is running in protected mode because protected mode is enabled,
 no bind address was specified, no authentication password is requested to clients.
 In this mode connections are only accepted from the loopback interface. 
If you want to connect from external computers to Redis you may adopt one of 
the following solutions: 1) Just disable protected mode sending the command
 'CONFIG SET protected-mode no' from the loopback interface by connecting to
 Redis from the same host the server is running, however MAKE SURE Redis is not 
publicly accessible from internet if you do so. Use CONFIG REWRITE to make this change
 permanent.
 2) Alternatively you can just disable the protected mode by editing the 
Redis configuration file, and setting the protected mode option to 'no', 
and then restarting the server. 3) If you started the server manually just 
for testing, restart it with the '--protected-mode no' option. 4) Setup a bind 
address or an authentication password. NOTE: You only need to do one of the above 
things in order for the server to start accepting connections from the outside.
 at redis.clients.jedis.Protocol.processError(Protocol.java:127)
 at redis.clients.jedis.Protocol.process(Protocol.java:161)
 at redis.clients.jedis.Protocol.read(Protocol.java:215)

解决过程

我尝试重启redis,更换redis新jar包,关闭redis保护模式都于事无补,后来找了下错误的原因,无意中看到了Unexpected end of stream是说有一个进程占用了redis的链接,头脑一炸,才发现自己把executor-cores设置为了2,然后把该值设置为1后,正常了。

看来只有等接入redis集群后,我才能修改该值了。

感谢阅读,希望能帮助到大家,谢谢大家对本站的支持!


# Redis  # spark参数executor-cores异常  # spark参数executor-cores引起的异常  # Redis过期数据是否会被立马删除  # SpringBoot配置Redis实现保存获取和删除数据  # redis 数据删除策略和逐出算法的问题小结  # Spark删除redis千万级别set集合数据实现分析  # 于事无补  # 用了  # 希望能  # 才发现  # 无意中  # 找了  # 是说  # 报错  # 谢谢大家  # 重启  # 设置为  # 解决办法  # 有一个  # 把该  # 看到了  # RedisInputStream  # util  # readByte  # ensureFill  # java 


相关栏目: 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571


相关推荐: Laravel如何实现事件和监听器?(Event & Listener实战)  如何在云服务器上快速搭建个人网站?  JavaScript如何实现路由_前端路由原理是什么  Laravel如何获取当前用户信息_Laravel Auth门面获取用户ID  Laravel API资源类怎么用_Laravel API Resource数据转换  家族网站制作贴纸教程视频,用豆子做粘帖画怎么制作?  高端企业智能建站程序:SEO优化与响应式模板定制开发  香港代理服务器配置指南:高匿IP选择、跨境加速与SEO优化技巧  Midjourney怎么调整光影效果_Midjourney光影调整方法【指南】  Laravel如何为API生成Swagger或OpenAPI文档  无锡营销型网站制作公司,无锡网选车牌流程?  如何登录建站主机?访问步骤全解析  小视频制作网站有哪些,有什么看国内小视频的网站,求推荐?  Laravel怎么在Blade中安全地输出原始HTML内容  Edge浏览器提示“由你的组织管理”怎么解决_去除浏览器托管提示【修复】  Laravel如何将应用部署到生产服务器_Laravel生产环境部署流程  独立制作一个网站多少钱,建立网站需要花多少钱?  JS碰撞运动实现方法详解  黑客如何通过漏洞一步步攻陷网站服务器?  Windows10电脑怎么设置虚拟光驱_Win10右键装载ISO镜像文件  大连网站制作费用,大连新青年网站,五年四班里的视频怎样下载啊?  如何快速搭建个人网站并优化SEO?  高防服务器租用指南:配置选择与快速部署攻略  Laravel如何使用查询构建器?(Query Builder高级用法)  如何正确下载安装西数主机建站助手?  如何快速打造个性化非模板自助建站?  Laravel如何生成PDF或Excel文件_Laravel文档导出工具与使用教程  简单实现Android验证码  详解免费开源的.NET多类型文件解压缩组件SharpZipLib(.NET组件介绍之七)  Python进程池调度策略_任务分发说明【指导】  动图在线制作网站有哪些,滑动动图图集怎么做?  google浏览器怎么清理缓存_谷歌浏览器清除缓存加速详细步骤  韩国网站服务器搭建指南:VPS选购、域名解析与DNS配置推荐  Laravel如何配置和使用队列处理异步任务_Laravel队列驱动与任务分发实例  浅析上传头像示例及其注意事项  php结合redis实现高并发下的抢购、秒杀功能的实例  如何用AWS免费套餐快速搭建高效网站?  济南网站建设制作公司,室内设计网站一般都有哪些功能?  html文件怎么打开证书错误_https协议的html打开提示不安全【指南】  瓜子二手车官方网站在线入口 瓜子二手车网页版官网通道入口  如何自己制作一个网站链接,如何制作一个企业网站,建设网站的基本步骤有哪些?  如何快速选择适合个人网站的云服务器配置?  Laravel如何使用Contracts(契约)进行编程_Laravel契约接口与依赖反转  Laravel Debugbar怎么安装_Laravel调试工具栏配置指南  Laravel如何配置和使用缓存?(Redis代码示例)  如何用IIS7快速搭建并优化网站站点?  Windows驱动无法加载错误解决方法_驱动签名验证失败处理步骤  如何快速搭建二级域名独立网站?  千问怎样用提示词获取健康建议_千问健康类提示词注意事项【指南】  JavaScript如何实现继承_有哪些常用方法