大家好，我们又见面了，我是你们的老朋友全栈君。

1. 请记住，在Q函数学习中，DQN与DDPG的区别在于，目标的下一个最大Q值是由actor估计的，而不是critic自身。在连续动作空间中，critic无法在没有优化的情况下估计最大Q值。因此，最佳选择是直接使用actor给出最佳动作。

第一张图片中的代码有误：

第71行：critic_target网络基于actor_target网络的估计输出最大Q值，因此不需要再次执行max操作（但在DQN中，我们确实需要那个max操作，因为在DQN中，下一最大Q值是由critic_target本身直接估计的（Q值函数））。

第72行：DDPG中的critic（Q函数）可以直接输出相对输入动作的Q值，因此不需要聚集动作索引相关的Q值。

第74行：因为优化器会累积梯度值，所以使用optimizer.zero_grad()清除它（而不是使用network.zero_grad）。

第75行：优化器应该调用step()函数来反向传播误差。

别忘了添加最终状态的判定：1- dones。

第79行：在actor学习部分，critic_local的输入动作不是样本动作，而是由actor估计的动作（要注意这一点）。此外，它应该计算其平均值。最后，我们希望最大化性能，但优化器用于最小化目标，因此我们必须设置负号。

在soft_update中，记得使用数据的属性进行复制。

发布者：全栈程序员栈长，转载请注明出处：https://www./link/8eb7be5a13cc39a3e56b78aba08b2039

# 区别  # html  # 栈  # https  # 是由  # 不需要  # 而不是  # 我是  # 你们的  # 但在  # 要注意  # 下一  # 可以直接  # 大家好 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： php后缀怎么变mp4格式错误_修改扩展名提示格式不对怎么办【技巧】  Microsoft Edge如何解决网页加载问题 Edge浏览器加载问题修复  laravel怎么为API路由添加签名中间件保护_laravel API路由签名中间件保护方法  宙斯浏览器文件分类查看教程 快速筛选视频文档与图片方法  Laravel怎么实现模型属性的自动加密  如何解决hover在ie6中的兼容性问题  Laravel如何使用Facades（门面）及其工作原理_Laravel门面模式与底层机制  智能起名网站制作软件有哪些,制作logo的软件？  如何制作一个表白网站视频,关于勇敢表白的小标题？  香港服务器选型指南：免备案配置与高效建站方案解析  HTML 中如何正确使用模板变量为元素的 name 属性赋值  Win11怎么更改系统语言为中文_Windows11安装语言包并设为显示语言  Laravel如何实现多表关联模型定义_Laravel多对多关系及中间表数据存取【方法】  如何用狗爹虚拟主机快速搭建网站？  网站图片在线制作软件,怎么在图片上做链接？  香港服务器网站生成指南：免费资源整合与高速稳定配置方案  nodejs redis 发布订阅机制封装实现方法及实例代码  如何用搬瓦工VPS快速搭建个人网站？  HTML透明颜色代码怎么让图片透明_给img元素加透明色的技巧【方法】  WEB开发之注册页面验证码倒计时代码的实现  QQ浏览器网页版登录入口 个人中心在线进入  HTML透明颜色代码怎么让下拉菜单透明_下拉菜单透明背景指南【技巧】  如何获取PHP WAP自助建站系统源码？  如何在云指建站中生成FTP站点？  Laravel怎么实现一对多关联查询_Laravel Eloquent模型关系定义与预加载【实战】  JavaScript如何实现继承_有哪些常用方法  重庆市网站制作公司,重庆招聘网站哪个好？  动图在线制作网站有哪些,滑动动图图集怎么做？  Laravel的Blade指令怎么自定义_创建你自己的Laravel Blade Directives  详解vue.js组件化开发实践  php json中文编码为null的解决办法  网站建设保证美观性，需要考虑的几点问题！  Swift中switch语句区间和元组模式匹配  Laravel如何实现登录错误次数限制_Laravel自带LoginThrottles限流配置【方法】  实例解析Array和String方法  Laravel怎么生成二维码图片_Laravel集成Simple-QrCode扩展包与参数设置【实战】  济南网站建设制作公司,室内设计网站一般都有哪些功能？  Laravel如何使用Telescope进行调试？（安装和使用教程）  Java解压缩zip - 解压缩多个文件或文件夹实例  Java遍历集合的三种方式  laravel怎么在请求结束后执行任务（Terminable Middleware）_laravel Terminable Middleware请求结束任务执行方法  零基础网站服务器架设实战：轻量应用与域名解析配置指南  制作网站软件推荐手机版,如何制作属于自己的手机网站app应用？  Laravel用户密码怎么加密_Laravel Hash门面使用教程  Laravel如何实现API速率限制？（Rate Limiting教程）  如何用花生壳三步快速搭建专属网站？  Laravel如何处理JSON字段_Eloquent原生JSON字段类型操作教程  详解jQuery中的事件  Laravel如何使用Eloquent进行子查询  Linux网络带宽限制_tc配置实践解析【教程】