▊ 研究背景介绍

由于深度学习任务通常依赖大量标注数据，医疗图像的标注需要专业知识，标注人员需精确判断病灶的大小、形状、边缘等信息，甚至需要经验丰富的专家进行多次评估，这增加了深度学习在医疗领域应用的难度。

目前，尽管有一些公开数据集（如LIDC-IDRI、LUNA等）可供使用，但这些数据集的图像数量有限且存在偏倚性，导致模型容易过拟合。为了解决这一问题，通常采用迁移学习，使用ImageNet等大规模数据集的预训练参数来加速模型收敛。然而，对于3D医学图像（如CT、MRI等），缺乏有效的3D模型预训练参数。

本文介绍了一项针对3D医学影像中病灶检测的研究，该研究提出了一种新框架，能够有效利用3D上下文信息进行2D病灶检测，并提出了一种预训练3D卷积神经网络的新方法。

该研究发表于MICCAI 2025 [1]，在迄今为止最大的CT图像数据集NIH DeepLesion上进行实验，取得了SOTA的病灶检测结果。在Sensitivity@0.5FPs上，比现有SOTA方法提升了3.48%，而相比2.5D的基线方法，提升高达4.93%。

此外，实验表明文中提出的有监督预训练方法能有效提高3D模型的训练收敛速度，并在小数据集上提升模型精度。研究者在四个基准3D医学数据集上进行了大规模实验，结果显示对我们的预训练3D模型进行微调不仅显著优于从头训练的3D模型，并且在多数任务上也优于现有的最先进的自监督和全监督预训练模型。

预训练相关的代码以及基于ResNet3D-18的预训练模型已公开，链接为：

https://www./link/9c2cc80894bbd442867697b3e4a4656f

▊ 文章信息

Shu Zhang, Jincheng Xu, Yu Chun Chen, Jiechao Ma, Zihao Li, Yizhou Wang, and Yizhou Yu.

"Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection on CT Slices." In International Conference on Medical Image Computing and Computer-Assisted Intervention（MICCAI）, pp. 542-551. Springer, Cham, 2025。

论文：https://www./link/f6ae7ed0c6df83e4bada48b9c9f2b5ff

一、Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection in CT Slices.1. CT关键层面中病灶检测中的3D上下文建模对于自然图像，通常采用2D CNN解决相关问题。但对于医学图像，尤其是3D医学图像（如CT、MRI等），不同层面上的影像展示了同一病灶或器官的不同切面，这些信息具有高度的相关性和互补性。仅在单个层面进行图像检测会浪费大量信息，并可能导致诊断结果偏差。

对于CT影像关键层面的2D病灶检测，一个直接的解决方案是将连续的三层CT影像拼接成一个3通道二维图像，输入2D网络进行病灶检测。这种方法能利用2D自然图像的预训练模型提升特征表达能力，但缺乏对多层面之间相关信息的处理和解释能力，难以进行3D上下文建模，因此效果有限。

当前许多研究意识到3D上下文建模的重要性，如MVP-Net[2]等工作采用2.5D方法来提升3D上下文建模能力，通过构造多通道2D网络融合更多连续层面（如9层或27层）的2D特征，实验结果显示这种方法比单纯的2D方法有较大性能提升。

本文针对3D上下文建模问题提出了一种更直接的解决方案，即直接对连续多层CT图像使用3D卷积进行特征提取，这样能更好地提取连续层面之间的结构和纹理特征。同时，为解决3D卷积计算量大和训练收敛慢的问题，我们提出了针对性的模型结构改进和3D预训练方法。

2. 3D上下文信息增强网络（MP3D）本研究针对CT图像关键层面中的病灶检测问题，开发了一个通用且高效的网络框架，用于增强3D上下文信息建模。首先，我们提出一种改进的伪3D框架来对连续多层输入进行高效的3D上下文特征提取，并通过一个组卷积变换模块，将3D特征转换为2D特征，以适配2D目标检测任务。

为了提高普通三维ResNet的计算和参数存储效率，我们采用伪3D残差网络（P3D ResNet）作为我们的原型骨干网络。伪3D卷积模拟的是3 × 3 × 3卷积在轴向视图切片上使用1 × 3 × 3卷积核加上3 × 1 × 1卷积核来构建相邻CT上的上下文信息（如图1所示）。

此外，在关键层面病灶检测这种问题设定中，通常我们输入的图像层数（文中n=9）远小于轴位上的图像尺寸（通常是512*512）。我们在整个特征提取过程中，只对XY方向进行降采样，保持Z方向的尺寸不变，从而确保模型始终具有3D上下文建模的能力。

图1：MP3D网络框架

3. 基于变维度转换的3D模型预训练我们发现，在NIH DeepLesion这种较大数据量的数据集中，使用3D backbone进行建模时，尽管从头训练也能得到较好的模型效果，但其收敛时间通常是微调模式的3倍以上。在数据量较小的情况下，即便训练足够长的轮次，其收敛效果也难以与微调模式相比。

为此，我们设计了一种有监督的预训练方法来增强MP3D的训练及收敛性能（图2）。本工作提出了一种基于变维度转换的3D模型预训练方法：具体地，我们将2D空间中的通道数（channel维度）转换为3D空间中的层面数（depth维度），将原始具有色彩信息的RGB三通道二维图像转化为三维空间中的三个连续层面。

通过变维度转换，丰富的二维空间颜色信息以3D结构信息的形式被保存下来。基于这些伪3D数据学习的3D卷积核则具有表达3D医学图像中复杂3D结构和纹理信息的能力。

使用变维度转换模块得到的伪3D图像进行3D模型预训练时，与上文中介绍的检测模型类似，需要注意不要在Z方向进行降采样操作，确保Z方向始终保持depth=3，从而可以不断学习3D上下文信息。预训练的代理任务根据使用的数据集不同，可以是基于ImageNet的分类任务、基于COCO的检测任务或基于分割数据集的分割任务等。

最终，通过该方法学习到的3D网络参数可用于下游医学任务的微调及优化，其迁移学习能力远超于在下游3D医学数据上从头训练的实验效果。同时，由于可以利用现有2D数据集进行3D模型预训练，相比其他预训练方法，该方案避免了采集大规模医疗数据的需要，更不用做新的数据标注。

值得注意的是，在本文之前，将三个连续层面的3D医学图像合并成RGB图像，并使用在自然图像领域预训练好的2D模型进行特征表达已成为处理医学影像的标准流程。本文提出的变维度转换可以认为是上述过程的一个逆变换。基于该逆变换，我们则可以有效利用2D自然图像进行3D模型的预训练。后面的实验结论证明了这种变维度转换模块的有效性。

图2：基于变维度转换的3D模型预训练

4. 关键层面病灶检出问题的实验设计与结果分析该研究采用NIH DeepLesion数据集作为模型的对比，模型的效果评价方法使用每幅图像在不同误报（FPs）下的灵敏度以及MAP@0.5。从表1中可以看出，与之前的SOTA方法相比较，我们的模型在不同的灵敏度上都超过了其他所有方法，展示了三维模型的优越性，以及MP3D网络对上下文信息的建模能力。

表1: 在DeepLesion测试集上，每幅图像在不同FPs下的灵敏度(%)

为了进一步证明预训练方法的效果，表2中的定量结果可以看出，使用所提预训练方法可以在仅训练1/3的轮次（2x vs 6x的lr-schedule）的条件下取得与从头开始训练网络相同的效果。在同样使用1x和2x的训练时长条件下，使用预训练模型的结果远好于从头开始训练的模型。

表2: 在DeepLesion测试集上，预训练方法的消融实验效果

5. 预训练效果的实验设计与结果分析本节对上一工作中的预训练参数方法的有效性进行了全面分析验证，相关实验细节请参考我们arXiv上的最新技术报告[3]（Advancing 3D Medical Image Analysis with Variable Dimension Transform based Supervised 3D Pre-training：https://www./link/96e215fcdd3532d140b8af71e4c73931）

目前在医学图像的预训练参数生成任务中，由于缺乏大规模标注数据集，一般采用自监督学习的方法，对未标注的数据使用对比学习的方法来学习预训练参数。然而，对于一些通用的医学任务，由于缺少一定程度的监督信息（语义不变性和判别性），会导致这些判别特征难以被挖掘。

本研究为了全面比较不同预训练方法在不同数据集上不同任务上的效果，分别在LIDC-IDRI数据集、LITS肝脏数据集、NIH DeepLesion数据集上进行分类、分割以及检测任务。并且与这些任务上的SOTA方法进行比较，我们的方法在不同数据集上均能取得较大提升。同时，在图3对肝脏器官分割的可视化中，所提方法能够完整地分割出相应的区域，证明了该方法的有效性和临床应用价值。

表3：LIDC以及LITS分割数据集效果

表4:LIDC分类数据集效果

表5: NIH DeepLesion检测数据集效果

图3:LITS可视化

为了进一步验证我们的预训练方法在有限数据场景下的模型效果，我们基于20%、40%、60%、80% 以及100% NIH DeepLesion数据分别微调了预训练模型，用来比较使用我们提出的预训练模型做迁移学习与直接从头训练之间的性能差异。

图4的每一幅图展示了在某一种具体指标上的效果对比，其中最后一幅图展示的meanFROC是对检测模型整体效果的一个描述。可以看出在同样的训练轮次，我们的预训练模型在每一种数据量下都可以取得比从头训练更好的效果，而且随着数据量的缩小，这个效果的差距会被不断地放大。

这说明预训练模型对于小数据量的场景具有更突出的优化效果。此外，从最后一幅图可以看出，在使用不到40%的总数据量时，基于我们提出的预训练模型训练的模型效果好于在全量数据上从头训练的模型效果。因此，相对于从头开始训练的方法，该预训练模型可以节省大约60%的数据标注成本。

图4：预训练模型在不同数据量下的效果对比

代码：https://www./link/9c2cc80894bbd442867697b3e4a4656f

参考文献：

[1] Shu Zhang, Jincheng Xu, Yu Chun Chen, Jiechao Ma, Zihao Li, Yizhou Wang, and Yizhou Yu. "Revisiting 3D Context Modeling with Supervised Pre-training for Universal Lesion Detection on CT Slices." In International Conference on Medical Image Computing and Computer-Assisted Intervention（MICCAI）, pp. 542-551. Springer, Cham, 2025.

[2] Li, Zihao, Shu Zhang, Junge Zhang, Kaiqi Huang, Yizhou Wang, and Yizhou Yu. "Mvp-net: Multi-view fpn with position-aware attention for deep universal lesion detection." In International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 13-21. Springer, Cham, 2019.

[3] Shu Zhang, Zihao Li, Hong-Yu Zhou, Jiechao Ma and Yizhou Yu. "Advancing 3D Medical Image Analysis with Variable Dimension Transform based Supervised 3D Pre-training"arXiv preprint arXiv: 2201.01426 2025 Jan 6.

END

# git  # ai  # for  # 切片  # map  # channel  # position  # transform  # li  # github  # cnn  # https  # 提出了  # 可以看出  # 一幅  # 的是  # 方法来  # 转换为  # 展示了  # 进行了  # 好于  # 逆变 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： 宙斯浏览器视频悬浮窗怎么开启 边看视频边操作其他应用教程  如何在橙子建站上传落地页？操作指南详解  nodejs redis 发布订阅机制封装实现方法及实例代码  Laravel怎么实现API接口鉴权_Laravel Sanctum令牌生成与请求验证【教程】  Laravel怎么使用Intervention Image库处理图片上传和缩放  Laravel怎么进行数据库事务处理_Laravel DB Facade事务操作确保数据一致性  Laravel如何从数据库删除数据_Laravel destroy和delete方法区别  Firefox Developer Edition开发者版本入口  Win11应用商店下载慢怎么办 Win11更改DNS提速下载【修复】  laravel怎么使用数据库工厂（Factory）生成带有关联模型的数据_laravel Factory生成关联数据方法  JavaScript如何实现倒计时_时间函数如何精确控制  美食网站链接制作教程视频,哪个教做美食的网站比较专业点？  成都品牌网站制作公司,成都营业执照年报网上怎么办理？  Swift中switch语句区间和元组模式匹配  js实现获取鼠标当前的位置  在centOS 7安装mysql 5.7的详细教程  EditPlus中的正则表达式实战(6)  Python自动化办公教程_ExcelWordPDF批量处理案例  laravel服务容器和依赖注入怎么理解_laravel服务容器与依赖注入解析  如何在服务器上配置二级域名建站？  Laravel如何使用.env文件管理环境变量？（最佳实践）  iOS中将个别页面强制横屏其他页面竖屏  西安专业网站制作公司有哪些,陕西省建行官方网站？  如何用IIS7快速搭建并优化网站站点？  如何在宝塔面板中修改默认建站目录？  如何用搬瓦工VPS快速搭建个人网站？  php在windows下怎么调试_phpwindows环境调试操作说明【操作】  JS碰撞运动实现方法详解  如何在不使用负向后查找的情况下匹配特定条件前的换行符  Laravel如何处理跨站请求伪造（CSRF）保护_Laravel表单安全机制与令牌校验  百度输入法全感官ai怎么关 百度输入法全感官皮肤关闭  html5怎么画眼睛_HT5用Canvas或SVG画眼球瞳孔加JS控制动态【绘制】  如何用狗爹虚拟主机快速搭建网站？  如何选择可靠的免备案建站服务器？  在线ppt制作网站有哪些软件,如何把网页的内容做成ppt？  如何用低价快速搭建高质量网站？  合肥制作网站的公司有哪些,合肥聚美网络科技有限公司介绍？  如何快速选择适合个人网站的云服务器配置？  Linux系统运维自动化项目教程_Ansible批量管理实战  JavaScript 输出显示内容(document.write、alert、innerHTML、console.log)  Laravel如何使用模型观察者？（Observer代码示例）  Laravel Facade的原理是什么_深入理解Laravel门面及其工作机制  如何确认建站备案号应放置的具体位置？  Laravel如何实现全文搜索功能？（Scout和Algolia示例）  如何用美橙互联一键搭建多站合一网站？  如何获取免费开源的自助建站系统源码？  如何在阿里云虚拟服务器快速搭建网站？  JS中页面与页面之间超链接跳转中文乱码问题的解决办法  Laravel Eloquent模型如何创建_Laravel ORM基础之Model创建与使用教程  Laravel怎么清理缓存_Laravel optimize clear命令详解