AAPM数据集低剂量CT数据太大了怎么办?

文章导读
针对 AAPM 低剂量 CT 数据集过大的问题,核心解决方案在于优化数据加载与存储策略。首先,应避免一次性加载全部数据,采用流式读取技术(如 PyTorch 的 DataLoader)按需读取批次。其次,可利用数据类型转换(如 float64 转 float16)减少内存占用。此外,使用补丁(Patch)训练而非全图训练,以及利用压缩格式存储中间数据,也能显著降低存储压力。对于临床泛化问题,建议结
📋 目录
  1. AAPM 数据集低剂量 CT 数据太大了怎么办?
  2. Wave-MambaCT:基于小波 Mamba 的低剂量 CT 伪影抑制方法
  3. 苏州医工所杨晓冬课题组 X 射线成像团队在低剂量 CT 成像方向取得重要进展
  4. TOP 期刊 | 中国科学院合肥肿瘤医院开发稀疏视角 CT 重建新方法突破医学影像质量与泛化能力瓶颈
  5. 降低数据大小的四大绝招。
  6. 焦点模式
  7. FAQ
A A

AAPM 数据集低剂量 CT 数据太大了怎么办?

针对 AAPM 低剂量 CT 数据集过大的问题,核心解决方案在于优化数据加载与存储策略。首先,应避免一次性加载全部数据,采用流式读取技术(如 PyTorch 的 DataLoader)按需读取批次。其次,可利用数据类型转换(如 float64 转 float16)减少内存占用。此外,使用补丁(Patch)训练而非全图训练,以及利用压缩格式存储中间数据,也能显著降低存储压力。对于临床泛化问题,建议结合仿真与真实数据进行迁移学习,以提升模型在实际场景中的鲁棒性,同时注意硬件内存层级优化,减少磁盘 IO 瓶颈。

Wave-MambaCT:基于小波 Mamba 的低剂量 CT 伪影抑制方法

第 48 卷 第 3 期 2026 年 3 月 电 子 与 信 息 学 报 Journal of Electronics & Information Technology Vol. 48No. 3 Mar. 2026 Wave-MambaCT:基于小波 Mamba 的低剂量 CT 伪影抑制方法 崔学英*① 王宇航② 刘 斌① 上官宏③ 张 雄③ ①(太原科技大学应用科学学院 太原 030024) ②(太原科技大学计算机科学与技术学院 太原 030024) ③(太原科技大学电子信息工程学院 太原 030024) 摘 要:低剂量 CT(LDCT) 图像中的伪影和噪声影响疾病的早期诊断和治疗。基于卷积神经网络的去噪方法在远 程建模方面能力有限。与 Transformer 架构的远程建模方法相比,基于 Mamba 模型在建模时计算复杂度低,然而 现有的 Mamba 模型存在信息丢失或噪声残留的缺点。为此,该文提出一种基于小波 Mamba 的去噪模型 Wave- MambaCT.首先利用小波变换的多尺度分解解耦噪声和低频内容信息。其次,构建残差模块结合状态空间模型 的 Mamba 模块提取高低频带的局部和全局信息,并用无噪的低频特征通过基于注意力的跨频 Mamba 模块校正并 增强同尺度的高频特征,在去除噪声的同时保持更多细节。最后,分阶段采用逆小波变换渐进恢复图像,并设置 相应的损失函数提高网络的稳定性。实验结果表明 Wave-MambaCT 在较低的计算复杂度和参数量下,不仅提高 了低剂量 CT 图像的视觉效果,而且在 PSNR,SSIM,VIF 和 MSE 4 种定量指标上均优于现有的去噪方法。

苏州医工所杨晓冬课题组 X 射线成像团队在低剂量 CT 成像方向取得重要进展

在公开仿真的 AAPM(美国医学物理协会) 数据集上,深度学习成像方法的性能在不断取得突破的同时也在日趋饱和,其发展正逐渐面临来自真实临床成像场景应用的挑战。考虑到深度学习方法是一种数据驱动的方法,其非常依赖于训练数据与测试数据特征分布的一致性,然而,现有网络模型的构建多基于仿真的公开数据集,其噪声水平和特征分布相对单一,与复杂的临床场景相差较大,故采用仿真数据训练的模型,很难泛化到真实的临床应用。为解决上述的域泛化成像问题,针对不同数据间的语义和噪声分布呈现的互补特性,苏州医工所医学影像室杨晓冬课题组团队设计了基于互补学习和迁移学习的网络框架,如图 1 所示,将无监督的图像合成任务转化为两阶段的有监督的子训练任务,实现高质量的临床数据合成。利用合成的图像数据开展真实临床场景的域泛化成像实验,所提的方法可以大幅度提升现有深度学习方法在目标域的成像表现,进而验证了开展域泛化成像的必要性与可行性,具体结果如图 2 和表 1 所示。

TOP 期刊 | 中国科学院合肥肿瘤医院开发稀疏视角 CT 重建新方法突破医学影像质量与泛化能力瓶颈

稀疏视角低剂量 CT 通过减少采样角度来降低患者辐射剂量并缩短扫描时间,但由此带来的重建伪影问题严重影响影像质量和诊断准确性。传统方法通常需针对不同视角场景分别训练模型,不仅耗时耗力,还缺乏对新场景的灵活适应能力。针对模型泛化能力不足与图像细节丢失的难题,研究团队提出了一种基于协同训练的重建方法。研究团队设计了多视角协同训练策略,将训练数据按视角数量划分为“超稀疏组”(18、24、36、42 视角) 和“稀疏组”(72、96、144、168 视角),使单一模型能够鲁棒地适应多种扫描条件;该策略有效避免了大跨度视角训练中性能不稳定的问题,显著提升了模型在极稀疏场景下的重建性能与稳定性。同时,研究团队构建了多阶段双域渐进重建网络 (MDPRNet),该网络采用多阶段架构,早期阶段通过编码器–解码器架构,从正弦域与图像域中提取多尺度上下文特征。

降低数据大小的四大绝招。

数据类型转换 通过数据转换往往可以帮助我们节省好几倍的内存,同时因为类型的转换,在一些数值计算中还可以起到加速运算的作用。我们以 American Express 竞赛为案例:1. customer_ID 从 64 bytes 降低为 4bytes 长度为 64 的字符串,每行使用 64 个字节!我们可以将此转换为仅使用 4 字节或 8 字节的 int32 或 int64。典型的技巧如获取十六进制字符串的最后 16 个字母,然后将该 base16 数字转换为 base10 并另存为 int64。2. S_2 将 10 bytes 降低为 3 bytes 此列是带时间的日期。由长度为 10 的字符串提供,每行使用 10 个字节!如果我们用 pd.datetime 进行转化,那么变为 4 个字节。或者,我们可以将此列保存为三列,分别为 year,month,day,每列为 int8,并且每行仅使用 3 个字节。3. 类别特征,从 8 bytes 降低为 1 bytes 将一些最大值为 8 个值的类别列转化为 int8 的正数,这样就变成了 1 个 byte,将原先 8 个 bytes 转化为了 1 个 byte。

焦点模式

接下来在层次结构是级 2 高速缓存跟在主的内存 (RAM),和最后硬盘驱动器。图 1 显示为典型的 PC 内存层次结构的各个部分的大小和访问时间。在每个步骤更深入的内存层次结构,访问时间 (和大小) 增加一个数量级或多个 (硬盘驱动器是低于 RAM 的 10,000 个时间) 时 (每字节) 成本降低。<table><tr><th></th><th>L 1 缓存</th><th>L 2 缓存</th><th>内存 (RAM)</th><th>磁盘</th></tr><tr><td>大小</td><td>64K</td><td>512K</td><td>2000M</td><td>100,000M</td></tr><tr><td>访问时间</td><td>.4 ns</td><td>4 ns</td><td>40 ns</td><td>4,000,000 ns</td></tr></table> 如果热数据路径访问更多的内存,然后操作数经常需要获取从速度较慢的内存。因为较慢的内存是较慢的一个数量级,几级 2 缓存未命中可以有显著的性能影响。第二个的情况 (某些) 内存消耗相关问题的将是应用程序的冷启动期间中。如图 1 所示的硬盘访问将是比主内存访问更慢。

FAQ

问:AAPM 数据集主要用于什么研究?

AAPM数据集低剂量CT数据太大了怎么办?

答:AAPM 数据集主要用于低剂量 CT(LDCT)图像的去噪、重建及伪影抑制研究,包含大量低剂量与高剂量 CT 图像对,用于评估深度学习模型的性能。

问:如何处理大规模医学影像数据的内存占用问题?

答:可以通过数据类型转换(如 float64 转 float16)、流式读取数据、使用数据生成器按需加载批次,以及优化内存层次结构利用缓存来减少内存消耗。

问:仿真数据训练的模型为何难以泛化到临床?

答:因为仿真数据的噪声水平和特征分布相对单一,与复杂的真实临床场景相差较大,导致模型在目标域上的成像表现不佳,需要迁移学习或数据合成来解决。