机器之心 & arxiv weekly radiostation

参与：杜伟、楚航、罗若天

目录

如何增强黑箱机器学习模型的鲁棒性？零阶优化视角语言模型作为知识嵌入高效高阶空间交互的 HorNet：递归门卷积实用无损联邦奇异值分解，适用于数十亿规模数据联邦学习中安全性与实用性的无免费午餐定理软件定义网络同化：通过 NAssim 实现集中式网络配置管理的最后一步快速知识蒸馏框架用于视觉识别的 ArXiv Weekly Radiostation：NLP、CV、ML 更多精选论文（附音频）论文 1：如何增强黑箱机器学习模型的鲁棒性？零阶优化视角

作者：张益萌等论文地址：https://www./link/2871d86ea442b2496f4774b3810b2142 (Michigan State University) 和 MIT-IBM AI 实验室关于黑箱防御的文章，已被 ICLR 2025 选为 spotlight paper，代码和模型均已开源。

本文主要研究在仅使用目标模型的输入和输出情况下如何进行黑箱防御。为了解决这一难题，本文将降噪平滑与零阶优化结合，提出了有效且可扩展的 ZO-AE-DS 黑箱防御框架，该框架有效减少了零阶梯度估计的方差，从而缩小了零阶优化与一阶优化性能上的差距。

推荐：MSU 联合 MIT-IBM 提出了首个黑箱防御框架。

论文 2：语言模型作为知识嵌入

作者：Xintao Wang 等论文地址：https://www./link/d130125b5bba8462ae017c93319b79fd LMKE（Language Models as Knowledge Embeddings），同时利用结构信息和文本信息，并首次将基于文本的知识嵌入学习建模在对比学习框架下，从而在提升长尾实体表示的同时解决了现有基于文本的知识嵌入方法在表现、效率等方面的不足。相关研究成果现已被 IJCAI 2025 录用。

LMKE 的模型结构（用于三元组分类）

推荐：将语言模型用作知识嵌入：链接预测、三元组分类全部 SOTA，超越基于结构的传统方法。

论文 3：高效高阶空间交互的 HorNet：递归门卷积

作者：Yongming Rao 等论文地址：https://www./link/5e57e76cd6ebcdd544ce5dd30faa95db Transformer 的最新进展表明，在基于点积自注意力的新空间建模机制驱动的各种任务中取得了巨大成功。在本文中，作者证明了视觉 Transformer 背后的关键成分，即输入自适应、长程和高阶空间交互，也可以通过基于卷积的框架有效实现。作者提出了递归门卷积

，它用门卷积和递归设计进行高阶空间交互。新操作具有高度灵活性和可定制性，与卷积的各种变体兼容，并将自注意力中的二阶交互扩展到任意阶，而不引入显著的额外计算。

思路展示。

推荐：用即插即用模块来改进各种视觉 Transformer 和基于卷积的模型。

论文 4：实用无损联邦奇异值分解，适用于数十亿规模数据

作者：Di Chai 等论文地址：https://www./link/5fc78eaa477c004f02bd794d43e3c378 SVD 任务中，该方案的效率比同态加密提高 10000 倍，误差比差分隐私方案小 10 个数量级，同时提供了安全性分析和实验验证。

FedSVD 的详细工作流。

推荐：在数十亿规模数据上的无损联邦奇异值分解。

论文 5：联邦学习中安全性与实用性的无免费午餐定理

作者：Xiaojin Zhang 等论文地址：https://www./link/2aed7be01bfae8763e78deedbeaa8b01。

基于贝叶斯推理攻击和隐私效用权衡的 SFL 框架概览。

推荐：联邦学习中隐私与模型性能之间没有免费午餐定理。

论文 6：软件定义网络同化：通过 NAssim 实现集中式网络配置管理的最后一步

作者：Huangxun Chen 等论文地址：https://www./link/75f8f7a9ced8da0635e455405200f2e8 8 月 22 日 - 26 日举办的第 36 届 SIGCOMM 2025 会议上，华为的研究者针对这一难题提出了崭新的思路, 受生物学里的同化作用 Assimilation 的启发，首次提出了 SNA （Software-defined Network Assimilation）的概念。

研究者推出了助力网络配置管理最后一公里的辅助框架 NAssim，把一个现有网络 “消化、理解、吸收” 新设备的过程尽可能进行了自动化，并提出用网络配置语义模型 NetBERT 直接 “读懂” 配置说明书，把运维工程师从繁琐易出错的工作中解放出来，大幅提升网络运维的效率。目前该工作正在华为数通产品线进行落地试点。

设计思路。

推荐：理论用于实践，华为配置管理研究获 SIGCOMM 2025 最佳论文奖。

论文 7：快速知识蒸馏框架用于视觉识别

作者：Zhiqiang Shen、Eric Xing论文地址：https://www./link/52f0ab576a3efd4c9e6f71fcab5ecdba ECCV 2025 关于快速知识蒸馏的文章，用基本的训练参数配置就可以把 ResNet-50 在 ImageNet-1K 从头开始 (from scratch) 训练到 80.1% (不使用 mixup，cutmix 等数据增强)，训练速度（尤其是数据读取开销）相比传统分类框架节省 16% 以上，比之前 SOTA 算法快 30% 以上，是目前精度和速度双双最优的知识蒸馏策略之一，代码和模型已全部开源！

FKD 算法框架。

推荐：CMU 提出首个快速知识蒸馏的视觉框架：ResNet50 80.1% 精度，训练加速 30%。

ArXiv Weekly Radiostation

机器之心联合由楚航、罗若天发起的ArXiv Weekly Radiostation，在 7 Papers 的基础上，精选本周更多重要论文，包括NLP、CV、ML领域各10篇精选，并提供音频形式的论文摘要简介，详情如下：

本周 10 篇 NLP 精选论文是：

1. 文本到 SQL 解析的调查：概念、方法和未来方向。 (来自 Jian Sun)

2. 在无法证伪的声明中寻找结构。 (来自 Serge Belongie)

3. 用非线性几何去偏见词嵌入。 (来自 Huan Liu)

4. 将任务特定的概念知识整合到脚本学习中。 (来自 ChengXiang Zhai)

5. 非并行故事作者风格转移的 StoryTrans：使用话语表示和内容增强。 (来自 Minlie Huang)

6. 使用端到端建模进行持续对话的流式意图查询检测。 (来自 Tara N. Sainath)

7. 自然对话语音的转向预测。 (来自 Tara N. Sainath)

8. 用于语音识别的贝叶斯神经网络语言建模。 (来自 Xunying Liu)

9. 通过对比学习优化双编码器用于命名实体识别。 (来自 Jianfeng Gao)

10. AutoQGS：从 SPARQL 生成基于知识的低资源问题生成的自动提示。 (来自 Xiaodong He)

本周 10 篇 CV 精选论文是：

1. 合成潜在指纹生成器。 (来自 Anil K. Jain)

2. 基于 Transformer 的通用视觉计数 CounTR。 (来自 Andrew Zisserman)

3. 通过图像修复进行视觉提示。 (来自 Trevor Darrell, Alexei A. Efros)

4. 通过不确定性诱导的可转移性表示进行无源无监督域适应。 (来自 Liang Chen, Yang Liu)

5. 从外中心视角理解接地性。 (来自 Dacheng Tao)

6. 学习连续隐式表示用于近周期模式。 (来自 Martial Hebert, Srinivasa G. Narasimhan)

7. 生物医学图像的复合图分离：通过自监督学习挖掘大数据集。 (来自 Agnes B. Fogo)

8. 通过上下文多样性探测进行密集的分布外检测。 (来自 Thomas Brox)

9. GaitFi：通过 WiFi 和视觉多模态学习进行鲁棒的无设备人体识别。 (来自 Lihua Xie)

10. 朝向分布内兼容性的分布外检测。 (来自 Deng Cai, Xiaofei He, Wei Liu)

本周 10 篇 ML 精选论文是：

1. 具有时间变化曲率的自监督黎曼 GNN 用于时间图学习。 (来自 Philip S. Yu)

2. 通过增强图自训练在少数标记节点上学习。 (来自 Huan Liu)

3. NeurIPS'22 跨领域元 DL 竞赛：设计与基线结果。 (来自 Isabelle Guyon)

4. RUAD：在高性能计算系统中进行无监督异常检测。 (来自 Luca Benini)

5. Autoinverse：神经网络的不确定性感知反转。 (来自 Hans-Peter Seidel)

6. 在线马尔可夫决策过程的动态遗憾。 (来自 Zhi-Hua Zhou)

7. 超模型生态系统：从领域适应的角度来看。 (来自 Dacheng Tao)

8. 在联邦学习中权衡隐私、实用性和效率。 (来自 Kai Chen)

9. 从计算约束中得到过参数化（鲁棒）模型。 (来自 Somesh Jha)

10. 任务无关数据估值的基础。 (来自 Ramesh Raskar)

© THE END

转载请联系本公众号获得授权

投稿或寻求报道：content@jiqizhixin.com

# ai  # sql  # 递归  # 算法  # transformer  # nlp  # 数据分析  # https  # 自动化  # 提出了  # 高阶  # 华为  # 本周  # 这一  # 配置管理  # 首次  # 适用于  # 长程 

相关栏目： 【 网站优化151355 】 【 网络推广146373 】 【 网络技术251813 】 【 AI营销90571 】

相关推荐： Laravel如何处理异常和错误？（Handler示例）  教学论文网站制作软件有哪些,写论文用什么软件 ？  HTML5打空格有哪些误区_新手常犯的空格使用错误【技巧】  Win10如何卸载预装Edge扩展_Win10卸载Edge扩展教程【方法】  Laravel怎么实现观察者模式Observer_Laravel模型事件监听与解耦开发【指南】  怎么用AI帮你设计一套个性化的手机App图标？  微信推文制作网站有哪些,怎么做微信推文，急？  如何彻底删除建站之星生成的Banner？  Laravel如何使用Laravel Vite编译前端_Laravel10以上版本前端静态资源管理【教程】  phpredis提高消息队列的实时性方法(推荐)  Laravel Eloquent访问器与修改器是什么_Laravel Accessors & Mutators数据处理技巧  bing浏览器学术搜索入口_bing学术文献检索地址  JS弹性运动实现方法分析  Python数据仓库与ETL构建实战_Airflow调度流程详解  java中使用zxing批量生成二维码立牌  Firefox Developer Edition开发者版本入口  如何在IIS7上新建站点并设置安全权限？  高防服务器如何保障网站安全无虞？  郑州企业网站制作公司,郑州招聘网站有哪些？  Laravel如何处理和验证JSON类型的数据库字段  PHP 实现电台节目表的智能时间匹配与今日/明日轮播逻辑  网站制作软件有哪些,制图软件有哪些？  JavaScript常见的五种数组去重的方式  米侠浏览器网页图片不显示怎么办 米侠图片加载修复  手机网站制作平台,手机靓号代理商怎么制作属于自己的手机靓号网站？  laravel服务容器和依赖注入怎么理解_laravel服务容器与依赖注入解析  高防服务器：AI智能防御DDoS攻击与数据安全保障  如何制作公司的网站链接,公司想做一个网站，一般需要花多少钱？  Laravel如何实现图片防盗链功能_Laravel中间件验证Referer来源请求【方案】  Windows10如何删除恢复分区_Win10 Diskpart命令强制删除分区  iOS UIView常见属性方法小结  网页制作模板网站推荐,网页设计海报之类的素材哪里好？  EditPlus中的正则表达式 实战(1)  Laravel怎么实现模型属性的自动加密  什么是javascript作用域_全局和局部作用域有什么区别？  如何在云指建站中生成FTP站点？  如何在万网自助建站平台快速创建网站？  Python文件异常处理策略_健壮性说明【指导】  Laravel如何使用Socialite实现第三方登录？（微信/GitHub示例）  Laravel如何创建自定义Artisan命令？（代码示例）  Laravel怎么为数据库表字段添加索引以优化查询  大连网站制作费用,大连新青年网站，五年四班里的视频怎样下载啊？  如何在Windows环境下新建FTP站点并设置权限？  Laravel中间件如何使用_Laravel自定义中间件实现权限控制  Python面向对象测试方法_mock解析【教程】  Windows11怎样设置电源计划_Windows11电源计划调整攻略【指南】  怎么制作一个起泡网,水泡粪全漏粪育肥舍冬季氨气超过25ppm，可以有哪些措施降低舍内氨气水平？  如何快速搭建高效WAP手机网站吸引移动用户？  用v-html解决Vue.js渲染中html标签不被解析的问题  大同网页,大同瑞慈医院官网？