DDPM（Denoising Diffusion Probabilistic Models）是扩散模型的具体实现形式。

这种逐步引导模型生成、逐步增加难度的方式令我醍醐灌顶，给我的研究提供了新的思路。多读论文真的有益处无穷。

这是对2025年数学建模美赛的获奖论文的总结呈现。这篇论文是在 4 天内完成的。

本文通过对历届奥运奖牌数据的整理与特征工程，构建了两个子模型——基于 ARIMA 的时序预测模型和基于网格搜索＋随机森林的条件回归模型，并针对“主场效应”与“加权参赛概率”作了校正与修正，最后通过线性加权融合得到各国在 2028 年奥运会上金银铜牌数量的综合预测；同时，论文利用马尔可夫链和 DID 方法发现并量化了“伟大教练效应”，通过回归分析和兼容度指标筛选出最适合引入顶级教练的国家与项目；最后对模型中 ARIMA 参数与随机森林特征的重要性进行了敏感性分析，从而揭示了时序模型、机器学习、马尔可夫过程、差分中的差分、回归分析等多种数学与统计学方法在奥运奖牌预测与洞察中的应用。

这篇论文再相关工作部分指出——

条件 DETR（Meng 等人，2021）将参考点编码为查询位置嵌入。但与我们的动机不同，因此它仅使用参考点生成位置嵌入作为交叉注意力中的条件空间嵌入，而目标查询仍然是学习到的嵌入。此外，它不涉及一个位置的多个预测和注意力变体。

总得来说，这篇论文将所谓的目标查询具象化成了最初的一些锚点。通过这些锚点经过可学习的变换来得出最初的 $Q_{init}$的一部分，而另一部分是模式嵌入，用来弥补同一锚点上存在多个物体时只能得出一个结果的

deformable DERT 通过将计算稀疏化来成功实现减少计算量

但是conditional DERT 并没有那么做

作者们观察到在DERT中，内容潜入的贡献量远远大于空间迁入的贡献量

Our approach is motivated by high dependence on content embeddings and minor contributions made by the spatial embeddings in cross-attention. The empirical results in
DETR [3] show that if removing the positional embeddings in keys and the object queries from the second decoder layer and only using the content embeddings in keys and queries,
the detection AP drops slightly

DERT存在的问题

主要是注意力机制引起的收敛慢、开销大的问题

并且对于小目标不敏感，而且这一问题不能通过提高图像分辨率来实现，因为随着图像大小的增加，计算的时间复杂度和空间复杂度都是呈现出幂级增长

先是通过 backbone（resnet50）提取到特征图

通过1*1卷基调整通道数之后

然后加上位置编码

将每一个通道展平，组合成一个大的二维矩阵

这时候每一个toke就对应了backbone最后一层特征图的不同区域

输出就是一个二维矩阵

论文精读：基于时间趋势预测的假新闻检测泛化框架

论文标题：Learn over Past, Evolve for Future: Forecasting Temporal Trends for Fake News Detection
会议：ACL 2023
代码开源：https://github.com/ICTMCG/FTT-ACL23

一、引言：时间偏移问题的本质

假新闻检测模型在实际部署中面临严峻挑战：当使用历史数据训练模型并应用于未来数据时，由于新闻话题热度、语言表达模式的动态演变，模型性能往往显著下降。这种被称为"时间偏移"（Temporal Shift）的现象源于新闻数据分布随时间变化的特性。现有研究证实，在时间划分的数据集上，模型F1值平均下降8%-12%。本文提出的FTT框架通过建模新闻主题的时间分布规律，预测未来时段的话题热度，并据此调整训练策略，从而提升模型的时间泛化能力。

之前我们已经讲过了deepOnet到底是怎么一回事，大家也可以从中看出这个网络在物理规律拟合上的潜力。但是我觉得这个网络的潜力远远不止物理规律拟合这一个方面。

deepOnet网络做的，从宏观来看，绝对不止是局限于学习函数的映射。他学习的是如何根据一种变化趋势来得到另外一种变化趋势。放在我们原来的“算子拟合”上去理解，就是其学会的了如何根据一种变化方式，来推理出同样的事物的另一种变化方式。

如果我们将其用在图像处理上，或者更加精确一些——图像畸变矫正上的？

DeepONet（Deep Operator Network）突破传统神经网络点到点映射的局限，专注于学习函数到函数的映射关系，在函数逼近、偏微分方程求解等科学与工程领域具有重要应用价值。

新闻文本分类实践记录

本文主要分享新闻文本分类的两个实践版本：第一版基于TextCNN，通过jieba分词、自建词表和固定长度序列处理数据，利用多尺度卷积提取特征，还提及预训练词向量加载、数据清洗等优化方向；第二版采用Multi-Granularity BERT增强模型，融合BERT不同层次隐藏状态，结合多尺度卷积和自注意力机制强化语义理解，通过分层学习率等策略提升效果。此外，文章还介绍了避免浏览器渲染Markdown出错的方法，如包裹代码块、转义特殊符号等，最后总结两版特点——TextCNN适合快速搭建基线，BERT版适合追求高精度场景，并强调工程实践中的细节处理。