企业官网建设流程全解析

邢台经济开发区,seo技术中心,网页设计与制作教程第二版考试,个人网站相册怎么做Autoformer的核心#xff1a;基于周期的依赖发现#xff08;Period-based dependencies#xff09; 时间序列通常有周期性#xff08;比如交通流的日周期、周周期#xff09;。处于“相同相位”的子序列#xff08;比如“这周五晚高峰”和“上周五晚高峰”#xff09;在…Autoformer的核心基于周期的依赖发现Period-based dependencies时间序列通常有周期性比如交通流的日周期、周周期。处于“相同相位”的子序列比如“这周五晚高峰”和“上周五晚高峰”在形状上是高度相似的。我们的目标不是去关注所有历史数据而是把注意力集中在那些与当前时刻处于同一相位的历史片段上。自相关公式(RXX(τ)R_XX(\tau)RX​X(τ)):RXX(τ)lim⁡L→∞1L∑t1LXtXt−τ \mathcal{R}_{\mathcal{XX}}(\tau) \lim_{L \to \infty} \frac{1}{L} \sum_{t1}^{L} \mathcal{X}_t \mathcal{X}_{t-\tau}RXX​(τ)L→∞lim​L1​t1∑L​Xt​Xt−τ​τ\tauτ(Time Lag/Delay):这是一个滑动窗口的步长, 测试序列与其自身延迟了τ\tauτ步后的版本之间的关系。∑t1LXtXt−τ\sum_{t1}^{L} \mathcal{X}_t \mathcal{X}_{t-\tau}∑t1L​Xt​Xt−τ​是衡量两个序列的相似度如果序列在滞后τ\tauτ时发生了重合比如τ24\tau24τ24小时波峰对波峰波谷对波谷乘积均为正总和R\mathcal{R}R就会非常大。如果τ\tauτ不是周期比如τ13\tau13τ13小时波峰对波谷正负相消总和R\mathcal{R}R就会趋近于 0。R(τ)\mathcal{R}(\tau)R(τ)的值越大说明τ\tauτ这个周期越“真实”我们越应该信赖在这个滞后长度下的历史信息。使用方式 当计算出所有可能的**τ\tauτ对应的R(τ)\mathcal{R}(\tau)R(τ)从中只挑选出R(τ)\mathcal{R}(\tau)R(τ)最大的前k**Top-K个τ\tauτ, 根据R(τ)\mathcal{R}(\tau)R(τ)的大小对找到的历史子序列进行加权置信度越高该周期的信息在预测未来时所占的权重就越大。Autoformer的核心时延信息聚合Time delay aggregation为了实现序列级连接我们需要将相似的子序列信息进行聚合。它使用Roll()操作替代传统的点对点矩阵。在标准的 Self-Attention 中我们通过计算QKTQK^TQKT来让每一个 Token 去“寻找”其他相关的 Token。 而在 Autoformer 中既然我们已经计算出了最强的kkk个周期滞后τ1,…,τk\tau_1, \dots, \tau_kτ1​,…,τk​比如昨天、上周、上个月我们就需要把这些历史时刻的数据**“搬运”**到当前时刻来进行融合。Roll 操作的物理含义Roll(V,τ)Roll(V, \tau)Roll(V,τ)的意思是将整个序列VVV向右平移τ\tauτ个时间步。目的是把过去的数据搬运到当前的索引位置上。AutoCorrelation(Q,K,V)∑i1kRoll(V,τi)R^Q,K(τi) \text{AutoCorrelation}(\mathcal{Q,K,V}) \sum_{i1}^{k} \text{Roll}(\mathcal{V}, \tau_i) \hat{\mathcal{R}}_{\mathcal{Q,K}}(\tau_i)AutoCorrelation(Q,K,V)i1∑k​Roll(V,τi​)R^Q,K​(τi​)基于选择的周期性最强的k个进行聚合将所有平移并加权后的序列叠加起来得到最终的输出。实际上是在做多周期的特征融合。