avatar
文章
76
标签
174
分类
22
首页
分类
学术助手
工具
  • 工地检测
友链
  • 本站友链
  • 随机开往
  • 异次元之旅
学术主页
关于
LogoWPIRONMAN门控注意力
搜索
首页
分类
学术助手
工具
  • 工地检测
友链
  • 本站友链
  • 随机开往
  • 异次元之旅
学术主页
关于

门控注意力

发表于2025-12-11|更新于2026-04-30
|总字数:0|阅读时长:1分钟
文章作者: WP
文章链接: https://wp-a.github.io/2025/12/%E9%97%A8%E6%8E%A7%E6%B3%A8%E6%84%8F%E5%8A%9B/
版权声明: 本博客所有文章除特别声明外,均采用 CC BY-NC-SA 4.0 许可协议。转载请注明来源 WPIRONMAN!
赞助
  • 微信
    微信
cover of previous post
上一篇
开学三个月小记
...
cover of next post
下一篇
扩散模型
扩散模型是一种特殊的VAE,其灵感来自于热力学:一个分布可以通过不断地添加噪声变成另一个分布。放到图像生成任务里,就是来自训练集的图像可以通过不断添加噪声变成符合标准正态分布的图像。 图像生成网络会学习如何把一个向量映射成一幅图像。设计网络架构时,最重要的是设计学习目标,让网络生成的图像和给定数据集里的图像相似。VAE的做法是使用两个网络,一个学习把图像编码成向量,另一个学习把向量解码回图像,它们的目标是让复原图像和原图像尽可能相似。学习完毕后,解码器就是图像生成网络。扩散模型是一种更具体的VAE。它把编码过程固定为加噪声,并让解码器学习怎么样消除之前添加的每一步噪声。

评论

门控注意力

avatar
WP
无业游民
文章
76
标签
174
分类
22
Follow Me
公告
学术助手已上线
期刊会议检索、前沿论文浏览和 AI 预审入口已经接进博客。
立即进入
最新文章
我现在怎么做科研:从文献调研、实验到论文写作
我现在怎么做科研:从文献调研、实验到论文写作2026-04-26
层级结构 + 分布建模 + 原型演化
层级结构 + 分布建模 + 原型演化2026-04-17
Agentic RL:代码优先,理论辅助的实战法
Agentic RL:代码优先,理论辅助的实战法2026-02-26
Agentic RL:veRL AgentLoop 全流程与计算细节(Async Rollout、状态机、Tool-Interaction)
Agentic RL:veRL AgentLoop 全流程与计算细节(Async Rollout、状态机、Tool-Interaction)2026-02-10
©2025 - 2026 By WP
框架 Hexo|主题 Butterfly
搜索
数据加载中