维基百科

残差神经网络：修订间差异

以互动方式浏览历史
←上一版本
删除的内容 添加的内容
可视化wikitext
Snow Lion Fenian（留言 | 贡献）
50次编辑
无编辑摘要
 
第1行：
{{NoteTA|G1=IT}}
{{机器学习导航栏}}
[[File:ResBlock.png|thumb|right|在残差神经网络中的一个残差块里，残差连接跳过了两个网络层。]]
'''残差神经网络'''（'''Residual Neural Network'''，简称'''ResNet'''）<ref name="resnet">{{Cite conference|last1=He|first1=Kaiming|last2=Zhang|first2=Xiangyu|last3=Ren|first3=Shaoqing|last4=Sun|first4=Jian|date=10 Dec 2015|title=Deep Residual Learning for Image Recognition|arxiv=1512.03385}}</ref> 属于深度学习模型的一种，其核心在于让网络的每一层不直接学习预期输出，而是学习与输入之间的残差关系。这种网络通过添加“跳跃连接”，即跳过某些网络层的连接来实现身份映射，再与网络层的输出相加合并。其运作机制与{{Le|高速神经网络|Highway network}}类似，通过极大的正偏置权重来打开“门控”。<ref name="highway2015may" /> 这一设计使得拥有几十上百层的深度学习模型可以更易于训练，增加模型深度时还能保持甚至提高准确度。所谓的“残差连接”即“直连跳过”，这一概念也被应用于1997年的[[長短期記憶|长短期记忆]]模型LSTM、<ref name="lstm1997" /> [[Transformer模型]]（比如[[BERT]]和[[基于转换器的生成式预训练模型|GPT]]系列，[[ChatGPT]]等）、[[AlphaGo Zero]]、{{Le|AlphaStar|AlphaStar (software)}}以及[[AlphaFold]]等。
 
残差神经网络由[[何恺明]]、张祥雨、任少卿和孙剑开发，这一成果在2015年的[[ImageNet]]大规模视觉识别挑战赛中夺冠。<ref name="imagenet">{{cite journal |title=ImageNet: A large-scale hierarchical image database |first1=Jia |last1=Deng |first2=Wei |last2=Dong |first3=Richard |last3=Socher |first4=Li-Jia |last4=Li |first5=Kai |last5=Li |first6=Li |last6=Fei-Fei |journal=CVPR |year=2009 |url=https://scholar.google.com/citations?view_op=view_citation&hl=en&user=rDfyQnIAAAAJ&citation_for_view=rDfyQnIAAAAJ:qjMakFHDy7sC |access-date=2024-01-27 |archive-date=2019-09-29 |archive-url=https://web.archive.org/web/20190929005334/https://scholar.google.com/citations?view_op=view_citation&hl=en&user=rDfyQnIAAAAJ&citation_for_view=rDfyQnIAAAAJ:qjMakFHDy7sC |dead-url=no }}</ref><ref name="ilsvrc2015">{{Cite web|url=https://image-net.org/challenges/LSVRC/2015/results.php|title=ILSVRC2015 Results|website=image-net.org|access-date=2024-01-27|archive-date=2023-09-29|archive-url=https://web.archive.org/web/20230929104011/https://www.image-net.org/challenges/LSVRC/2015/results.php|dead-url=no}}</ref>
检索自“https://zh.wikipedia.org/wiki/残差神经网络”