前馈神经网络 - 维基百科，自由的百科全书

机器学习与数据挖掘

范式监督学习无监督学习线上机器学习元学习（英语：Meta-learning (computer science)）半监督学习自监督学习强化学习基于规则的机器学习（英语：Rule-based machine learning）量子机器学习
问题统计分类生成模型回归分析聚类分析降维密度估计（英语：density estimation）异常检测数据清洗自动机器学习关联规则学习语意分析结构预测（英语：Structured prediction）特征工程表征学习排序学习（英语：Learning to rank）语法归纳（英语：Grammar induction）本体学习（英语：Ontology learning）多模态学习
监督学习 (分类 · 回归) 学徒学习（英语：Apprenticeship learning）决策树学习集成学习 Bagging 提升方法随机森林 k-NN 线性回归朴素贝叶斯人工神经网络逻辑斯谛回归感知器相关向量机（RVM）支持向量机（SVM）迁移学习微调
聚类分析 BIRCH CURE算法（英语：CURE algorithm）层次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飘移（英语：Mean shift）
降维因素分析 CCA ICA LDA NMF（英语：Non-negative matrix factorization） PCA PGD（英语：Proper generalized decomposition） t-SNE（英语：t-distributed stochastic neighbor embedding） SDL
结构预测（英语：Structured prediction）图模式贝氏网络条件随机域隐马尔可夫模型
异常检测 RANSAC k-NN 局部异常因子（英语：Local outlier factor）孤立森林（英语：Isolation forest）
人工神经网络自编码器认知计算深度学习 DeepDream（英语：DeepDream）多层感知器 RNN LSTM GRU（英语：Gated recurrent unit） ESN（英语：Echo state network）储备池计算（英语：reservoir computing）受限玻尔兹曼机 GAN SOM CNN U-Net Transformer Vision（英语：Vision transformer） Mamba 脉冲神经网络（英语：Spiking neural network） Memtransistor（英语：Memtransistor）电化学RAM（英语：Electrochemical RAM）（ECRAM）
强化学习 Q学习 SARSA 时序差分（TD）多智能体（英语：Multi-agent reinforcement learning） Self-play（英语：Self-play (reinforcement learning technique)） RLHF
与人类学习主动学习（英语：Active learning (machine learning)）众包 Human-in-the-loop（英语：Human-in-the-loop）
模型诊断学习曲线（英语：Learning curve (machine learning)）
数学基础内核机器（英语：Kernel machines）偏差–方差困境（英语：Bias–variance tradeoff）计算学习理论（英语：Computational learning theory）经验风险最小化奥卡姆学习（英语：Occam learning） PAC学习（英语：Probably approximately correct learning）统计学习 VC理论
大会与出版物 NeurIPS ICML（英语：International Conference on Machine Learning） ICLR ML（英语：Machine Learning (journal)） JMLR（英语：Journal of Machine Learning Research）
相关条目人工智能术语机器学习研究数据集列表（英语：List of datasets for machine-learning research）机器学习概要（英语：Outline of machine learning）
查论编

此条目可参照外语维基百科相应条目来扩充。
若您熟悉来源语言和主题，请协助参考外语维基百科扩充条目。请勿直接提交机械翻译，也不要翻译不可靠、低品质内容。依版权协议，译文需在编辑摘要注明来源，或于讨论页顶部标记{{Translated page}}标签。

前馈神经网络（英文：Feedforward Neural Network），是指神经网络的识别-推理架构。人工神经网络架构是以输入乘上权重来获得输出（输入对输出）：前馈。^[1]循环神经网络或有循环的神经网络允许后处理阶段的资讯回馈到前处理阶段进行序列处理。^[2]然而，在推论的每个阶段，前馈乘法仍然是核心，对于反向传播或透过时间的反向传播来说是不可或缺的。^[3]^[4]^[5]^[6]^[7]因此，神经网络不能包含负反馈或正反馈等回馈，在负反馈或正反馈中，输出会回馈到相同的输入并对其进行修改，因为这会形成一个无限循环，不可能通过反向传播在时间上倒退以产生错误信号。这个问题和命名似乎是一些计算机科学家和其他研究脑部网络领域的科学家之间的混淆点。^[8]

前馈神经网络为人工智能领域中，最早发明的简单人工神经网络类型。在它内部，参数从输入层向输出层单向传播。有异于循环神经网络，它的内部不会构成有向环。^[9]

单层感知机

[编辑]

多层感知机

[编辑]

参考

[编辑]

^ Zell, Andreas. Simulation Neuronaler Netze [Simulation of Neural Networks] 1st. Addison-Wesley. 1994: 73. ISBN 3-89319-554-8 （German）.
^ Schmidhuber, Jürgen. Deep learning in neural networks: An overview. Neural Networks. 2015-01-01, 61: 85–117. ISSN 0893-6080. PMID 25462637. S2CID 11715509. arXiv:1404.7828 . doi:10.1016/j.neunet.2014.09.003 （英语）.
^ Linnainmaa, Seppo. The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (学位论文). University of Helsinki: 6–7. 1970 （芬兰语）.
^ Kelley, Henry J. Gradient theory of optimal flight paths. ARS Journal. 1960, 30 (10): 947–954. doi:10.2514/8.5282.
^ Rosenblatt, Frank. x. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961
^ Werbos, Paul. Applications of advances in nonlinear sensitivity analysis (PDF). System modeling and optimization. Springer. 1982: 762–770 [2 July 2017]. （原始内容存档 (PDF)于14 April 2016）.
^ Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation （页面存档备份，存于互联网档案馆）". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
^ Achler, T. What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective. Cognitive Computation. 2023 （英语）.
^ 戴葵. 译.（机械工业出版社）《神经网络设计》

查论编可微分计算
概论	可微分编程自动微分张量微积分信息几何统计流形神经形态工程（英语：Neuromorphic engineering）模式识别运算学习理论（英语：Computational learning theory）归纳偏置
概念	梯度下降 SGD（英语：Stochastic gradient descent）聚类回归过拟合幻觉对抗（英语：Adversarial machine learning）注意力卷积损失函数反向传播激活函数 softmax sigmoid ReLU 正则化数据集扩散（英语：Diffusion process）自回归
应用	机器学习人工神经网络深度学习科学计算人工智能语言模型大型语言模型
硬件	TPU VPU IPU（英语：Graphcore）忆阻器 SpiNNaker（英语：SpiNNaker）
软件库	Theano TensorFlow Keras PyTorch JAX Flux.jl（英语：Flux (machine-learning framework)）
主题计算机编程技术分类人工神经网络机器学习