前饋神經網路 - 維基百科，自由的百科全書

機器學習與資料探勘

範式監督學習無監督學習線上機器學習元學習（英語：Meta-learning (computer science)）半監督學習自監督學習強化學習基於規則的機器學習（英語：Rule-based machine learning）量子機器學習
問題統計分類生成模型迴歸分析聚類分析降維密度估計（英語：density estimation）異常檢測數據清洗自動機器學習關聯規則學習語意分析結構預測（英語：Structured prediction）特徵工程表徵學習排序學習（英語：Learning to rank）語法歸納（英語：Grammar induction）本體學習（英語：Ontology learning）多模態學習
監督學習 (分類 · 回歸) 學徒學習（英語：Apprenticeship learning）決策樹學習集成學習 Bagging 提升方法隨機森林 k-NN 線性回歸樸素貝葉斯人工神經網路邏輯斯諦迴歸感知器相關向量機（RVM）支持向量機（SVM）遷移學習微調
聚類分析 BIRCH CURE算法（英語：CURE algorithm）層次 k-平均 Fuzzy 期望最大化（EM） DBSCAN OPTICS 均值飄移（英語：Mean shift）
降維因素分析 CCA ICA LDA NMF（英語：Non-negative matrix factorization） PCA PGD（英語：Proper generalized decomposition） t-SNE（英語：t-distributed stochastic neighbor embedding） SDL
結構預測（英語：Structured prediction）圖模式貝氏網路條件隨機域隱馬爾可夫模型
異常檢測 RANSAC k-NN 局部異常因子（英語：Local outlier factor）孤立森林（英語：Isolation forest）
人工神經網路自編碼器認知計算深度學習 DeepDream（英語：DeepDream）多層感知器 RNN LSTM GRU（英語：Gated recurrent unit） ESN（英語：Echo state network）儲備池計算（英語：reservoir computing）受限玻爾茲曼機 GAN SOM CNN U-Net Transformer Vision（英語：Vision transformer） Mamba 脈衝神經網路（英語：Spiking neural network） Memtransistor（英語：Memtransistor）電化學RAM（英語：Electrochemical RAM）（ECRAM）
強化學習 Q學習 SARSA 時序差分（TD）多智能體（英語：Multi-agent reinforcement learning） Self-play（英語：Self-play (reinforcement learning technique)） RLHF
與人類學習主動學習（英語：Active learning (machine learning)）眾包 Human-in-the-loop（英語：Human-in-the-loop）
模型診斷學習曲線（英語：Learning curve (machine learning)）
數學基礎內核機器（英語：Kernel machines）偏差–方差困境（英語：Bias–variance tradeoff）計算學習理論（英語：Computational learning theory）經驗風險最小化奧卡姆學習（英語：Occam learning） PAC學習（英語：Probably approximately correct learning）統計學習 VC理論
大會與出版物 NeurIPS ICML（英語：International Conference on Machine Learning） ICLR ML（英語：Machine Learning (journal)） JMLR（英語：Journal of Machine Learning Research）
相關條目人工智慧術語機器學習研究數據集列表（英語：List of datasets for machine-learning research）機器學習概要（英語：Outline of machine learning）
閱論編

此條目可參照外語維基百科相應條目來擴充。
若您熟悉來源語言和主題，請協助參考外語維基百科擴充條目。請勿直接提交機械翻譯，也不要翻譯不可靠、低品質內容。依版權協議，譯文需在編輯摘要註明來源，或於討論頁頂部標記{{Translated page}}標籤。

前饋神經網路（英文：Feedforward Neural Network），是指神經網路的識別-推理架構。人工神經網路架構是以輸入乘上權重來獲得輸出（輸入對輸出）：前饋。^[1]循環神經網路或有迴圈的神經網路允許後處理階段的資訊回饋到前處理階段進行序列處理。^[2]然而，在推論的每個階段，前饋乘法仍然是核心，對於反向傳播或透過時間的反向傳播來說是不可或缺的。^[3]^[4]^[5]^[6]^[7]因此，神經網路不能包含負反饋或正反饋等回饋，在負反饋或正反饋中，輸出會回饋到相同的輸入並對其進行修改，因為這會形成一個無限循環，不可能通過反向傳播在時間上倒退以產生錯誤信號。這個問題和命名似乎是一些電腦科學家和其他研究腦部網路領域的科學家之間的混淆點。^[8]

前饋神經網路為人工智慧領域中，最早發明的簡單人工神經網路類型。在它內部，參數從輸入層向輸出層單向傳播。有異於循環神經網路，它的內部不會構成有向環。^[9]

單層感知機

[編輯]

多層感知機

[編輯]

參考

[編輯]

^ Zell, Andreas. Simulation Neuronaler Netze [Simulation of Neural Networks] 1st. Addison-Wesley. 1994: 73. ISBN 3-89319-554-8 （German）.
^ Schmidhuber, Jürgen. Deep learning in neural networks: An overview. Neural Networks. 2015-01-01, 61: 85–117. ISSN 0893-6080. PMID 25462637. S2CID 11715509. arXiv:1404.7828 . doi:10.1016/j.neunet.2014.09.003 （英語）.
^ Linnainmaa, Seppo. The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors (學位論文). University of Helsinki: 6–7. 1970 （芬蘭語）.
^ Kelley, Henry J. Gradient theory of optimal flight paths. ARS Journal. 1960, 30 (10): 947–954. doi:10.2514/8.5282.
^ Rosenblatt, Frank. x. Principles of Neurodynamics: Perceptrons and the Theory of Brain Mechanisms. Spartan Books, Washington DC, 1961
^ Werbos, Paul. Applications of advances in nonlinear sensitivity analysis (PDF). System modeling and optimization. Springer. 1982: 762–770 [2 July 2017]. （原始內容存檔 (PDF)於14 April 2016）.
^ Rumelhart, David E., Geoffrey E. Hinton, and R. J. Williams. "Learning Internal Representations by Error Propagation （頁面存檔備份，存於網際網路檔案館）". David E. Rumelhart, James L. McClelland, and the PDP research group. (editors), Parallel distributed processing: Explorations in the microstructure of cognition, Volume 1: Foundation. MIT Press, 1986.
^ Achler, T. What AI, Neuroscience, and Cognitive Science Can Learn from Each Other: An Embedded Perspective. Cognitive Computation. 2023 （英語）.
^ 戴葵. 譯.（機械工業出版社）《神經網路設計》

閱論編可微分計算
概論	可微分編程自動微分張量微積分信息幾何統計流形神經形態工程（英語：Neuromorphic engineering）模式識別運算學習理論（英語：Computational learning theory）歸納偏置
概念	梯度下降 SGD（英語：Stochastic gradient descent）聚類回歸過適幻覺對抗（英語：Adversarial machine learning）注意力卷積損失函數反向傳播激勵函數 softmax sigmoid ReLU 正則化資料集擴散（英語：Diffusion process）自回歸
應用	機器學習人工神經網路深度學習科學計算人工智慧語言模型大型語言模型
硬體	TPU VPU IPU（英語：Graphcore）憶阻器 SpiNNaker（英語：SpiNNaker）
軟體庫	Theano TensorFlow Keras PyTorch JAX Flux.jl（英語：Flux (machine-learning framework)）
主題計算機編程技術分類人工神經網路機器學習