Perceptron

U mašinskom učenju, perceptron je algoritam za nadgledano učenje binarnih klasifikatora. Binarni klasifikator je funkcija koja može odlučiti da li ulaz, predstavljen vektorom brojeva, pripada nekoj određenoj klasi. To je tip linearnog klasifikatora, tj. algoritma klasifikacije koji čini svoja predviđanja zasnovana na funkciji linearnog prediktora kombinujući skup težina sa vektorom svojstva. Perceptron je izmislio Frenk Rozenblat 1958. godine.

Definicija

U modernom smislu, perceptron je algoritam za učenje binarnog klasifikatora koji se naziva funkcija praga: funkcija koja preslikava svoj ulaz $\mathbf {x}$ (vektor realnih vrednosti) na izlaz $f(\mathbf {x} )$ (jedna binarna vrednost):

$f(\mathbf {x} )={\begin{cases}1&{\text{ако је }}\ \mathbf {w} \cdot \mathbf {x} +b>0,\\0&{\text{иначе}}\end{cases}}$

gde je $\mathbf {w}$ vektor realnih težina, a $\mathbf {w} \cdot \mathbf {x}$ je skalarni proizvod vektora $\sum _{i=1}^{m}w_{i}x_{i}$, gde je m broj ulaza u perceptron, a b je bijas. Bijas pomera granicu odluke dalje od originala i ne zavisi ni od jedne ulazne vrednosti.

Vrednost $f(\mathbf {x} )$ (0 ili 1) se koristi za klasifikaciju $\mathbf {x}$ kao ili pozitivne ili negativne instance, u slučaju problema binarne klasifikacije. Ako je b negativno, tada kombinacija ulaza pomnoženih sa težinom mora dati pozitivnu vrednost veću od $|b|$ da bi klasifikatorski neuron prešao preko praga koji je vrednosti 0. Prostorno, bijas menja položaj (ali ne i orijentaciju) granice odluke. Algoritam učenja perceptrona ne prestaje ako skup za učenje nije linearno separabilan. Ako vektori nisu linearno separabilni, učenje nikada neće dostići tačku gde su svi vektori klasifikovani na odgovarajući način. Najpoznatiji primer nemogućnosti perceptrona da reši probleme sa linearno neseparabilnim vektorima je Bulov problem XOR-a.

U kontekstu neuronskih mreža, perceptron je veštački neuron koji koristi Hevisajdovu funkciju kao aktivacionu funkciju. Algoritam perceptron se takođe naziva i jednoslojni perceptron, kako bi se razlikovao od višeslojnog perceptrona, što je pogrešan naziv za komplikovaniju neuronsku mrežu. Kao linearni klasifikator, jednoslojni perceptron je najjednostavnija fidforvard neuronska mreža.

Dodatna literatura

• Aizerman, M. A. and Braverman, E. M. and Lev I. Rozonoer (1964). „Theoretical foundations of the potential function method in pattern recognition learning”. Automation and Remote Control. 25: 821—837. CS1 održavanje: Višestruka imena: spisak autora (veza).
• Rosenblatt, F. (1958). „The perceptron: A probabilistic model for information storage and organization in the brain”. Psychological Review. 65 (6): 386—408. PMID 13602029. S2CID 12781225. doi:10.1037/h0042519. .
• Rosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC:Spartan Books.
• Minsky M. L. and Papert S. A. 1969. Perceptrons. Cambridge, MA: MIT Press.
• Gallant, S. I.. Perceptron-based learning algorithms. IEEE Transactions on Neural Networks,. . 1 (2). 1990: 179—191. 
• Mohri, Mehryar; Rostamizadeh, Afshin (2013). „Perceptron Mistake Bounds”. arXiv:1305.0208 . 
• Novikoff, A. B. (1962). On convergence proofs on perceptrons. Symposium on the Mathematical Theory of Automata, 12, 615-622. Polytechnic Institute of Brooklyn.
• Widrow, B., Lehr, M.A., "30 years of Adaptive Neural Networks: Perceptron, Madaline, and Backpropagation," Proc. IEEE, vol 78, no 9, pp. 1415–1442, (1990).
• Collins, M. 2002. Discriminative training methods for hidden Markov models: Theory and experiments with the perceptron algorithm in Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '02).
• Yin, Hongfeng (1996), Perceptron-Based Algorithms and Analysis, Spectrum Library, Concordia University, Canada

Spoljašnje veze

• A Perceptron implemented in MATLAB to learn binary NAND function
• Rojas, Raul (12. 7. 1996). Neural Networks: A Systematic Introduction. Springer. ISBN 978-3-540-60505-8. CS1 održavanje: Format datuma (veza)
• History of perceptrons
• Mathematics of perceptrons