Перцептрон

Из Википедије, слободне енциклопедије
Иди на навигацију Иди на претрагу

У машинском учењу, перцептрон је алгоритам за надгледано учење бинарних класификатора. Бинарни класификатор је функција која може одлучити да ли улаз, представљен вектором бројева, припада некој одређеној класи.[1] То је тип линеарног класификатора, тј. алгоритма класификације који чини своја предвиђања заснована на функцији линеарног предиктора комбинујући скуп тежина са вектором својства. Перцептрон је измислио Френк Розенблат 1958. године.[2]

Дефиниција[уреди]

У модерном смислу, перцептрон је алгоритам за учење бинарног класификатора који се назива функција прага: функција која пресликава свој улаз (вектор реалних вредности) на излаз (једна бинарна вредност):

где је вектор реалних тежина, а је скаларни производ вектора , где је m број улаза у перцептрон, а b је бијас. Бијас помера границу одлуке даље од оригинала и не зависи ни од једне улазне вредности.

Вредност (0 или 1) се користи за класификацију као или позитивне или негативне инстанце, у случају проблема бинарне класификације. Ако је b негативно, тада комбинација улаза помножених са тежином мора дати позитивну вредност већу од да би класификаторски неурон прешао преко прага који је вредности 0. Просторно, бијас мења положај (али не и оријентацију) границе одлуке. Алгоритам учења перцептрона не престаје ако скуп за учење није линеарно сепарабилан. Ако вектори нису линеарно сепарабилни, учење никада неће достићи тачку где су сви вектори класификовани на одговарајући начин. Најпознатији пример немогућности перцептрона да реши проблеме са линеарно несепарабилним векторима је Булов проблем XOR-а.

У контексту неуронских мрежа, перцептрон је вештачки неурон који користи Хевисајдову функцију као активациону функцију. Алгоритам перцептрон се такође назива и једнослојни перцептрон, како би се разликовао од вишеслојног перцептрона, што је погрешан назив за компликованију неуронску мрежу. Као линеарни класификатор, једнослојни перцептрон је најједноставнија фидфорвард неуронска мрежа.

Референце[уреди]

  1. ^ Freund, Yoav; Schapire, Robert E. (1999-12-01). „Large Margin Classification Using the Perceptron Algorithm”. Machine Learning (на језику: енглески). 37 (3): 277—296. ISSN 1573-0565. doi:10.1023/A:1007662407062. 
  2. ^ Rosenblatt, Frank (1957), The Perceptron--a perceiving and recognizing automaton. Report 85-460-1, Cornell Aeronautical Laboratory.

Додатна литература[уреди]

  • Aizerman, M. A. and Braverman, E. M. and Lev I. Rozonoer. Theoretical foundations of the potential function method in pattern recognition learning. Automation and Remote Control, 25:821–837, 1964.
  • Rosenblatt, Frank (1958), The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain, Cornell Aeronautical Laboratory, Psychological Review, v65, No. 6, pp. 386–408. doi:10.1037/h0042519.
  • Rosenblatt, Frank (1962), Principles of Neurodynamics. Washington, DC:Spartan Books.
  • Minsky M. L. and Papert S. A. 1969. Perceptrons. Cambridge, MA: MIT Press.
  • Gallant, S. I. (1990). Perceptron-based learning algorithms. IEEE Transactions on Neural Networks, vol. 1, no. 2, pp. 179–191.
  • Mohri, Mehryar and Rostamizadeh, Afshin (2013). Perceptron Mistake Bounds arXiv:1305.0208, 2013.
  • Novikoff, A. B. (1962). On convergence proofs on perceptrons. Symposium on the Mathematical Theory of Automata, 12, 615-622. Polytechnic Institute of Brooklyn.
  • Widrow, B., Lehr, M.A., "30 years of Adaptive Neural Networks: Perceptron, Madaline, and Backpropagation," Proc. IEEE, vol 78, no 9, pp. 1415–1442, (1990).
  • Collins, M. 2002. Discriminative training methods for hidden Markov models: Theory and experiments with the perceptron algorithm in Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP '02).
  • Yin, Hongfeng (1996), Perceptron-Based Algorithms and Analysis, Spectrum Library, Concordia University, Canada

Спољашње везе[уреди]