Индуктивно логичко програмирање — разлика између измена

Садржај обрисан Садржај додат

Инлајн

Верзија на датум 8. јануар 2016. у 17:08

Индуктивно логичко програмирање (ИЛП) је подобласт машинског учења који користи логику програмирања као јединствену репрезентацију за примере, знање и хипотезе. Дало је кодирање познатог предзнања и скупа примера представљених као логична база чињеница, један ИЛП систем ће извести хипотеза логичких програма који обухвата све позитивне и ништа од негативних примера.

Шема: позитивни примери + негативни примери + предзнање => хипотеза.

Индуктивно логичко програмирање је посебно корисно у биоинформатици и обради природног језика. Ехуд Шапиро је положио теоријски темељ за индуктивно логичко програмирање^[1]^[2] и изградио своју прву примену (модел Инференце Система) 1981:^[3] Пролог програм који индуктивно закључене логичке програме из позитивних и негативних примера. Термин Индуктивно логичко програмирање је први пут уведено^[4] у рад Степхена Мугглетона 1991.^[5] Термин "индуктивно" овде се односи на филозофску (тј сугерише теорију да објасни посматране чињенице) више него на математичку (тј доказивања имовине за све чланове добро - организованог сета) индукцију.

Формална дефиниција

Предходно знање је дато као логичка теорија Б, обично у облику Хорн клаузуле које се користе у логичком програмирању. Позитивни и негативни примери су дати као целина Е+ и Е- од unnegated и негираних подземних литерала, респективно. Исправно хипотеза h је логичка пропозиција која задовољава следеће услове.^[6]

| Потреба: | $B$ | $\not \models$ | $E^{+}$ |- | Довољност: | $B\land h$ | $\models$ | $E^{+}$ |- | Слаба конзистентност: | $B\land h$ | $\not \models$ | ${\textit {false}}$ |- | Јака конзистентност: | $B\land h\land E^{-}$ | $\not \models$ | ${\textit {false}}$ |} "Потреба" не намеће ограничавање h, али забрањује сваку генерацију хипотеза све док се позитивне чињенице не објасне без ње. "Довољност" захтева никакву генерисану хипотезу h за објашњење свих позитивних примера Е+. "Слаба доследност" забрањује генерацију било које хипотезе h која је у супротности са позадином знања B. "Јака коинзистентност" такође забрањује стварање било које хипотезе h која није у складу са негативним примерима Е-, с обзиром на претходно знање B; то подразумева "слабу конзистентност"; ако су дати никакви негативни примери, оба услова се поклапају. Џероски^[7] захтева само "довољност" (под називом "потпуност" тамо) и "Јаку доследност".

Пример

Следећи познати пример за учење дефиниција породичних односа користе скраћенице par : parent, fem : female, dau : daughter, g : George, h : Helen, m : Mary, t : Tom, n : Nancy, и e : Eve... То почиње од позадине знања (упореди слици)

{\textit {par}}(h,m)\land {\textit {par}}(h,t)\land {\textit {par}}(g,m)\land {\textit {par}}(t,e)\land {\textit {par}}(n,e)\land {\textit {fem}}(h)\land {\textit {fem}}(m)\land {\textit {fem}}(n)\land {\textit {fem}}(e)

,

су позитивни примери

{\textit {dau}}(m,h)\land {\textit {dau}}(e,t)

,

и тривијални предлог истина да означи одсуство негативних примера.

Плоткинсова^[8]^[9] "Релативна наjмања општа генерализација (Рног)" је приступ индуктивном логичком програмирању која се користи како би се добио предлог о томе како да се формално дефинише ћерка односно dau.

Овај приступ користи следеће кораке.

Релативизује сваки позитиван пример буквално са комплетним предзнањем:
- ${\textit {dau}}(m,h)\leftarrow {\textit {par}}(h,m)\land {\textit {par}}(h,t)\land {\textit {par}}(g,m)\land {\textit {par}}(t,e)\land {\textit {par}}(n,e)\land {\textit {fem}}(h)\land {\textit {fem}}(m)\land {\textit {fem}}(n)\land {\textit {fem}}(e)$
- ${\textit {dau}}(e,t)\leftarrow {\textit {par}}(h,m)\land {\textit {par}}(h,t)\land {\textit {par}}(g,m)\land {\textit {par}}(t,e)\land {\textit {par}}(n,e)\land {\textit {fem}}(h)\land {\textit {fem}}(m)\land {\textit {fem}}(n)\land {\textit {fem}}(e)$ ,
Претвори у клаузулу нормаланог облика:
- ${\textit {dau}}(m,h)\lor \lnot {\textit {par}}(h,m)\lor \lnot {\textit {par}}(h,t)\lor \lnot {\textit {par}}(g,m)\lor \lnot {\textit {par}}(t,e)\lor \lnot {\textit {par}}(n,e)\lor \lnot {\textit {fem}}(h)\lor \lnot {\textit {fem}}(m)\lor \lnot {\textit {fem}}(n)\lor \lnot {\textit {fem}}(e)$
- ${\textit {dau}}(e,t)\lor \lnot {\textit {par}}(h,m)\lor \lnot {\textit {par}}(h,t)\lor \lnot {\textit {par}}(g,m)\lor \lnot {\textit {par}}(t,e)\lor \lnot {\textit {par}}(n,e)\lor \lnot {\textit {fem}}(h)\lor \lnot {\textit {fem}}(m)\lor \lnot {\textit {fem}}(n)\lor \lnot {\textit {fem}}(e)$ ,
Борба против сваког компатибилног^[10] пара ^[11] литерала:
- ${\textit {dau}}(x_{me},x_{ht})$ од ${\textit {dau}}(m,h)$ и ${\textit {dau}}(e,t)$ ,
- $\lnot {\textit {par}}(x_{ht},x_{me})$ од $\lnot {\textit {par}}(h,m)$ и $\lnot {\textit {par}}(t,e)$ ,
- $\lnot {\textit {fem}}(x_{me})$ од $\lnot {\textit {fem}}(m)$ и $\lnot {\textit {fem}}(e)$ ,
- $\lnot {\textit {par}}(g,m)$ од $\lnot {\textit {par}}(g,m)$ и $\lnot {\textit {par}}(g,m)$ , сличан за све остале литерале позадинског знања
- $\lnot {\textit {par}}(x_{gt},x_{me})$ од $\lnot {\textit {par}}(g,m)$ и $\lnot {\textit {par}}(t,e)$ , и још много негираних литерала
Обриши све негиране литерале који садрже варијабле које се не јављају у позитивним литералима:
- након брисања свих негираних литерала који садрже друге променљиве од $x_{me},x_{ht}$ , само ${\textit {dau}}(x_{me},x_{ht})\lor \lnot {\textit {par}}(x_{ht},x_{me})\lor \lnot {\textit {fem}}(x_{me})$ Остаје, заједно са свим копненим литералима из знања позадине
Претвори клаузуле назад на Хорн форму:
- ${\textit {dau}}(x_{me},x_{ht})\leftarrow {\textit {par}}(x_{ht},x_{me})\land {\textit {fem}}(x_{me})\land ({\text{all background knowledge facts}})$

Добијена Хорн клаузула хипотеза h добијенa помоћу Риг приступa. Игнорисање позадинe чињеница знања, клаузула неформално пише "xme зове ћерку ако xht је родитељ i xme и xme је женско", што је уобичајено прихваћена дефиниција.

Што се тиче горе наведених услова, "Потреба" је задовољана јер предикат dau се не појављује у позадини знања, која стога не може означити било коју имовину која садржи овај предикат, као што су позитивни примери. "Довољност" је задовољена обрачунатим хипотезама h, пошто она, заједно са ${\textit {par}}(h,m)\land {\textit {fem}}(m)$ oд позадинског знања, подразумева први позитиван пример ${\textit {dau}}(m,h)$ , и слично h и ${\textit {par}}(t,e)\land {\textit {fem}}(e)$ из познавања позадине подразумева други позитиван пример ${\textit {dau}}(e,t)$ ."Слаба коинзистентност" је задовољена са h, јер она држи h у (коначној) Хербранд структури описа позадинског знања; слично за "Јака конзистентност".

Заједничка дефиниција бака односа, наиме. ${\textit {gra}}(x,z)\leftarrow {\textit {fem}}(x)\land {\textit {par}}(x,y)\land {\textit {par}}(y,z)$ , не могу научити коришћењем горенаведеног приступа, пошто променљива y се јавља само у телима клаузула; одговарајући литерали би били избрисана у 4. корака. Да би се превазишао овај пропуст, тај корак мора бити модификован тако да се може параметризовати са различитим литералима након селекције хеуристике. Историјски, имплементација ГОЛЕМ се заснива на Риг приступу.

Индуктивни логички програмски систем

Индуктивни логички програмски систем је програм који се узима као улаз логичких теорија $B,E^{+},E^{-}$ и даје исправну хипотезу $H$ ВРТ теорије $B,E^{+},E^{-}$ Алгоритам једног ИЛП система се састоји из два дела: хипотеза тражења и селекције хипотеза. Прво хипотеза је претрес са индуктивним поступком логичког програмирања, онда подскуп налази хипотезу (у већини система једна хипотеза) изабрану од стране избор алгоритма. Сортира бодове алгоритма, сваке од пронађени хипотеза и враћа оне са највећом оценом. Пример скор функција укључује минималну дужину компресије где је хипотеза са најнижом Колмогоровом комплексношчћу има највишу оцену и враћа се. ИЛП систем је комплетан акко за било какве улазе логичких теорија $B,E^{+},E^{-}$ нека исправна хипотеза $H$ ВРТ ове улазне теорије може се наћи са својом хипотезом у истраживачкој процедури.

Претрага Хипотеза

Модерни ИЛП системи као што су Progol,^[5] Hail^[12] и Imparo ^[13] проналазе хипотезу H користећи принцип инверзних елемената^[5] за теорију B, E, H: $B\land H\models E\iff B\land \neg E\models \neg H$ . Прво се конструише средња теорија F и назива се теорија моста која испуњава услове $B\land \neg E\models F$ and $F\models \neg H$ . Онда $H\models \neg F$ , они генерализују негацију теорије моста F са anti-entailment. Међутим, рад на anti-entailment је високо не-детерминистички рачунски скуп. Дакле, алтернативна хипотеза претрага може се обавити помоћу рада инверзне супсумације (анти-супсумације) уместо што је мање недетерминистички од anti-entailment.

Питања потпуност поступка хипотеза за претрагу специфичног ИЛП система настају. На пример, Прогол хипотеза истраживања поступка на основу обрнутог entailment закључивања правила није завршен у Jамамото примеру.^[14] С друге стране, Импаро је завршена у anti-entailment поступку^[15] и његовој изузетно инверзној супсумацији^[16] поступка.

Имплементације

1BC и 1BC2: првог реда наивни Баиесова класификатори: (http://www.cs.bris.ac.uk/Research/MachineLearning/1BC/)
ACE (Комбиновани Мотор) (http://dtai.cs.kuleuven.be/ACE/)
Aleph (http://web.comlab.ox.ac.uk/oucl/research/areas/machlearn/Aleph/)
Atom (http://www.ahlgren.info/research/atom/)
Claudien (http://dtai.cs.kuleuven.be/claudien/)
DL-Learner (http://dl-learner.org)
DMax (http://dtai.cs.kuleuven.be/dmax/)
FOIL(ftp://ftp.cs.su.oz.au/pub/foil6.sh)
Golem (ILP) (http://www.doc.ic.ac.uk/~shm/Software/golem)
Imparo^[15]
Inthelex (INcremental THEory Learner from EXamples) (http://lacam.di.uniba.it:8000/systems/inthelex/)
Lime (http://cs.anu.edu.au/people/Eric.McCreath/lime.html)
Mio (http://libra.msra.cn/Publication/3392493/mio-user-s-manual)
MIS (Model Inference System) by Ehud Shapiro
PROGOL (http://www.doc.ic.ac.uk/~shm/Software/progol5.0)
RSD (http://labe.felk.cvut.cz/~zelezny/rsd/)
Tertius (http://www.cs.bris.ac.uk/publications/Papers/1000545.pdf)
Warmr (сада укључени у ACE)
ProGolem (http://ilp.doc.ic.ac.uk/ProGolem/) ^[17]^[18]

Види још

Референце

^ Shapiro, Ehud Y. Inductive inference of theories from facts, Research Report 192, Yale University, Department of Computer Science, 1981. Reprinted in J.-L. Lassez, G. Plotkin (Eds.), Computational Logic, The MIT Press, Cambridge, MA, 1991, pp. 199–254.
^ Shapiro, Ehud Y. (1983). Algorithmic program debugging. Cambridge, Mass: MIT Press. ISBN 0-262-19218-7
^ Shapiro, Ehud Y. "The model inference system." Proceedings of the 7th international joint conference on Artificial intelligence-Volume 2. Morgan Kaufmann Publishers Inc., 1981.
^ Luc De Raedt. A Perspective on Inductive Logic Programming. The Workshop on Current and Future Trends in Logic Programming, Shakertown, to appear in Springer LNCS, 1999. CiteSeerX: 10.1.1.56.1790
^ ^а ^б ^в Muggleton, S. (1991). „Inductive logic programming”. New Generation Computing. 8 (4): 295—318. doi:10.1007/BF03037089.
^ Muggleton, Stephen (1999). „Inductive Logic Programming: Issues, Results and the Challenge of Learning Language in Logic”. Artificial Intelligence. 114: 283—296. doi:10.1016/s0004-3702(99)00067-3. ; here: Sect.2.1
^ Džeroski, Sašo (1996), „Inductive Logic Programming and Knowledge Discovery in Databases”, Ур.: Fayyad, U.M.; Piatetsky-Shapiro, G.; Smith, P.; Uthurusamy, R., Advances in Knowledge Discovery and Data Mining, MIT Press, стр. 117—152 ; here: Sect.5.2.4
^ Plotkin, Gordon D. (1970). Meltzer, B.; Michie, D., ур. „A Note on Inductive Generalization”. Machine Intelligence. Edinburgh University Press. 5: 153—163.
^ Plotkin, Gordon D. (1971). Meltzer, B.; Michie, D., ур. „A Further Note on Inductive Generalization”. Machine Intelligence. Edinburgh University Press. 6: 101—124.
^ i.e. sharing the same predicate symbol and negated/unnegated status
^ in general: $n$ -tuple when $n$ positive example literals are given
^ Ray, O., Broda, K., & Russo, A. M. (2003). Hybrid abductive inductive learning. In LNCS: Vol. 2835. Proceedings of the 13th international conference on inductive logic programming (pp. 311–328). Berlin: Springer.
^ Kimber, T., Broda, K., & Russo, A. (2009). Induction on failure: learning connected Horn theories. In LNCS: Vol. 5753. Proceedings of the 10th international conference on logic programing and nonmonotonic reasoning (pp. 169–181). Berlin: Springer.
^ Akihiro Yamamoto. Which hypotheses can be found with inverse entailment? In Inductive Logic Programming, pages 296–308. Springer, 1997.
^ ^а ^б Timothy Kimber. Learning definite and normal logic programs by induction on failure. PhD thesis, Imperial College London, 2012.
^ David Toth (2014). Imparo is complete by inverse subsumption. arXiv:1407.3836
^ Muggleton, Stephen; Santos, Jose; Tamaddoni-Nezhad, Alireza (2009). „ProGolem: a system based on relative minimal generalization” (PDF). ILP.
^ Santos, Jose; Nassif, Houssam; Page, David; Muggleton, Stephen; Sternberg, Mike (2012). „Automated identification of features of protein-ligand interactions using Inductive Logic Programming: a hexose binding case study” (PDF). BMC Bioinformatics. 13: 162. doi:10.1186/1471-2105-13-162.

Додатна литература

Muggleton, S.; De Raedt, L. (1994). „Inductive Logic Programming: Theory and methods”. The Journal of Logic Programming. 19-20: 629—679. doi:10.1016/0743-1066(94)90035-3.
Lavrac, N.; Dzeroski, S. (1994). Inductive Logic Programming: Techniques and Applications. New York: Ellis Horwood. ISBN 0-13-457870-8.
Visual example of inducing the grandparenthood relation by the Atom system. http://john-ahlgren.blogspot.com/2014/03/inductive-reasoning-visualized.html

[1] Shapiro, Ehud Y. Inductive inference of theories from facts, Research Report 192, Yale University, Department of Computer Science, 1981. Reprinted in J.-L. Lassez, G. Plotkin (Eds.), Computational Logic, The MIT Press, Cambridge, MA, 1991, pp. 199–254.

[2] Shapiro, Ehud Y. (1983). Algorithmic program debugging. Cambridge, Mass: MIT Press. ISBN 0-262-19218-7

[3] Shapiro, Ehud Y. "The model inference system." Proceedings of the 7th international joint conference on Artificial intelligence-Volume 2. Morgan Kaufmann Publishers Inc., 1981.

[4] Luc De Raedt. A Perspective on Inductive Logic Programming. The Workshop on Current and Future Trends in Logic Programming, Shakertown, to appear in Springer LNCS, 1999. CiteSeerX: 10.1.1.56.1790

[muggleton1995inverse-5] а ^б ^в Muggleton, S. (1991). „Inductive logic programming”. New Generation Computing. 8 (4): 295—318. doi:10.1007/BF03037089.

[6] Muggleton, Stephen (1999). „Inductive Logic Programming: Issues, Results and the Challenge of Learning Language in Logic”. Artificial Intelligence. 114: 283—296. doi:10.1016/s0004-3702(99)00067-3. ; here: Sect.2.1

[7] Džeroski, Sašo (1996), „Inductive Logic Programming and Knowledge Discovery in Databases”, Ур.: Fayyad, U.M.; Piatetsky-Shapiro, G.; Smith, P.; Uthurusamy, R., Advances in Knowledge Discovery and Data Mining, MIT Press, стр. 117—152 ; here: Sect.5.2.4

[8] Plotkin, Gordon D. (1970). Meltzer, B.; Michie, D., ур. „A Note on Inductive Generalization”. Machine Intelligence. Edinburgh University Press. 5: 153—163.

[9] Plotkin, Gordon D. (1971). Meltzer, B.; Michie, D., ур. „A Further Note on Inductive Generalization”. Machine Intelligence. Edinburgh University Press. 6: 101—124.

[10] .e. sharing the same predicate symbol and negated/unnegated status

[11] ral: $n$ -tuple when $n$ positive example literals are given

[12] Ray, O., Broda, K., & Russo, A. M. (2003). Hybrid abductive inductive learning. In LNCS: Vol. 2835. Proceedings of the 13th international conference on inductive logic programming (pp. 311–328). Berlin: Springer.

[13] Kimber, T., Broda, K., & Russo, A. (2009). Induction on failure: learning connected Horn theories. In LNCS: Vol. 5753. Proceedings of the 10th international conference on logic programing and nonmonotonic reasoning (pp. 169–181). Berlin: Springer.

[14] Akihiro Yamamoto. Which hypotheses can be found with inverse entailment? In Inductive Logic Programming, pages 296–308. Springer, 1997.

[kimber2009induction-15] а ^б Timothy Kimber. Learning definite and normal logic programs by induction on failure. PhD thesis, Imperial College London, 2012.

[16] David Toth (2014). Imparo is complete by inverse subsumption. arXiv:1407.3836

[17] Muggleton, Stephen; Santos, Jose; Tamaddoni-Nezhad, Alireza (2009). „ProGolem: a system based on relative minimal generalization” (PDF). ILP.

[18] Santos, Jose; Nassif, Houssam; Page, David; Muggleton, Stephen; Sternberg, Mike (2012). „Automated identification of features of protein-ligand interactions using Inductive Logic Programming: a hexose binding case study” (PDF). BMC Bioinformatics. 13: 162. doi:10.1186/1471-2105-13-162.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

@@ Ред 83: / Ред 83: @@
 Шема: ''позитивни примери + негативни примери + предзнање => хипотеза''.
-Индуктивно логичко програмирање је посебно корисно у [[Биоинформатика|биоинформатици]] и [[Obrada prirodnih jezika|обради природног језика]]. [[Ехуд Шапиро]] је положио теоријски темељ за индуктивно логичко програмирање и изградио своју прву примену (модел Инференце Система) 1981: Пролог програм који индуктивно закључене логичке програме из позитивних и негативних примера. Термин ''Индуктивно логичко програмирање'' је први пут уведено у рад [[Степхен Мугглетон|Степхена Мугглетона]] 1991. Термин "''индуктивно''" овде се односи на [[филозофска индукција|филозофску]] (тј сугерише теорију да објасни посматране чињенице) више него на [[Математичка индукција|математичку]] (тј доказивања имовине за све чланове добро - организованог сета) индукцију.<span class="cx-segment" data-segmentid="287"></span>
+Индуктивно логичко програмирање је посебно корисно у [[Биоинформатика|биоинформатици]] и [[Obrada prirodnih jezika|обради природног језика]]. [[Ехуд Шапиро]] је положио теоријски темељ за индуктивно логичко програмирање<ref>Shapiro, Ehud Y. Inductive inference of theories from facts, Research Report 192, Yale University, Department of Computer Science, 1981. Reprinted in J.-L. Lassez, G. Plotkin (Eds.), Computational Logic, The MIT Press, Cambridge, MA, 1991, pp. 199–254.</ref><ref>Shapiro, Ehud Y. (1983). ''Algorithmic program debugging''. Cambridge, Mass: MIT Press. ISBN 0-262-19218-7</ref> и изградио своју прву примену (модел Инференце Система) 1981:<ref>Shapiro, Ehud Y. "The model inference system." Proceedings of the 7th international joint conference on Artificial intelligence-Volume 2. Morgan Kaufmann Publishers Inc., 1981.</ref> Пролог програм који индуктивно закључене логичке програме из позитивних и негативних примера. Термин ''Индуктивно логичко програмирање'' је први пут уведено<ref>Luc De Raedt. A Perspective on Inductive Logic Programming. The Workshop on Current and Future Trends in Logic Programming, Shakertown, to appear in Springer LNCS, 1999. [[CiteSeerX]]: {{url|1=http://citeseerx.ist.psu.edu/viewdoc/summary?doi=10.1.1.56.1790|2=10.1.1.56.1790}}</ref> у рад [[Степхен Мугглетон|Степхена Мугглетона]] 1991.<ref name="muggleton1995inverse">{{Cite journal | last1 = Muggleton | first1 = S. | title = Inductive logic programming | doi = 10.1007/BF03037089 | journal = New Generation Computing | volume = 8 | issue = 4 | pages = 295–318 | year = 1991 | pmid =  | pmc = }}</ref> Термин "''индуктивно''" овде се односи на [[филозофска индукција|филозофску]] (тј сугерише теорију да објасни посматране чињенице) више него на [[Математичка индукција|математичку]] (тј доказивања имовине за све чланове добро - организованог сета) индукцију.<span class="cx-segment" data-segmentid="287"></span>
 == Формална дефиниција ==
-Предходно знање је дато као логичка теорија Б, обично у облику [[Хорн клаузула|Хорн клаузуле]] које се користе у [[логичко програмирање|логичком програмирању]]. Позитивни и негативни примери су дати као целина Е+ и Е- од unnegated и негираних [[Литерал (математичка логика)|подземних литерала]], респективно. Исправно хипотеза ''h'' је логичка пропозиција која задовољава следеће услове.<span class="cx-segment" data-segmentid="299"></span>
+Предходно знање је дато као логичка теорија Б, обично у облику [[Хорн клаузула|Хорн клаузуле]] које се користе у [[логичко програмирање|логичком програмирању]]. Позитивни и негативни примери су дати као целина Е+ и Е- од unnegated и негираних [[Литерал (математичка логика)|подземних литерала]], респективно. Исправно хипотеза h је логичка пропозиција која задовољава следеће услове.<ref>{{cite journal|first1=Stephen|last1=Muggleton|title=Inductive Logic Programming: Issues, Results and the Challenge of Learning Language in Logic|journal=Artificial Intelligence|volume=114|pages=283–296|year=1999|doi=10.1016/s0004-3702(99)00067-3}}; here: Sect.2.1</ref>
-{| style="margin-bottom: 10px;" class=""
 | Потреба:
@@ Ред 110: / Ред 109: @@
 | <math> \textit{false}</math>
 |}
-"Потреба" не намеће ограничавање h, али забрањује сваку генерацију хипотеза све док се позитивне чињенице не објасне без ње. "Довољност" захтева никакву генерисану хипотезу h за објашњење свих позитивних примера Е+. "Слаба доследност" забрањује генерацију било које хипотезе h која је у супротности са позадином знања B. "Јака коинзистентност" такође забрањује стварање било које хипотезе h која није у складу са негативним примерима Е-, с обзиром на претходно знање B; то подразумева "слабу конзистентност"; ако су дати никакви негативни примери, оба услова се поклапају. Џероски захтева само "довољност" (под називом "потпуност" тамо) и "Јаку доследност".
+"Потреба" не намеће ограничавање h, али забрањује сваку генерацију хипотеза све док се позитивне чињенице не објасне без ње. "Довољност" захтева никакву генерисану хипотезу h за објашњење свих позитивних примера Е+. "Слаба доследност" забрањује генерацију било које хипотезе h која је у супротности са позадином знања B. "Јака коинзистентност" такође забрањује стварање било које хипотезе h која није у складу са негативним примерима Е-, с обзиром на претходно знање B; то подразумева "слабу конзистентност"; ако су дати никакви негативни примери, оба услова се поклапају. Џероски<ref>{{citation|first1=Sašo|last1=Džeroski|contribution=Inductive Logic Programming and Knowledge Discovery in Databases|pages=117–152|editor1-first=U.M.|editor1-last=Fayyad|editor2-first=G.|editor2-last=Piatetsky-Shapiro|editor3-first=P.|editor3-last=Smith|editor4-first=R.|editor4-last=Uthurusamy| displayeditors = 4|title=Advances in Knowledge Discovery and Data Mining|publisher=MIT Press|year=1996}}; here: Sect.5.2.4</ref> захтева само "довољност" (под називом "потпуност" тамо) и "Јаку доследност".
 == Пример ==
@@ Ред 120: / Ред 119: @@
 и тривијални предлог истина да означи одсуство негативних примера.
-Плоткинсова "Релативна наjмања општа генерализација (Рног)" је приступ индуктивном логичком програмирању која се користи како би се добио предлог о томе како да се формално дефинише ћерка односно dau.
+Плоткинсова<ref>{{cite journal|first1=Gordon D.|last1=Plotkin|title=A Note on Inductive Generalization|editor1-first=B.|editor1-last=Meltzer|editor2-first=D.|editor2-last=Michie|publisher=Edinburgh University Press|journal=Machine Intelligence|volume=5|pages=153–163|year=1970}}</ref><ref>{{cite journal|first1=Gordon D.|last1=Plotkin|title=A Further Note on Inductive Generalization|editor1-first=B.|editor1-last=Meltzer|editor2-first=D.|editor2-last=Michie|publisher=Edinburgh University Press|journal=Machine Intelligence|volume=6|pages=101–124|year=1971}}</ref> "Релативна наjмања општа генерализација (Рног)" је приступ индуктивном логичком програмирању која се користи како би се добио предлог о томе како да се формално дефинише ћерка односно dau.
 Овај приступ користи следеће кораке.
@@ Ред 129: / Ред 128: @@
 ** <math>\textit{dau}(m,h) \lor \lnot \textit{par}(h,m) \lor \lnot \textit{par}(h,t) \lor \lnot \textit{par}(g,m) \lor \lnot \textit{par}(t,e) \lor \lnot \textit{par}(n,e) \lor \lnot \textit{fem}(h) \lor \lnot \textit{fem}(m) \lor \lnot \textit{fem}(n) \lor \lnot \textit{fem}(e)</math>
 ** <math>\textit{dau}(e,t) \lor \lnot \textit{par}(h,m) \lor \lnot \textit{par}(h,t) \lor \lnot \textit{par}(g,m) \lor \lnot \textit{par}(t,e) \lor \lnot \textit{par}(n,e) \lor \lnot \textit{fem}(h) \lor \lnot \textit{fem}(m) \lor \lnot \textit{fem}(n) \lor \lnot \textit{fem}(e)</math>,
-* Борба против сваког компатибилног пара литерала:
+* Борба против сваког компатибилног<ref>i.e. sharing the same predicate symbol and negated/unnegated status</ref> пара <ref>in general: <math>n</math>-tuple when <math>n</math> positive example literals are given</ref> литерала:
 ** <math>\textit{dau}(x_{me},x_{ht})</math> од <math>\textit{dau}(m,h)</math> и <math>\textit{dau}(e,t)</math>,
 ** <math>\lnot \textit{par}(x_{ht},x_{me})</math> од <math>\lnot \textit{par}(h,m)</math> и <math>\lnot \textit{par}(t,e)</math>,
@@ Ред 152: / Ред 151: @@
 === Претрага Хипотеза ===
-Модерни ИЛП системи као што су Progol, Hail и Imparo проналазе хипотезу H користећи принцип инверзних елемената за теорију B, E, H:<math>B \land H \models E \iff B \land \neg E \models \neg H</math>.
+Модерни ИЛП системи као што су Progol,<ref name="muggleton1995inverse" /> Hail<ref>Ray, O., Broda, K., & Russo, A. M. (2003). Hybrid abductive inductive learning. In LNCS: Vol. 2835. Proceedings of the 13th international conference on inductive logic programming (pp. 311–328). Berlin: Springer.</ref> и Imparo <ref>Kimber, T., Broda, K., & Russo, A. (2009). Induction on failure: learning connected Horn theories. In LNCS: Vol. 5753. Proceedings of the 10th international conference on logic programing and nonmonotonic reasoning (pp. 169–181). Berlin: Springer.</ref> проналазе хипотезу H користећи принцип инверзних елемената<ref name="muggleton1995inverse" /> за теорију B, E, H:<math>B \land H \models E \iff B \land \neg E \models \neg H</math>.
 Прво се конструише средња теорија F и назива се теорија моста која испуњава услове
 <math>B \land \neg E \models F</math> and <math>F \models \neg H</math>. Онда <math>H \models \neg F</math>, они генерализују негацију теорије моста F са anti-entailment. Међутим, рад на anti-entailment је високо не-детерминистички рачунски скуп. Дакле, алтернативна хипотеза претрага може се обавити помоћу рада инверзне супсумације (анти-супсумације) уместо што је мање недетерминистички од anti-entailment.<span class="cx-segment" data-segmentid="438"></span>
-Питања потпуност поступка хипотеза за претрагу специфичног ИЛП система настају. На пример, Прогол хипотеза истраживања поступка на основу обрнутог entailment закључивања правила није завршен у '''Иамамото примеру'''. С друге стране, Импаро је завршена у anti-entailment поступку и његовој изузетно инверзној супсумацији поступка.<span class="cx-segment" data-segmentid="442"></span>
+Питања потпуност поступка хипотеза за претрагу специфичног ИЛП система настају. На пример, Прогол хипотеза истраживања поступка на основу обрнутог entailment закључивања правила није завршен у '''Jамамото примеру'''.<ref>Akihiro Yamamoto. Which hypotheses can be found with inverse entailment? In Inductive Logic Programming, pages 296–308. Springer, 1997.</ref> С друге стране, Импаро је завршена у anti-entailment поступку<ref name="kimber2009induction">Timothy Kimber. Learning definite and normal logic programs by induction on failure. PhD thesis, Imperial College London, 2012.</ref> и његовој изузетно инверзној супсумацији<ref>David Toth (2014). Imparo is complete by inverse subsumption. arXiv:1407.3836</ref> поступка.
 === Имплементације ===
@@ Ред 168: / Ред 167: @@
 * [[FOIL]](ftp://ftp.cs.su.oz.au/pub/foil6.sh)
 * [[Golem (ILP)]] (http://www.doc.ic.ac.uk/~shm/Software/golem)
-* Imparo<ref name="kimber2009induction">Timothy Kimber. </ref>
+* Imparo<ref name="kimber2009induction" />
 * Inthelex (INcremental THEory Learner from EXamples) (http://lacam.di.uniba.it:8000/systems/inthelex/)
 * Lime (http://cs.anu.edu.au/people/Eric.McCreath/lime.html)
@@ Ред 177: / Ред 176: @@
 * Tertius (http://www.cs.bris.ac.uk/publications/Papers/1000545.pdf)
 * Warmr (сада укључени у ACE)
-* ProGolem (http://ilp.doc.ic.ac.uk/ProGolem/) <ref><cite class="citation journal" contenteditable="false">Muggleton, Stephen; Santos, Jose; Tamaddoni-Nezhad, Alireza (2009). </cite></ref><ref><cite class="citation journal" contenteditable="false">Santos, Jose; Nassif, Houssam; Page, David; Muggleton, Stephen; Sternberg, Mike (2012). </cite></ref>
+* ProGolem (http://ilp.doc.ic.ac.uk/ProGolem/) <ref>{{cite journal|last1=Muggleton|first1=Stephen|last2=Santos|first2=Jose|last3=Tamaddoni-Nezhad|first3=Alireza|title=ProGolem: a system based on relative minimal generalization|journal=ILP|date=2009|url=http://www.doc.ic.ac.uk/~jcs06/papers/ilp09/progolem.pdf}}</ref><ref>{{cite journal|last1=Santos|first1=Jose|last2=Nassif|first2=Houssam|last3=Page|first3=David|last4=Muggleton|first4=Stephen|last5=Sternberg|first5=Mike|title=Automated identification of features of protein-ligand interactions using Inductive Logic Programming: a hexose binding case study|journal=BMC Bioinformatics|date=2012|volume=13|page=162|url=http://www.doc.ic.ac.uk/~jcs06/Hexose/hexose.pdf|doi=10.1186/1471-2105-13-162}}</ref>
 == Види још ==
@@ Ред 193: / Ред 192: @@
 == Додатна литература ==
+{{Refbegin}}
+* {{Cite journal | last1 = Muggleton | first1 = S. | last2 = De Raedt | doi = 10.1016/0743-1066(94)90035-3 | first2 = L. | title = Inductive Logic Programming: Theory and methods | journal = The Journal of Logic Programming | volume = 19-20 | pages = 629–679 | year = 1994 | pmid =  | pmc = }}
+* {{cite book | first1 = N. | last1 = Lavrac | first2 = S. | last2 = Dzeroski | title = Inductive Logic Programming: Techniques and Applications | publisher = Ellis Horwood | location = New York | year = 1994 | isbn = 0-13-457870-8 | url = http://www-ai.ijs.si/SasoDzeroski/ILPBook/ }}
+* Visual example of inducing the grandparenthood relation by the [[#Implementations|Atom system]]. http://john-ahlgren.blogspot.com/2014/03/inductive-reasoning-visualized.html
+{{Refend}}