Разјашњавање смисла речи

Разјашњавање смисла речи (Wорд-сенсе дисамбигуатион, WСД) је процес идентификације смисла речи на који се мисли у реченици или другом сегменту датог контекста. У обради и спознаји људског језика, то је обично подсвесно/аутоматско, али често може доћи до свесне пажње када двосмисленост нарушава јасноћу комуникације, с обзиром на свеприсутну полисемију у природном језику. У рачунарској лингвистици, то је отворени проблем који утиче на друго писање везано за рачунар, као што је дискурс, побољшање релевантности претраживача, резолуција анафоре, кохерентност и закључивање.

С обзиром на то да природни језик захтева одраз неуролошке стварности, као што је обликовано способностима које пружају неуронске мреже мозга, рачунарска наука је имала дугорочни изазов у развоју способности компјутера за обраду природног језика и машинско учење.

Приступи и методе

Постоје два главна приступа ВСД-у – дубоки приступи и плитки приступи.

Дубоки приступи претпостављају приступ свеобухватном корпусу светског знања. Ови приступи се генерално не сматрају веома успешним у пракси, углавном зато што такав корпус знања не постоји у компјутерски читљивом формату, изван веома ограничених домена. Поред тога, због дуге традиције у рачунарској лингвистици, покушаја таквих приступа у смислу кодираног знања и у неким случајевима, може бити тешко направити разлику између знања укљученог у лингвистичко или светско знање. Први покушај је био од стране Маргарет Мастерман и њених колега, у јединици за истраживање језика у Кембриџу у Енглеској током 1950-их. Овај покушај је као податке користио верзију Рогетовог тезауруса на бушеним картицама и његове нумерисане „главе“, као индикатор тема и тражио је понављања у тексту, користећи постављени алгоритам пресека. То није било веома успешно, али је имало снажне везе са каснијим радом, посебно са Јаровскијевом оптимизацијом машинског учења тезаурусним методом током 1990-их.

Плитки приступи не покушавају да разумеју текст, већ узимају у обзир околне речи. Компјутер може аутоматски да изведе ова правила, користећи корпус речи за обуку означених њиховим осетним речи. Овај приступ, иако теоретски није једнако моћан као дубоки приступи, даје супериорне резултате у пракси, због ограниченог знања рачунара о свету.

Постоје четири конвенционална приступа ВСД-у:

• Методе засноване на речницима и знању: Оне се првенствено ослањају на речнике, тезаурусе и лексичке базе знања, без употребе било каквог корпуса доказа.
• Полу-надзиране или минимално надгледане методе: Оне користе секундарни извор знања као што је мали анотирани корпус као почетни подаци у процесу покретања, или двојезични прилагођени корпус.
• Надзиране методе: Оне користе смисаоно обележене корпусе за обуку.
• Методе без надзора: Ове методе избегавају (скоро) потпуно спољне информације и раде директно из необрађених корпуса без коментара. Ове методе су такође познате под називом дискриминација по смислу речи.

Скоро сви ови приступи функционишу тако што дефинишу прозор од н речи садржаја око сваке речи која треба да се разјасни у корпусу и статистички анализирају тих н околних речи. Два плитка приступа која се користе за обучавање, а затим разјашњавање су наивни Бајесови класификатори и стабла одлучивања. У недавним истраживањима, методе засноване на кернелу, као што су методе потпорних вектора, показале су супериорне перформансе у надгледаном учењу. Приступи засновани на графовима такође су привукли велику пажњу истраживачке заједнице и тренутно постижу перформансе блиске последњој речи технологије.

Методе засноване на речнику и знању

Лесков алгоритам је семинални метод базиран на речнику. Заснива се на хипотези да су речи које се користе заједно у тексту повезане једна са другом и да се однос може уочити у дефиницијама речи и њиховом смислу. Смисао две (или више) речи се може разјаснити проналажењем пара значења у речнику са највећим преклапањем речи у њиховим речничким дефиницијама. На пример, када се раздвоје речи „борова шишарка”, дефиниције одговарајућих значења укључују речи зимзелено и дрво (барем у једном речнику). Сличан приступ тражи најкраћи пут између две речи: друга реч се итеративно претражује међу дефиницијама сваке семантичке варијанте прве речи, затим међу дефиницијама сваке семантичке варијанте сваке речи у претходним дефиницијама и тако даље. Коначно, прва реч је раздвојена избором семантичке варијанте која минимизира растојање од прве до друге речи.

Алтернатива употреби дефиниција је разматрање опште сродности речи-смисла и израчунавање семантичке сличности сваког пара значења речи на основу дате лексичке базе знања као што је WордНет. Методе засноване на графиконима, које подсећају на истраживања ширеће активације из раних дана истраживања вештачке интелигенције, примењене су са одређеним успехом. Показало се да сложенији приступи засновани на графовима раде скоро једнако добро као и надгледане методе или их чак надмашују у појединим доменима. Недавно је објављено да једноставне мере повезивања графова, као што је степен, обављају најсавременији WСД у присуству довољно богате базе лексичког знања. Такође, показало се да аутоматски пренос знања у облику семантичких односа са Википедије на WордНет подстиче једноставне методе засноване на знању, омогућавајући им да се такмиче са најбољим надгледаним системима, те чак и да их надмашују у специфичним доменским окружењима.

Употреба преференција за избор (или ограничења избора) је такође корисна, на пример, знајући да се обично кува храна, реч бас се може раздвојити у „Ја кувам гргеча“.

Надзиране методе

Надзиране методе су засноване на претпоставци да контекст може сам по себи пружити довољно доказа да се разазнају значења речи (дакле, здрав разум и резоновање се сматрају непотребним). Вероватно је сваки алгоритам машинског учења примењен на WСД, укључујући повезане технике као што су избор карактеристика, оптимизација параметара и ансамбалско учење. Методе потпорних вектора и учење засновано на меморији су се показали као најуспешнији приступи до сада, вероватно зато што могу да се носе са високодимензионалношћу простора карактеристика. Међутим, ове надгледане методе су подложне новом уском грлу у стицању знања јер се за обуку ослањају на знатне количине ручно означених корпуса, чије је креирање напорно и скупо.

Полунадзиране методе

Због недостатка података за обуку, многи алгоритми за разазначавање смисла речи користе полунадгледано учење, које омогућава и означене и неозначене податке. Алгоритам Јаровског је био рани пример таквог алгоритма. Он користи својства „Један смисао по колокацији“ и „Један смисао по дискурсу“ људских језика за разјашњавање смисла речи. Из посматрања произилази да речи имају тенденцију да испољавају само једно значење у већини датог дискурса и на датој колокацији.

Бутстрапинг приступ почиње од мале количине почетних података за сваку реч: било ручно означених примера за тренинг или малог броја поузданих правила одлучивања (нпр. 'свирање' у контексту 'баса' скоро увек указује на музички инструмент). Семе се користи за обуку почетног класификатора, користећи било коју надзирану методу. Овај класификатор се затим користи на неозначеном делу корпуса за издвајање већег скупа за обуку, у који су укључене само најпоузданије класификације. Процес се понавља, сваки нови класификатор се обучава на сукцесивно већем корпусу обуке, све док се цео корпус не обухвати или док се не достигне дати максимални број итерација.

Методе без надзора

Учење без надзора је највећи изазов за WСД истраживаче. Основна претпоставка је да се слична значења јављају у сличним контекстима, и да се смислови могу индуковати из текста груписањем појављивања речи користећи неку меру сличности контекста, задатак који се назива индукција смисла речи или дискриминација. Затим се нове појаве речи могу класификовати у најближе индуковане кластере/чула. Перформансе су биле ниже него код других метода описаних изнад, мада су поређења тешка пошто индуковани смислови морају бити мапирани у познати речник значења речи. Ако мапирање на скуп речничких значења није пожељно, могу се извршити евалуације засноване на кластерима (укључујући мере ентропије и чистоће). Алтернативно, методе индукције смисла речи могу се тестирати и поредити у оквиру апликације. На пример, показало се да индукција смисла речи побољшава груписање резултата веб претраге повећањем квалитета кластера резултата и степена диверсификације листа резултата. Очекује се да ће учење без надзора превазићи уско грло у стицању знања јер оно не зависи од мануелног доприноса.

Представљање речи узимајући у обзир њихов контекст кроз густе векторе фиксне величине (уграђивање речи) постало је један од најосновнијих блокова у неколико НЛП система. Иако већина традиционалних техника уграђивања речи спаја речи са више значења у један векторски приказ, оне се и даље могу користити за побољшање WСД-а. Једноставан приступ коришћењу унапред израчунатих уградњи речи за представљање смисла речи је израчунавање центоида кластера значења. Поред техника уграђивања речи, лексичке базе података (нпр. WордНет, ЦонцептНет, БабелНет) такође могу помоћи системима без надзора у мапирању речи и њихових значења у речнике. Неке технике које комбинују лексичке базе података и уграђивање речи представљене су у АутоЕxтенд-у и Анотацији најприкладнијег смисла (МССА). У АутоЕxтенд-у, они представљају метод који раздваја улазну репрезентацију објекта у његова својства, као што су речи и њихова значења речи. АутоЕxтенд користи структуру графа за мапирање објеката речи (нпр. текст) и неречи (нпр. синсетови у WордНет-у) као чворове и однос између чворова као ивице. Релације (ивице) у АутоЕxтенд-у могу или да изразе додавање или сличност између његових чворова. Први обухвата интуицију иза рачуна офсета, док други дефинише сличност између два чвора. У МССА, систем разјашњавања без надзора користи сличност између значења речи у прозору фиксног контекста да би одабрао најприкладнији смисао речи користећи унапред обучени модел за уграђивање речи и WордНет. За сваки прозор контекста, МССА израчунава тежиште сваке дефиниције смисла речи усредњавањем вектора речи у WордНет-овим глосама (тј. кратко дефинисање глоса и један или више примера употребе) користећи унапред обучени модел за уграђивање речи. Ови центри се касније користе за одабир смисла речи са највећом сличношћу циљне речи са њеним непосредно суседним суседима (тј. претходним и следећим речима). Након што су све речи означене и раздвојене, могу се користити као корпус за обуку у било којој стандардној техници уграђивања речи. У својој побољшаној верзији, МССА може да користи уградњу смисла речи да би поновио свој процес разјашњавања итеративно.

Други приступи

Други приступи се могу разликовати у својим методама:

• Вишезначност вођена доменом;
• Идентификација доминантних значења речи;
• WСД користећи вишејезичне доказе.
• WСД решење у језички независном НЛУ Џона Бала, комбинујући Патом теорију и РРГ (улога и референтна граматика)
• Типско закључивање у граматикама заснованим на ограничењима.

Други језици

• Хинди: Недостатак лексичких ресурса на хиндском је ометао перформансе надгледаних модела WСД-а, док ненадгледани модели пате због обимне морфологије. Могуће решење овог проблема је пројектовање WСД модела помоћу паралелних корпуса. Стварање Хинди WордНет-а утрло је пут за неколико надгледаних метода за које је доказано да производе већу прецизност у разјашњавању именица.

Софтвер

• Бабелфy, уједињени савремени систем за вишејезично разазнавање значења речи и повезивање ентитета
• БабелНет АПИ, Јава АПИ за вишејезичну базу знања Wорд Сенсе Дисамбигуатион на 6 различитих језика користећи БабелНет семантичку мрежу
• WордНет::СенсеРелате, пројекат који укључује бесплатне системе отвореног кода за разјашњавање смисла речи и разазначавање смисла лексичких узорака
• УКБ: Грапх Басе WСД, колекција програма за разјашњавања смисла речи заснованог на графовима и лексичкој сличности/сродности користећи већ постојећу Лексичку базу знања
• пyWСД, питонове имплементације технологија за разазначавање значења речи (WСД)

Литература

• Агирре, Е.; Лопез де Лацалле, А.; Сороа, А. (2009). „Кноwледге-басед WСД он Специфиц Домаинс: Перформинг беттер тхан Генериц Супервисед WСД” (ПДФ). Проц. оф ИЈЦАИ. 
• Агирре, Е.; Стевенсон, M. (2007). „Кноwледге соурцес фор WСД”. Ур.: Агирре, Е.; Едмондс, П. Wорд Сенсе Дисамбигуатион: Алгоритхмс анд Апплицатионс. Неw Yорк: Спрингер. ИСБН 978-1402068706. 
• Бар-Хиллел, Y. (1964). Лангуаге анд информатион. Реадинг, МА: Аддисон-Wеслеy. 
• Буителаар, П.; Магнини, Б.; Страппарава, C.; Воссен, П. (2006). „Домаин-специфиц WСД”. Ур.: Агирре, Е.; Едмондс, П. Wорд Сенсе Дисамбигуатион: Алгоритхмс анд Апплицатионс. Неw Yорк: Спрингер. 
• Цхан, Y. С.; Нг, Х. Т. (2005). Сцалинг уп wорд сенсе дисамбигуатион виа параллел теxтс. Процеедингс оф тхе 20тх Натионал Цонференце он Артифициал Интеллигенце. Питтсбургх: АААИ. 
• Ди Марцо, А.; Навигли, Р. (2013). „Цлустеринг анд Диверсифyинг Wеб Сеарцх Ресултс wитх Грапх-Басед Wорд Сенсе Индуцтион”. Цомпутатионал Лингуистицс. МИТ Пресс. 39 (3): 709—754. С2ЦИД 1775181. дои:10.1162/ЦОЛИ_а_00148. 
• Едмондс, П. (2000). „Десигнинг а таск фор СЕНСЕВАЛ-2” (Тецх. ноте). Бригхтон, УК: Университy оф Бригхтон. 
• Феллбаум, Цхристиане (1997). „Аналyсис оф а хандwритинг таск”. Проц. оф АНЛП-97 Wорксхоп он Таггинг Теxт wитх Леxицал Семантицс: Wхy, Wхат, анд Хоw?. Wасхингтон D.C. 
• Глиоззо, А.; Магнини, Б.; Страппарава, C. (2004). Унсупервисед домаин релеванце естиматион фор wорд сенсе дисамбигуатион (ПДФ). Процеедингс оф тхе 2004 Цонференце он Емпирицал Метходс ин Натурал Лангуаге Процессинг. Барцелона, Спаин: ЕМНЛП. 
• Иде, Н.; Ерјавец, Т.; Туфис, D. (2002). Сенсе дисцриминатион wитх параллел цорпора (ПДФ). Процеедингс оф АЦЛ Wорксхоп он Wорд Сенсе Дисамбигуатион: Рецент Суццессес анд Футуре Дирецтионс. Пхиладелпхиа. 
• Лапата, M.; Келлер, Ф. (2007). Ан информатион ретриевал аппроацх то сенсе ранкинг (ПДФ). Процеедингс оф тхе Хуман Лангуаге Тецхнологy Цонференце оф тхе Нортх Америцан Цхаптер оф тхе Ассоциатион фор Цомпутатионал Лингуистицс. Роцхестер, Неw Yорк: ХЛТ-НААЦЛ. 
• Ленат, D.; Гуха, Р. V. (1989). Буилдинг Ларге Кноwледге-Басед Сyстемс. Аддисон-Wеслеy. 
• Леск, M. (1986). Аутоматиц сенсе дисамбигуатион усинг мацхине реадабле дицтионариес: Хоw то телл а пине цоне фром ан ице цреам цоне (ПДФ). Проц. оф СИГДОЦ-86: 5тх Интернатионал Цонференце он Сyстемс Доцументатион. Торонто, Цанада. 
• Литкоwски, К. C. (2005). „Цомпутатионал леxицонс анд дицтионариес”. Ур.: Броwн, К. Р. Енцyцлопаедиа оф Лангуаге анд Лингуистицс (2нд изд.). Оxфорд: Елсевиер Публисхерс. 
• Магнини, Б.; Цаваглиà, Г. (2000). Интегратинг субјецт фиелд цодес инто WордНет. Процеедингс оф тхе 2нд Цонференце он Лангуаге Ресоурцес анд Евалуатион. Атхенс, Грееце: ЛРЕЦ. 
• МцЦартхy, D.; Коелинг, Р.; Wеедс, Ј.; Царролл, Ј. (2007). „Унсупервисед ацqуиситион оф предоминант wорд сенсес” (ПДФ). Цомпутатионал Лингуистицс. 33 (4): 553—590. дои:10.1162/цоли.2007.33.4.553. 
• МцЦартхy, D.; Навигли, Р. (2009). „Тхе Енглисх Леxицал Субститутион Таск” (ПДФ). Лангуаге Ресоурцес анд Евалуатион. Спрингер. 43 (2): 139—159. С2ЦИД 16888516. дои:10.1007/с10579-009-9084-1. 
• Михалцеа, Р. (април 2007). Усинг Wикипедиа фор Аутоматиц Wорд Сенсе Дисамбигуатион (ПДФ). Проц. оф тхе Нортх Америцан Цхаптер оф тхе Ассоциатион фор Цомпутатионал Лингуистицс. Роцхестер, Неw Yорк: НААЦЛ. Архивирано из оригинала (ПДФ) 2008-07-24. г. ЦС1 одржавање: Формат датума (веза)
• Мохаммад, С.; Хирст, Г. (2006). Детермининг wорд сенсе доминанце усинг а тхесаурус (ПДФ). Процеедингс оф тхе 11тх Цонференце он Еуропеан цхаптер оф тхе Ассоциатион фор Цомпутатионал Лингуистицс. Тренто, Италy: ЕАЦЛ. 
• Навигли, Р. (2006). Меанингфул Цлустеринг оф Сенсес Хелпс Боост Wорд Сенсе Дисамбигуатион Перформанце (ПДФ). Проц. оф тхе 44тх Аннуал Меетинг оф тхе Ассоциатион фор Цомпутатионал Лингуистицс јоинт wитх тхе 21ст Интернатионал Цонференце он Цомпутатионал Лингуистицс. Сyднеy, Аустралиа: ЦОЛИНГ-АЦЛ. Архивирано из оригинала (ПДФ) 2011-06-29. г. 
• Навигли, Р.; Црисафулли, Г. (2010). Индуцинг Wорд Сенсес то Импрове Wеб Сеарцх Ресулт Цлустеринг (ПДФ). Проц. оф тхе 2010 Цонференце он Емпирицал Метходс ин Натурал Лангуаге Процессинг. МИТ Стата Центер, Массацхусеттс, УС: ЕМНЛП. 
• Навигли, Р.; Лапата, M. (2010). „Ан Еxпериментал Студy оф Грапх Цоннецтивитy фор Унсупервисед Wорд Сенсе Дисамбигуатион” (ПДФ). ИЕЕЕ Трансацтионс он Паттерн Аналyсис анд Мацхине Интеллигенце. ИЕЕЕ Пресс. 32 (4): 678—692. ПМИД 20224123. С2ЦИД 1454904. дои:10.1109/ТПАМИ.2009.36. 
• Навигли, Р.; Литкоwски, К.; Харгравес, О. (2007). СемЕвал-2007 Таск 07: Цоарсе-Граинед Енглисх Алл-Wордс Таск (ПДФ). Проц. оф Семевал-2007 Wорксхоп (СемЕвал), ин тхе 45тх Аннуал Меетинг оф тхе Ассоциатион фор Цомпутатионал Лингуистицс. Прагуе, Цзецх Републиц: АЦЛ. 
• Навигли, Р.; Веларди, П. (2005). „Струцтурал Семантиц Интерцоннецтионс: а Кноwледге-Басед Аппроацх то Wорд Сенсе Дисамбигуатион” (ПДФ). ИЕЕЕ Трансацтионс он Паттерн Аналyсис анд Мацхине Интеллигенце. 27 (7): 1075—1086. ПМИД 16013755. С2ЦИД 12898695. дои:10.1109/ТПАМИ.2005.149. 
• Палмер, M.; Бабко-Малаyа, О.; Данг, Х. Т. (2004). Дифферент сенсе грануларитиес фор дифферент апплицатионс (ПДФ). Процеедингс оф тхе 2нд Wорксхоп он Сцалабле Натурал Лангуаге Ундерстандинг Сyстемс ин ХЛТ/НААЦЛ. Бостон. 
• Понзетто, С. П.; Навигли, Р. (2010). Кноwледге-рицх Wорд Сенсе Дисамбигуатион ривалинг супервисед сyстемс (ПДФ). Проц. оф тхе 48тх Аннуал Меетинг оф тхе Ассоциатион фор Цомпутатионал Лингуистицс. АЦЛ. Архивирано из оригинала (ПДФ) 2011-09-30. г. 
• Прадхан, С.; Лопер, Е.; Длигацх, D.; Палмер, M. (2007). СемЕвал-2007 Таск 17: Енглисх леxицал сампле, СРЛ анд алл wордс (ПДФ). Проц. оф Семевал-2007 Wорксхоп (СЕМЕВАЛ), ин тхе 45тх Аннуал Меетинг оф тхе Ассоциатион фор Цомпутатионал Лингуистицс. Прагуе, Цзецх Републиц: АЦЛ. 
• Сцхüтзе, Х. (1998). „Аутоматиц wорд сенсе дисцриминатион” (ПДФ). Цомпутатионал Лингуистицс. 24 (1): 97—123. 
• Сноw, Р.; Пракасх, С.; Јурафскy, D.; Нг, А. Y. (2007). Леарнинг то Мерге Wорд Сенсес (ПДФ). Процеедингс оф тхе 2007 Јоинт Цонференце он Емпирицал Метходс ин Натурал Лангуаге Процессинг анд Цомпутатионал Натурал Лангуаге Леарнинг. ЕМНЛП-ЦоНЛЛ. 
• Снyдер, Б.; Палмер, M. (2004). Тхе Енглисх алл-wордс таск. Проц. оф тхе 3рд Интернатионал Wорксхоп он тхе Евалуатион оф Сyстемс фор тхе Семантиц Аналyсис оф Теxт (Сенсевал-3). Барцелона, Спаин. Архивирано из оригинала 2011-06-29. г. 
• Wеавер, Wаррен (1949). „Транслатион” (ПДФ). Ур.: Лоцке, W.Н.; Боотх, А.D. Мацхине Транслатион оф Лангуагес: Фоуртеен Ессаyс. Цамбридге, МА: МИТ Пресс. Архивирано из оригинала (ПДФ) 24. 07. 2011. г. Приступљено 20. 03. 2024. 
• Wилкс, Y.; Слатор, Б.; Гутхрие, L. (1996). Елецтриц Wордс: дицтионариес, цомпутерс анд меанингс. Цамбридге, Массацхусеттс: МИТ Пресс. 
• Yароwскy, D. (1992). Wорд-сенсе дисамбигуатион усинг статистицал моделс оф Рогет'с цатегориес траинед он ларге цорпора. Проц. оф тхе 14тх цонференце он Цомпутатионал лингуистицс. ЦОЛИНГ. 
• Yароwскy, D. (1995). Унсупервисед wорд сенсе дисамбигуатион ривалинг супервисед метходс. Проц. оф тхе 33рд Аннуал Меетинг оф тхе Ассоциатион фор Цомпутатионал Лингуистицс. 
• Агирре, Енеко; Едмондс, Пхилип, ур. (2007). Wорд Сенсе Дисамбигуатион: Алгоритхмс анд Апплицатионс. Спрингер. ИСБН 978-1402068706. 
• Едмондс, Пхилип; Килгаррифф, Адам (2002). „Интродуцтион то тхе специал иссуе он евалуатинг wорд сенсе дисамбигуатион сyстемс”. Јоурнал оф Натурал Лангуаге Енгинееринг. 8 (4): 279—291. С2ЦИД 17866880. дои:10.1017/С1351324902002966. 
• Иде, Нанцy; Вéронис, Јеан (1998). „Wорд сенсе дисамбигуатион: Тхе стате оф тхе арт” (ПДФ). Цомпутатионал Лингуистицс. 24 (1): 1—40. 
• Јурафскy, Даниел; Мартин, Јамес Х. (2000). Спеецх анд Лангуаге Процессинг. Неw Јерсеy, УС: Прентице Халл. 
• Килгаррифф, А. (1997). „И дон'т белиеве ин wорд сенсес” (ПДФ). Цомпут. Хуман. 31 (2): 91—113. С2ЦИД 3265361. дои:10.1023/А:1000583911091. 
• Килгаррифф, А.; Грефенстетте, Г. (2003). „Интродуцтион то тхе специал иссуе он тхе Wеб ас цорпус” (ПДФ). Цомпутатионал Лингуистицс. 29 (3): 333—347. С2ЦИД 2649448. дои:10.1162/089120103322711569. 
• Маннинг, Цхристопхер D.; Сцхüтзе, Хинрицх (1999). Фоундатионс оф Статистицал Натурал Лангуаге Процессинг. Цамбридге, Массацхусеттс: МИТ Пресс. 
• Навигли, Роберто (2009). „Wорд Сенсе Дисамбигуатион: А Сурвеy” (ПДФ). АЦМ Цомпутинг Сурвеyс. 41 (2): 1—69. С2ЦИД 461624. дои:10.1145/1459352.1459355. 
• Ресник, Пхилип; Yароwскy, Давид (2000). „Дистингуисхинг сyстемс анд дистингуисхинг сенсес: Неw евалуатион метходс фор wорд сенсе дисамбигуатион”. Натурал Лангуаге Енгинееринг. 5 (2): 113—133. С2ЦИД 19915022. дои:10.1017/С1351324999002211. 
• Yароwскy, Давид (2001). „Wорд сенсе дисамбигуатион”. Ур.: Дале; et al. Хандбоок оф Натурал Лангуаге Процессинг. Неw Yорк: Марцел Деккер. стр. 629—654. 

Спољашње везе

• Цомпутатионал Лингуистицс Специал Иссуе он Wорд Сенсе Дисамбигуатион (1998)
• Wорд Сенсе Дисамбигуатион Туториал бy Рада Михалцеа анд Тед Педерсен (2005).