Detekcija plagijata

С Википедије, слободне енциклопедије

Detekcija plagijata je proces pronalaženja slučajeva plagijata u radu ili dokumentu. Rasprostranjenost računara i Interneta je učinila plagiranje tuđeg rada lakšim. Većina plagijata su nađeni na fakultetima, gde su dokumenti uglavnom eseji ili izveštaji.Ipak, plagijati se mogu naći praktično svuda, uključujući naučne i umetničke radove i izvorne kodove programa.

Detekcija može biti ručna i pomoću računara. Ručna detekcija zahteva veliki trud i izvanredno pamćenje, i nepraktična je u slučaju kada se upoređuje mnogo dokumenata, ili originalan dokument nije dostupan za poređenje. Detekcija pomoću računara dozvoljava upoređivanje velikog broja dokumenata, što čini uspešnu detekciju verovatnijom.

Detekcija plagijata pomoću računara[уреди | уреди извор]

Detekcija plagijata pomoću računara (DPPR) je zadatak povraćaja informacija podržan od strane specijalizovnih sistema, koji se nazivaju sistemi za detekciju plagijata (SDP).

Detekcija plagijata u tekstualnim dokumentima[уреди | уреди извор]

Sistemi za detekciju tekstualnih plagijata implementiraju jedan ili dva generička pristupa detekciji. Jedan je spoljašnji dok je drugi unutrašnji.[1] Spoljašnji SDP poređuju sumnjivi dokument sa skupom dokumenata za koje se smatra da su originalni.[2] Zavisno od izabranog modela dokumenta i predefinisanim kriterijumom sličnosti, zadatak detekcije je da vrati sve dokumente koji sadrži tekst koji je donekle sličan tekstu u sumnjivom dokumentu.[3] Unutrašnji SDP samo analiziraju tekst bez poređenja sa spoljašnjim dokumentima. Cilj ovog pristupa je da prepozna razlike u jedinstvenom stilu pisanja autora, potencijalni indikator da je u pitanju plagijat.[4] SDP nisu sposobni da pouzdano identifikuju plagijat bez ljudske procene. Sličnosti se procenjuju uz pomoć predefinisanih modela dokumenata i mogu predstavljati lažni alarm.[5][6][7][8][9]

Metodi detekcije[уреди | уреди извор]

Grafik ispod predstavlja klasifikaciju predloženih metoda za DPPR sa tehničke strane gledišta. Tehnike su poređane po tipu utvrđivanja sličnosti koji primenjuju. Utvrđivanja globalne sličnosti koriste karakteristike uzete iz većih delova teksta ili dokumenta kao celine za računanje sličnosti, dok lokalni metodi uzimaju izvdojene delove teksta kao unos.

Classification of computer-assisted plagiarism detection methods

Uzimanje otisaka je najšire korišćen pristup DPPR. Procedura formira reprezentaciju dokumenata tako što izabere više podstringova (n-grama) iz njih. Ti n-grami predstavljaju otiske i njihovi elementi se zovu minuti.[10][11] Sumnjivi dokument se proverava za plagiranje tako što se saberu njegovi otisci i minuti sa prethodno izdračunatim indeksom otisaka za sve dokumente referentne kolekcije. Minuti koji se podudaraju sa onim iz drugih dokumenata pokazuju deljene segmente teksta i ukazuju na potencijalan plagijat kada prelaze izabranu granicu sličnosti.[12] Generalno, samo podskup minuta se poredi da bi se ubrzao proces i da bi se vršilo poređenje sa velikom kolekcijom, kao što je internet.[10]

Provera dokumenata za istovetan tekst predstavlja klasičan problem poređenja niski koji je poznat iz drugi oblasti informatike. Brojni pristupi su predlagani da reše ovaj zadatak. Neki od njih su prilagođeni spoljašnjim DPPR. Provera sumnjivog dokumenta u ovom okruženju zahteva računanje i skladištenje reprezentacija za sve dokumente u referentnoj kolekciji, koji se porede u paru. Generalno, sufiksni modeli dokumenata, kao što su sufiksno stablo ili sufiksni vektori su prilagođeni za ovaj zadatak u kontekstu DPPR. Ipak, poređenje podstringova ostaje skupo za računanje, što ga čini neodrživim rešenjem za proveru velikih kolekcija dokumenata.[13][14][15]

Torba puna reči predstavlja usvajanje vektorskog modela prostora, u domen DPPR. Dokumenti su predstavljeni kao jedan ili više vektora, npr. za različite delove dokumenta, koji se koriste za upareno računanje sličnosti. Oni mogu biti zasnovani na tradicionalnim merama kosinusne sličnosti ili na sofisticiranijim funkcijama sličnosti.[16][17][18]

Detekcija plagijata zasnovana na citatima je DPPR pristup dizajniran za korišćenje u akademskim dokumentima. Ovaj pristup detekciji plagijata ne zavisi od samog teksta, već koristi informacije o citatima i navodima. Identifikuje slične obrasce u sekvencama citata u dva akademska rada. Obrasci citata predstavljaju podsekvence koje ne sadrže isključivo citate koje dele oba dokumenta koji se porede.[19][20][21] Sličan poredak i blizina citata u tekstu su glavni kriterijum identifikacije obrazaca citata. Drugi faktori, kao što su apsolutan broj ili relativan deo deljenih citata u obrascu kao i verovatnoća da se citati preklapaju u dokumentu se uzimaju u obzir pri određivanju stepena sličnosti obrasca.[19][20][21][22]

Stilometrija sadrži statističke metode za određivanje autorovog jedinstvenog stila pisanja[23][24] i uglavnom se koristi za određivanje autora i unutrašnje DPPR. Pasusi koji su stilski drugačiji od ostalih, odnosno potencijalno plagirani, se mogu detektovati konstrukcijom i poređenjem stilometričkih modela za različite delove teksta.[4]

Sistemi detektovanja plagijata za tekstualna dokumenta[уреди | уреди извор]

Generalni dizajn sistama za detekciju akademskih plagijata uključuje određeni broj faktora:[тражи се извор]

Faktor Opis i alternative
Domet pretrage U javnom internetu, korišćenjem mašina za pretragu / Baza podataka institucija / Lokalne baze podataka, specifične za sistem.[тражи се извор]
Vreme analize Razmak između vremena unosa dokumenta i vremena kada su rezultati dostupni.[тражи се извор]
Kapacitet dokumenta / Grupno procesiranje Broj dokumenata koje sistem može da obradi u jedinici vremena.[тражи се извор]
Intenzitet provere Koliko često i za koji tip delova dokumenta (paragrafi, rečenice, niz reči fiksne dužina) sistem upituje spoljne resurse, kao što su mašine za pretragu.
Tip algoritma za poređenje Algoritmi koji definišu način na koji sistem poredi dokumente.[тражи се извор]
Preciznost i povratnost Broj dokumenata koji su ispravno označeni kao plagijati upoređen sa ukupnim brojem označenih dokumenata i brojem dokumenata koji su stvarno plagirani. Visoka preciznost podrazumeva mali broj lažnih uzbuna, a visoka povratnost znači da je mali broj plagijata prošao neprimećen.[тражи се извор]

Većina detekcija plagijata na veliko koriste velike, unutrašnje baze podataka (kao dodatak ostalim resursima) koje rastu sa svakim analiziranim dokumentom. Ipak, ovo svojstvo se smatra However, this feature is considered by some as a povredom studenstkog prava kopiranja.[тражи се извор]

Naredni sistemi su uglavnom bazirani na vebu, i zatvorenog su koda, sa izuzetkom CitePlag i CopyTracker sistema. Sledeća lista je neiscrpna:

Performanse detektovanja[уреди | уреди извор]

Uporedive evaluacije sistema za detekciju plagijata[2][39][40][41][42][43] pokazuju da njihove performanse zavise od tipa prisutnog plagijata (vidi grafik). Osim analize obrasca citata, svi pristupi detekciji zavise od sličnosti teksta. Zbog toga je simptomatično to što se preciznost detekcije smanjuje što je više slučajeva plagijata zamaskirano.

Performanse detekcije DPPR zavisno od tipa plagijata

Bukvalne kopije, tj. copy&paste (c&p) plagijati, ili umereno prerušeni slučajevi plagijata se mogu detektovati sa visokom preciznošću pomoću spoljašnjih SDP ako je izvor dostupan softveru. Posebno poređenja podniski postižu dobre rezultati kod c&p plagijata, zato što često koriste modele dokumenata bez gubitka, kao što su sufiksno stablo. Performanse sistema koji koriste otiske ili torbe reči u detekciji kopija zavise od gubitka informacija prouzrokovanim korišćenim modelom dokumenta. Primenom fleksibilnog komadanja i strategija selekcije oni su sposobniji za detekciju umereno zamaskiranih plagijata u poređenju sa poređenjem podniski.

Unutrašnja detekcija plagijata korišćenjem stilometrije može, donekle, prevazići granici tekstualne sličnosti poređenjem lingvističke sličnosti. S obzirom da su stilske razlike između plagijata i originala značajne i mogu biti pouzdano prepoznate, stilometrija može pomoći pri prepoznavanju zamaskiranih i parafraziranih plagijata. Stilometrijsko poređenje neće uspeti u slučaju gde su segmenti parafrazirani do tačke gde više podsećaju na lični stil plagijatora ili da je tekst sastavljen od strane više autora. Stilometrijska analiza radi pouzdano samo za dokumente dužine nekoliko hiljada do nekoliko desetina hiljada reči. Ovo ograničava upotrebljivost ovog metoda u DPPR.

Sve veći broj istraživanja se vrši na metode i sisteme sposobne da detektuju prevedene plagijate. Trenutno, detekcija plagijata među jezicima (DPMJ) trenutno nije sazrela tehnologija[44] i takvi sistemi, u praksi, nisu uspeli da postignu zadovoljavajuće rezultate detekcije.[41]

Detekcija plagijata na osnovu citata koja koristi analizu obrazaca citata je sposobna da prepozna snažnije parafraziranje i prevode sa većim procentom uspešnosti u poređenju sa drugim pristupima detekciji, zahaljujući činjenici da je nezavisna od tekstualnih osobina.[19][20] Ipak, pošto analiza obrazaca citata zavisi od dostupnosti potrebnih informacija o citatima ograničena je na akademske tekstove. Ona ostaje inferiorna u odnosu na pristupe zasnovane na tekstu pri detekciji kraćih plagiranih pasusa, koji su tipični za slučajeve copy&paste ili shake&paste plagijata. Shake&paste je mešanje malo izmenjenih delova iz različitih izvora.[45]

Detekcija plagijata izvornog koda[уреди | уреди извор]

Plagiranje izvornog koda programa je takođe česta i zahteva različite alate od onih korišćenih u plagiranju tekstualnih dokumenata. Bitno istraživanje je posvećeno plagijatima akademskog izvornog koda.[46]

Pošto većina programerskih zadataka očekuje od studenata da pišu programe sa veoma specifičnim zahtevima, veoma je teško naći postojeće programe koji ih ispunjavaju. Pošto je integracija spoljašnjeg koda često teža nego pisanje ispočetka, većina studenata plagira radove svojih kolega.

Po Roju i Kordiju,[47] algoritmi za detekciju sličnosti izvornog koda se mogu klasifikovati po osnovu:

  • Niski – traži podudaranje u određenim segmentima koda, na primer 5 istih uzastopnih reči. Brzo, ali ga mogu zbuniti identifikatori.
  • Tokena – kao sa niskama, ali koristeći leksičku analizu koja prvo konvertuje program u tokene. Ovo odbacuje bela polja, komentare i identifikatore, što čini sistem robusnijim na jednostavne zamene teksta. Većina sistema za detekciju akademskih plagijata radi na ovom nivou, koristeći različite algoritme za računanje sličnosti između sekvenci tokena.
  • Drvo izvođenja – gradi i poredi drva izvođenja. Ovo dozovljava detekciju sličnosti visokog nivoa. Na primer, poređenje drveća može normalizovati uslovne izraze, i detektovati ekvivalentne konstrukcija kao slične.
  • Graf poziva – zapisuje tačan tok kontrole programa i dozvoljava lociranje ekvivalencija višeg reda, uz veću složenost i vreme računanja.
  • Metri – metri zapisuju "ocene" segmenata koda po određenim kriterijumima; na primer, "broj petlji i uslovnih izraza" ili "broj različitih promenljivih koje se koriste". Metri se jednostavno računaju i mogu se brzo uporediti, ali mogu dovesti do lažne detekcije: dva fragmenta sa istim ocenama na setu metara mogu raditi potpuno drugačije stvari.
  • Hibridni pristupi – npr. Drvo izvođenja + sufiksno stablo mogz kombinovati sposobnost detekcije drva izvođenja sa brzinom sufiksnih stabala, tipom strukture podataka za poređenje niski.

Prethodne klasifikicaje su formirane za refabrikovanje koda, a ne za detekciju akademskih plagijata (bitan cilj refabrikovanja je da izbegne kloniranje koda). Gore navedeni pristupi su efektivni protiv različith nivoa sličnosti; sličnost niskog nivoa je identičan tekst, dok je sličnost visokog nivoa može biti zbog sličnih specifikacija. U akademskim uslovima, kada svi studenti pišu kod po istim specifikacijama, funkcionalno isti kod (sa sličnošću visokog nivoa) je potpuno očekivan, i samo sličnost niskog nivoa se smatra dokazom varanja.

Sistemi za detekciju plagijata izvornog koda[уреди | уреди извор]

MOSS i JPlag su samo dva od mnogih sistema za detekciju plagijata izvornog koda koji postoje. MOSS i JPlag su besplatni za korišćenje, ali oba zahteva registraciju i softver ostaje u posedu vlasnika. Lični sistemi su normalne dekstop aplikacije i većina njih su i besplatne i otvorenog koda.

Literatura[уреди | уреди извор]

  • Carrol, J. (2002). A handbook for deterring plagiarism in higher education. Oxford: The Oxford Centre for Staff and Learning Development, Oxford Brookes University. (96 p.).
  • Zeidman, B. (2011). The Software IP Detective’s Handbook. Prentice Hall. (480 p.)

Reference[уреди | уреди извор]

  1. ^ Stein, Benno; Koppel, Moshe; Stamatatos, Efstathios (2007), „Plagiarism Analysis, Authorship Identification, and Near-Duplicate Detection PAN’07” (PDF), SIGIR Forum, 41 (2), doi:10.1145/1328964.1328976, Архивирано из оригинала (PDF) 2. 4. 2012. г., Приступљено 4. 6. 2013 
  2. ^ а б Potthast, Martin; Stein, Benno; Eiselt, Andreas; Barrón-Cedeño, Alberto; Rosso, Paolo (2009), „Overview of the 1st International Competition on Plagiarism Detection”, PAN09 - 3rd Workshop on Uncovering Plagiarism, Authorship and Social Software Misuse and 1st International Competition on Plagiarism Detection (PDF), CEUR Workshop Proceedings, 502, стр. 1—9, ISSN 1613-0073, Архивирано из оригинала (PDF) 2. 4. 2012. г. 
  3. ^ Stein, Benno; Meyer zu Eissen, Sven; Potthast, Martin (2007), „Strategies for Retrieving Plagiarized Documents”, Proceedings 30th Annual International ACM SIGIR Conference (PDF), ACM, стр. 825—826, ISBN 978-1-59593-597-7, doi:10.1145/1277741.1277928, Архивирано из оригинала (PDF) 2. 4. 2012. г., Приступљено 4. 6. 2013 
  4. ^ а б Meyer zu Eissen, Sven; Stein, Benno (2006), „Intrinsic Plagiarism Detection”, Advances in Information Retrieval 28th European Conference on IR Research, ECIR 2006, London, UK, April 10–12, 2006 Proceedings (PDF), Lecture Notes in Computer Science, 3936, Springer, стр. 565—569, doi:10.1007/11735106_66, Архивирано из оригинала (PDF) 2. 4. 2012. г., Приступљено 4. 6. 2013 
  5. ^ Bao, Jun-Peng; Malcolm, James A. (2006), „Text similarity in academic conference papers”, 2nd International Plagiarism Conference Proceedings (PDF), Northumbria University Press., Архивирано из оригинала (PDF) 16. 9. 2018. г., Приступљено 4. 6. 2013 
  6. ^ Clough, Paul (2000), Plagiarism in natural and programming languages an overview of current tools and technologies (Technical Report), Department of Computer Science, University of Sheffield, Архивирано из оригинала|archive-url= захтева |url= (помоћ) 18. 8. 2011. г. 
  7. ^ Culwin, Fintan; Lancaster, Thomas (2001), „Plagiarism issues for higher education”, Vine, 31 (2): 36—41, doi:10.1108/03055720010804005, Архивирано из оригинала|archive-url= захтева |url= (помоћ) 5. 4. 2012. г. 
  8. ^ Lancaster, Thomas (2003), Effective and Efficient Plagiarism Detection (PDF) (PhD Thesis), School of Computing, Information Systems and Mathematics South Bank University [мртва веза]
  9. ^ Maurer, Hermann; Zaka, Bilal (2007), „Plagiarism - A Problem And How To Fight It”, Proceedings of World Conference on Educational Multimedia, Hypermedia and Telecommunications 2007, AACE, стр. 4451—4458 
  10. ^ а б Hoad, Timothy; Zobel, Justin (2003), „Methods for Identifying Versioned and Plagiarised Documents”, Journal of the American Society for Information Science and Technology, 54 (3): 203—215, doi:10.1002/asi.10170, CiteSeerX: 10.1.1.18.2680 
  11. ^ Stein, Benno (2005), „Fuzzy-Fingerprints for Text-Based Information Retrieval”, Proceedings of the I-KNOW ‘05, 5th International Conference on Knowledge Management, Graz, Austria (PDF), Springer, Know-Center, стр. 572—579, Архивирано из оригинала (PDF) 2. 4. 2012. г., Приступљено 4. 6. 2013 
  12. ^ Brin, Sergey; Davis, James; Garcia-Molina, Hector (1995), „Copy Detection Mechanisms for Digital Documents”, Proceedings of the 1995 ACM SIGMOD International Conference on Management of Data (PDF), ACM, стр. 398—409, ISBN 978-1-59593-060-6, doi:10.1145/223784.223855, Архивирано из оригинала (PDF) 18. 08. 2016. г., Приступљено 04. 06. 2013 
  13. ^ Monostori, Krisztián; Zaslavsky, Arkady; Schmidt, Heinz (2000), „Document Overlap Detection System for Distributed Digital Libraries”, Proceedings of the fifth ACM conference on Digital libraries (PDF), ACM, стр. 226—227, ISBN 978-1-58113-231-1, doi:10.1145/336597.336667, Архивирано из оригинала (PDF) 15. 4. 2012. г., Приступљено 4. 6. 2013 
  14. ^ Baker, Brenda S. (1993), On Finding Duplication in Strings and Software (Technical Report), AT&T Bell Laboratories, NJ, Архивирано из оригинала (gs) 30. 10. 2007. г., Приступљено 4. 6. 2013 
  15. ^ Khmelev, Dmitry V.; Teahan, William J. (2003), A Repetition Based Measure for Verification of Text Collections and for Text Categorization; SIGIR'03: Proceedings of the 26th annual international ACM SIGIR conference on Research and development in information retrieval, ACM, стр. 104—110, doi:10.1145/860435.860456, CiteSeerX: 10.1.1.9.6155 
  16. ^ Si, Antonio; Leong, Hong Va; Lau, Rynson W. H. (1997), „CHECK: A Document Plagiarism Detection System”, SAC ’97: Proceedings of the 1997 ACM symposium on Applied computing (PDF), ACM, стр. 70—77, ISBN 978-0-89791-850-3, doi:10.1145/331697.335176 
  17. ^ Dreher, Heinz (2007), „Automatic Conceptual Analysis for Plagiarism Detection” (PDF), Information and Beyond: The Journal of Issues in Informing Science and Information Technology, 4: 601—614 
  18. ^ Muhr, Markus; Zechner, Mario; Kern, Roman; Granitzer, Michael (2009), „External and Intrinsic Plagiarism Detection Using Vector Space Models”, PAN09 - 3rd Workshop on Uncovering Plagiarism, Authorship and Social Software Misuse and 1st International Competition on Plagiarism Detection (PDF), CEUR Workshop Proceedings, 502, стр. 47—55, ISSN 1613-0073, Архивирано из оригинала (PDF) 2. 4. 2012. г. 
  19. ^ а б в Gipp, Bela; Beel, Jöran (2010), „Citation Based Plagiarism Detection - A New Approach to Identifying Plagiarized Work Language Independently”, Proceedings of the 21st ACM Conference on Hypertext and Hypermedia (HT'10) (PDF), ACM, стр. 273—274, ISBN 978-1-4503-0041-4, doi:10.1145/1810617.1810671, Архивирано из оригинала (PDF) 25. 04. 2012. г., Приступљено 04. 06. 2013 
  20. ^ а б в Gipp, Bela; Meuschke, Norman; Beel, Jöran (2011), „Comparative Evaluation of Text- and Citation-based Plagiarism Detection Approaches using GuttenPlag”, Proceedings of 11th ACM/IEEE-CS Joint Conference on Digital Libraries (JCDL’11) (PDF), ACM, стр. 255—258, ISBN 978-1-4503-0744-4, doi:10.1145/1998076.1998124, Архивирано из оригинала (PDF) 25. 04. 2012. г., Приступљено 04. 06. 2013 
  21. ^ а б в Gipp, Bela; Meuschke, Norman (2011), „Citation Pattern Matching Algorithms for Citation-based Plagiarism Detection: Greedy Citation Tiling, Citation Chunking and Longest Common Citation Sequence”, Proceedings of the 11th ACM Symposium on Document Engineering (DocEng2011) (PDF), ACM, стр. 249—258, ISBN 978-1-4503-0863-2, doi:10.1145/2034691.2034741, Архивирано из оригинала (PDF) 25. 04. 2012. г., Приступљено 04. 06. 2013 
  22. ^ Gipp, Bela; Beel, Jöran (2009), „Citation Proximity Analysis (CPA) - A new approach for identifying related work based on Co-Citation Analysis”, Proceedings of the 12th International Conference on Scientometrics and Informetrics (ISSI’09) (PDF), International Society for Scientometrics and Informetrics, стр. 571—575, ISSN 2175-1935, Архивирано из оригинала (PDF) 13. 09. 2012. г., Приступљено 04. 06. 2013 
  23. ^ Holmes, David I. (1998), „The Evolution of Stylometry in Humanities Scholarship”, Literary and Linguistic Computing, 13 (3): 111—117, doi:10.1093/llc/13.3.111 
  24. ^ Juola, Patrick (2006), „Authorship Attribution” (PDF), Foundations and Trends Information Retrieval, 1: 233—334, ISSN 1554-0669, doi:10.1561/1500000005, Архивирано из оригинала (PDF) 24. 10. 2020. г., Приступљено 04. 06. 2013 
  25. ^ Chimpsky Архивирано на сајту Wayback Machine (13. октобар 2011) at University of Waterloo. Canada.
  26. ^ а б в г Abdelmoneim, Salah-Eldin (30. 9. 2010). „Plagiarism What is it? How to avoid it?” (PDF). 14th Alexandria Anaesthesia & Intensive Care Conference. Alexandria Faculty of Medicine. Архивирано из оригинала (PDF) 30. 3. 2012. г. Приступљено 4. 6. 2013. 
  27. ^ а б в г д ђ Koovakkai, Dineshan (mart 2—4, 2011). „Diagnosing Plague: Tools And Techniques For Detecting Plagiarism” (PDF). 8th International CALIBER - 2011, Goa University, Goa. INFLIBNET Centre, Ahmedaba, India. Архивирано из оригинала (PDF) 24. 3. 2012. г.  Проверите вредност парамет(а)ра за датум: |date= (помоћ)
  28. ^ Meuschke, Norman; Gipp, Bela; Breitinger, Corinna (31. 5. 2012). CitePlag: A Citation-based Plagiarism Detection System Prototype (conference paper) (PDF). 5th Annual Plagiarism Conference. Newcastle upon Tyne, UK. [мртва веза]
  29. ^ „CopyTracker.org”. École Centrale de Lille. France. Архивирано из оригинала 18. 9. 2012. г. 
  30. ^ Plagium.com. US.
  31. ^ Mapes, Diane (10. 9. 2009). „Steal this story? Beware Net’s plagiarism ‘cops. MSNBC.com. Архивирано из оригинала 04. 10. 2012. г. Приступљено 04. 06. 2013. 
  32. ^ SeeSources at PlagScan.com. Germany.
  33. ^ PlagiarismChecker at Dustball.com. US.
  34. ^ Vij, Rajeev; Soni, Navin Kumar; Makhdumi, Gayas (februar 25—27, 2009). „Encouraging Academic Honesty through Anti-plagiarism Software” (PDF). 7th International CALIBER-2009, Pondicherry University, Pondicherry. INFLIBNET Centre, Ahmedabad, India: 444. Архивирано из оригинала (PDF) 24. 3. 2012. г.  Проверите вредност парамет(а)ра за датум: |date= (помоћ)
  35. ^ PlagiarismDetect.com Архивирано на сајту Wayback Machine (13. април 2014). US. (also trial)
  36. ^ Plagscan.com. Germany.
  37. ^ Veriguide.org. Department of Computer Science and Engineering, The Chinese University of Hong Kong.
  38. ^ King, Irwin (1. 4. 2010). „Introduction to Social Computing”. Ур.: Kitagawa. Database Systems for Advanced Applications: 15th International Conference, 2010, Tsukuba, Japan, Proceedings, Part II. стр. 482. 
  39. ^ Portal Plagiat - Softwaretest 2004 (на језику: German), HTW University of Applied Sciences Berlin, Архивирано из оригинала 25. 10. 2011. г., Приступљено 6. 10. 2011 
  40. ^ Portal Plagiat - Softwaretest 2008 (на језику: German), HTW University of Applied Sciences Berlin, Приступљено 6. 10. 2011 
  41. ^ а б Portal Plagiat - Softwaretest 2010 (на језику: German), HTW University of Applied Sciences Berlin, Приступљено 6. 10. 2011 
  42. ^ Potthast, Martin; Barrón-Cedeño, Alberto; Eiselt, Andreas; Stein, Benno; Rosso, Paolo (2010), „Overview of the 2nd International Competition on Plagiarism Detection”, Notebook Papers of CLEF 2010 LABs and Workshops, 22–23 September, Padua, Italy (PDF), Архивирано из оригинала (PDF) 3. 4. 2012. г. 
  43. ^ Potthast, Martin; Eiselt, Andreas; Barrón-Cedeño, Alberto; Stein, Benno; Rosso, Paolo (2011), „Overview of the 3rd International Competition on Plagiarism Detection”, Notebook Papers of CLEF 2011 LABs and Workshops, 19–22 September, Amsterdam, Netherlands (PDF), Архивирано из оригинала (PDF) 2. 4. 2012. г., Приступљено 4. 6. 2013 
  44. ^ Potthast, Martin; Barrón-Cedeño, Alberto; Stein, Benno; Rosso, Paolo (2011), „Cross-Language Plagiarism Detection” (PDF), Language Resources and Evaluation, 45 (1): 45—62, ISSN 1574-020X, doi:10.1007/s10579-009-9114-z, Архивирано из оригинала (PDF) 26. 11. 2013. г., Приступљено 4. 6. 2013 
  45. ^ Weber-Wulff, Debora (2008), „On the Utility of Plagiarism Detection Software”, In Proceedings of the 3rd International Plagiarism Conference, Newcastle Upon Tyne (PDF) [мртва веза]
  46. ^ "Plagiarism Prevention and Detection - On-line Resources on Source Code Plagiarism" Архивирано на сајту Wayback Machine (15. новембар 2012). Higher Education Academy, University of Ulster.
  47. ^ Roy, Chanchal Kumar;Cordy, James R. (September 26, 2007)."A Survey on Software Clone Detection Research". School of Computing, Queen's University, Canada.

Spoljašnje veze[уреди | уреди извор]