Нацрт:Вађење података

Вађење података  спада у једно од поља које изучава  информатика То је рачунарски процес откривања образаца у великим скуповима података помоћу метода које спадају у области вештачке интелигенције, машинског учења, и база података. Општи циљ процеса извлачења података је да извуче информације из скупа података и трансформише их у разумљиву структуру за даљу употребу. Поред корака који обухватају сирову анализу, оно укључује и рад са базама података, управљање подацима, претпроцесирање података, сложеност алгоритама, , обраду пронађених структура података, приказивање података и интернет алгоритме. Откривање података је корак у анализи података који припада "knowledge discovery in databases" процесу, односно KDD.

Назив је погрешан јер је циљ извлачење образаца и знања из великог скупа података, не извлачење података као таквих. Ово је поштапалица и често се примењује за било који облик података велике размере или обраде информација (сакупљање података, извлачење података, чување података, анализа података, и статистика) као и за вештачку интелигенцију и машинско учење. Књига ''Data mining: Practical machine learning tools and techniques with Java'' (која највише покрива област машинског учења) се оригинално називала ''Practical machine learning'', а појам ''data mining'' је само додат ради маркетига. Често су општији називи (великих размера) анализа података и аналитика – или прецизније, вештачка интелигенција и машинско учење – који су прикладнији називи.

 Стваран посао извлачења података је аутоматска или полу-аутоматска анализа велике количине података како би добили претходно непознате, интересантне обрасце као што су групе података, необични подаци и независни подаци. Ово обично подразумева коришћење техника над базама података као што је просторно индексирање. Ови обрасци се затим могу посматрати као нека врста прегледа улазних података, а могу се користити и у даљој анализи, на пример, код машинског учења и предиктивне анализе. На пример, корак вађења података може идентификовати групе података које се касније могу користити како би обезбедили прецизније резултате предвиђања од стране система за одлуку. Ни прикупљање података, припрема података, нити резултат тумачења не припадају кораку извлачења података, али припадају KDD кораку као додатни процеси. 

Сродни термини су копање података и пецање података, они указују на коришћење метода за извлачење података како би се велики скупови података поделили на мање из статистичких разлога, тиме се утврђује исправност извученог обрасца.

Етимологија

1960-тих, статистичари су користили термине као што су "пецање података" или "копање података" да би указали на то шта сматрају за лошу праксу у анализирању података без хипотезе највишег приоритета. Термин "копање података" се појављује 1990-тих у заједници база података. За кратко време, 1980-тих, фраза "database mining"™, је коришћена, али је фирма са базом у Сан Дијегу по имену HNC заштитила, да би представили своју станицу за прављење база података; истраживачи су прешли на термин "вађење података". Остали термини који се користе укључују Археологију Података, Сакупљање информација, Откривање информација, учење итд. Gregory Piatetsky-Shapiro је усвојио термин "Откривање знања у базама података" за прву радионицу на ту тему (KDD-1989), а овај термин је постао популарнији у заједницама ВИ и Машинског Учења. Штавише, термин вађење података је постао популарнији у пословној и новинарској заједници. Тренутно, Вађење података и Откривање знања се користе подједнако. Од 2007, "Предиктивна Аналитика", а од 2011, "Nauka o podacima" су такође термини којима се може описати ово поље изучавања.

Позадина

Ручно вађење образаца из података се радило вековима. Ране методе идентификације узорака у подацима укључују Бајесову теорему (1700-тих) и регресиону анализу (1800-тих). Свеприсутност и раст снаге компјутерске технологије је драматично повећала колекцију података, складиштење и манипулациону способност. Како је скуп података постајао све већи и комплекснији директна анализа је постепено унапређивана индиректно, аутоматском обрадом података, уз помоћ других открића у информатици, као што су неуронске мреже, кластер анализа, генетски алгоритми (1950-тих), стабло одлучивања и правила одлучивања (1960-тих) и подршка векторским машинама (1990-тих). Вађење података је процес примене ових метода са намером откривања скривених образца у великим скуповима података, то премошћује јаз са примењене статичке и вештачке интелигенције (која обично обезбеди математичку позадину) на управљање базама података испоручујући начин на који су подаци сачувани у бази да би се извршило стварно учење и покренули алгоритми откривања ефикасније, допуштајући да се овакви методи примене на веће скупове података.

Процес

Knowledge Discovery in Databases (KDD) process је често дефинисан помоћу следећих фаза:

(1) Селекција

(2) Претпроцесирање

(3) Трансформација

(4) Вађење података

(5) Извршавање/Процена.

Процес постоји, али, у многим варијацијама ове теме као што је Cross Industry Standard Process for Data Mining (CRISP-DM), дефинише се помоћу шест фаза:

(1) Разумевање посла

(2) Разумевање података

(3) Припрема података

(4) Моделовање

(5) Процена

(6) Развој

или поједноставњени процеси као што су (1) претпроцесирање, (2) вађење података, и (3) потврда резултата.

Анкете спроведене 2002, 2004, 2007 и 2014 показују да је CRISP-DM водећа методологија коришћена од стране "копача података". Једини преостали стандард за вађење података који се нашао на поменутим анкетама је SEMMA. Неколико истраживачких тимова је објавило критике модела који се користе у вађењу података, Azevedo и Santos су упоредили CRISP-DM и SEMMA у 2008.

Претпроцесирање

Пре него што се могу користити алгоритми за вађење података, мора се оформити циљани скуп података. Пошто вађење података покрива само обрасце присутне у подацима, циљани скуп података треба бити довоњно велики да би садржао ове обрасце, док остатак мора бити довољно концизан да се може извршити у прихватљивом временском року. Заједнички извор података је Складиште података. Претпроцесирање је од есенцијалног значаја у анализирању скупа података пре процеса вађења података. Тада се чисти циљани скуп. Чишћење података уклања податке који нису у складу са статистиком и податке који нису потпуни.

Вађење података

Вађење података укључује шест заједничких фаза:

• Проналажење аномалија (Детекција девијантности) – Идентификација необичних података који могу бити интересантни или грешака у подацима који захтевају даљу истрагу.
•  Асоцијативно правило учења (Зависно моделовање) – Траши везу међу променљивима. На пример, супермаркет може да сакупи податке о потрошачким навикама купаца. Користећи асоцијативно правило учења, супермаркет може одредити који се производ најчешће купује и касније се та информација коже користити у маткетиншке сврхе. Ово се често назива "анализа корпе".
• Кластер анализа – открива групе и структуре података које су на неки начин сличне без коришћења већ постојећих структура.
• Класификација – је фаза генерализације познатих структура које се примењују на нове податке. На пример, е-маил програм може класификовати поруку као "легитимну" или као "спам".
• Регресиона анализа – покушава да пронађе функцију која моделује податке уз минималну грешку.
  
• Завршница – обежбеђује компактнији приказ скупа података, укључујући и визуелизацију.

Валидација резултата

Пример података сачињен  копањем података помоћу бота којим је управљао статистичар Tyler Viglen, очигледно показује везу између такмичења у спеловању и броја људи у Уједињеним Америчким Земљама које је убио смртоносни паук. Сличност је очигледно случајност.

Вађење података се ненамерно може погрешно искористити, а касније може дати значајне резултате; али не предвиђа даље понашање и не може се поново искористити на новом узорку података. Често је то резултат превеликог истраживања хипотеза и неправилне примене статистичког тестирања хипотеза. Једноставна верзија овог проблема у машинском учењу је позната као презасићеност, али се исти проблем може јавити у различитим фазама процеса.

Финални корак у Откриванју Знања из података је потврда да се обрасци произведени од стране алгоритама Вађења Података налазе у ширем скупу података. Не морају сви узорци пронађени вађењем података бити валидни. Често се дешава да алгоритми за вађење података нађу обрасце у делу за обуку а да се ти обрасци не користе у општем скупу података. Ово се назива пресасићеност. Да би превазишли ово, процена користи тест над подацима које алгоритам није обрадио. Научени обрасци се тестирају и резлутујући излаз се пореди са жељеним. На пример, алгоритам за вађење података који покушава да раздвоји спам од легитимних е-маилова се учи да то чини помоћу узорака маил-ова. Једном научени, обрасци се тестирају над скупом е маил-ова које не познају. Прецизност обрасца се мери по броју добро класификованих маил-ова. Многе статистичке методе се користе  за процену алгоритма, као што су ROC curves.

Ако научени обрасци не испуњавају жењене стандарде, потребно је поново извршити процену и изменити кораке претпроцесирања и вађења података. Уколико научени алгоритми испуњавају жељене стандарде, последњи корак је интерпретација образаца и претварње таквих образаца у знање.

Истраживање

Најзначајније тело на овом пољу је Association for Computing Machinery's (ACM) Special Interest Group (SIG) које се баве откривањем сазања и копањем података (SIGKDD). Од 1989. ACM SIG је угостио годишњу међународниу конференцију, а од 1999 је објавио академске новине под називом "SIGKDD Explorations".

Информатичке конференције из области вађења података:

• CIKM Conference – ACM Conference on Information and Knowledge Management
• DMIN Conference – International Conference on Data Mining
• DMKD Conference – Research Issues on Data Mining and Knowledge Discovery
• DSAA Conference – IEEE International Conference on Data Science and Advanced Analytics
• ECDM Conference – European Conference on Data Mining
• ECML-PKDD Conference – European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Databases
• EDM Conference – International Conference on Educational Data Mining
• INFOCOM Conference – IEEE INFOCOM
• ICDM Conference – IEEE International Conference on Data Mining
• KDD Conference – ACM SIGKDD Conference on Knowledge Discovery and Data Mining
• MLDM Conference – Machine Learning and Data Mining in Pattern Recognition
• PAKDD Conference – The annual Pacific-Asia Conference on Knowledge Discovery and Data Mining
• PAW Conference – Predictive Analytics World
• SDM Conference – SIAM International Conference on Data Mining (SIAM)
• SSTD Symposium – Symposium on Spatial and Temporal Databases
• WSDM Conference – ACM Conference on Web Search and Data Mining

Теме везане за вађење података ус презентоване на многим  менаџмент/база података конференцијама као што су ICDE Conference, SIGMOD Conference i International Conference on Very Large Data Bases

Стандарди

При дефинисању стандарта за процесе у вађењу података било је потребно доста труда, на пример 1999 Европски Cross Industry Standard Process for Data Mining (CRISP-DM 1.0) и 2004 Java Data Mining стандарт (JDM 1.0). Развој наследника ових процеса (CRISP-DM 2.0 and JDM 2.0) је био активан 2006, али је од тада развој у застоју. JDM 2.0 је повучен без коначних резултата.

За размену извучених модела - посебно се користи у предиктивној аналитици -  кључни стандард је Predictive Model Markup Language (PMML). То је XML-базиран језик развојен од стране Data Mining Group (DMG) и подршан је као формат за размену код многих апликација за вађење података.Као што и само име каже, покрива само предикционе моделе, који је од великог значаја у пословним апликацијама. Међутим, екстензије за покривање (на пример) подсвемирског груписања су предложене независно од ДМГ.

Значајна употреба

Вађење података се користи свуда где су подаци записани у дигиталном облику. Значајни примери вађења података се могу пронаћи у пословању, медицини, науци и надзору.

Питања приватности и етике

Док термин "интелектуална анализа података" сама по себи нема етичке последице,  често je повезана са производњом информација у погледу понашања људи (етичке и друго).

Због начина на које интелигентна анализа података може да се користи у неким случајевима и контекстима, јављају се питања у вези приватности, законитости и етике. посебно, дата мининг владе или комерцијални скупови података за потребе националне безбедности или у сврху закона, на пример, у програму Тоталне Информационе Свести или ADVICE, подижу бригу о безбедности.

Вађење података захтева припрему података која може открити информације или обрасце који могу угрозити приватност. Најчешћи начин за то је путем агрегирања података. Агрегација података односи се на обједињавање података (могуће из различитих извора) на неки начин то олакшава анализу (али она такође може идентификовати личне податаке). Претња приватности појединаца долази у игру када се подаци, након компајлирања, њега врши аналитишар или нека особа задужена за тај посао, он је у могућности да идентификује појединце иако су подаци првобитно били анонимни.

Препоручује се да се појединци упозоре на следеће ствари пре него што се подаци прикупе:

• на циљ прикупљања података
• како ће се ови подаци користити;
• ко ће да ископа податке и користи их;
• стање безбедности у вези са приступом подацима;
• како се прикупљени подаци могу ажурирати.

Подаци се такође могу мењати тако да буду анонимни, тако да појединци не могу  бити идентификовани. Међутим,  "подаци који не могу да се идентификују"/"анонимни подаци" могу садржати довољно информација да идентификују појединаца, као што се и десило када је новинарима успео да пронађу неколико лица на основу претраге података које је избацила компанија  АОЛ.

Ненамерним обелодањивањем личних информација, провајдер крши начела поштеног коришћења података. Ова индискреција може довести до финансијских, емоционалниих или телесних последица. Пример кршења приватности: апотека је поднела тужбу против компаније у 2011. години за продају информација о рецептима фирмама за вађење података, који, заузврат, шаљу податке фармацеутским фирмама.

Ситуација у Европи

Европа има строге законе о приватности, улажу се напори у циљу даљег јачања права потрошача. Међутим, у U.S.-E.U. Safe Harbor Principles тренутно ефикасно откривају европске кориснике који продају поверљиве информације рада америчких компанија. Након Едвард Сноуденовог глобалног обелодањивања, била је велика дискусија, да се откаже овај споразум, подаци би били потпуно доступни агенцијама за националну безбедност.

Ситуација у САД

У Сједињеним Америчким Државама, приватност се разматра у Конгресу САД кроз доношење регулаторних контрола, као што су Health Insurance Portability and Accountability Act (HIPAA). HIPAA захтева од појединца да да свој  "информисани пристанак" у вези информација које они дају тренутно и убудуће. Према чланку објављеном у iotech Business Week', "' HIPAA не може понудити било какву већу заштиту него што дугогодишњи правила већ пружају - каже AAHC. Што је још важније, правила заштите кроз информисан додатно компликују ствари и захтевају стрпљење што често може довести до збуњивања просечног корисника". То наглашава потребу  анонимности  података при агрегацији и пракси интелектуалное анализе података.

Софтвер

Бесплатан софтвер за интелигентно вађење потака  и апликације

Следеће апликације су доступне под оупен-сорс лиценцом. Допуштен је приступ изворном коду.

• Carrot2: Фрејмворк за резултате претраге и кластер анализу.
• Chemicalize.org: хемијска структура и претраживачка машина.
• ELKI: универзитетски истраживачки пројекат са напредном кластер анализом и методама за откривање грешака писан у Јава програмском језику .
• Капија: обрада природног језика и алат за језички инжењеринг.
• KNIME: The Konstanz Information Miner, фрејмворк за корисничку анализу података.
• Масовна онлајн анализа (МОА):  ради у реалном времену и може обрадити велике количине података, писан је у Јава програмском језику.
• MLPACK библиотека: збирка готових за алгоритама машинског учења написаних  у Ц++у .
• АПЈ (Алат за Природни Језик): скуп библиотека и програма за симболичко и статистичко процесирање природних језика (ППЈ), писан је у језику Пајтон.
• OpenNN: Слободна библиотека неуронских мрежа.
• Orange: компонента базирана  на интелектуалној анализи података и машинском учењу писана у језику Пајтон.
• R (програмски језик): и коружење за статистику, интелигентно вађење података и графику. Део је пројекта ГНУ.
• SCaViS: Јава крос-платформа за анализу података развијена од стране Argonne National Laboratory.
• scikit-learn је опен соурце библиотека машинског учења за Пајтон програмски језик.
• SenticNet по API: семантички извор који се користи у семантичкој анализи.
• Torch: је опен соурце библиотека  за дубоко проучавање за  ЛУА програмски језик и има широку подршку за алгоритме који се односе на машинско учење.
• UIMA: у UIMA (Unstructured Information Management Architecture) је фрејмворк за анализу неструктуираних података, као што су текст, звук и видео, који је првобитно био развијен од стране компаније ИБМ.
• Weka: скуп софтвера за машинско учење написаних у Јава програмском језику.

Власнички софтвер за вађење података и апликације

Следеће апликације су доступне под власнићким лиценцама.

• Angoss KnowledgeSTUDIO:  алати за интелигентну анализу података које обезбеђује Angoss.
• Clarabridge: анализа текста.
• HP Vertica Analytics Platform: софтвер за интелигентну анализу података  који производи HP.
• IBM SPSS Modeler софтвер за интелигентну анализу података који производи ИБМ.
• KXEN Modeler: алати за интелигентну анализу података које обезбеђује KXEN.
• LIONsolver: интегрисани софтвер за интелигентно вађење података, пословну интелигенцију и моделовање који спроводи обуку и интелектуалну оптимизацију.
• Megaputer интелигенција: софтвер за интелигентно вађење података и текста звани PolyAnalyst.
• Мајкросотфове услуге анализе: софтвер за интелигентну анализу података који производи Мајкрософт. 
• NetOwl: скуп текст на више језика и суштине аналитичких производа који омогућавају да се дата мининг.
• Компанија opentext™ за анализу великих података: визуелна и предиктивна анализа података путем отвореног текста Корпорација
• Оракл интелигентна анализа података: софтвер за интелигентно вађење података и текста направљен од стране компаније Оракл.
• П-седам: платформа за аутоматизацију анализе података, мултидисциплиновану оптимизацију и интелигентно сакупљање података направљена од стране  DATADVANCE.
• Qlucore истраживач: софтвер за интелигентну анализу података који производи Qlucore.
• RapidMiner: окружење за машинско учење и дата мининг експеримената.
• САС анализа података: софтвер за интелигентну анализу података који производи САС Институт.
• СТАТИСТИЦА интелигентно вађење података: софтвер за интелигентну анализу података који производи фирма "statsoft".
• Танагра: софтвер за визуелизацију-оријентисане анализе података, као и за учење.

Истраживања на тржишту

Велики број истраживача и организација сачињава критике алата за анализу података . Ово одређује неке предности и мане софтверских пакета. Они такође омогућују преглед модела понашања, склоности и погледе људи из струке. Неки од ових извештаја укључује:

• Hurwitz Victory Index: извештаји за напредну аналитику као средство за процену тржишних истраживања, он издваја, како и различито коришћење аналитичких технологија тако и добављаче, који чине ове апликације могућим.Недавне студије
• 2011 Wiley интердисциплинарне критике: Data Mining and Knowledge Discovery
• Rexer Analytics Data Miner Surveys(2007-2013)
• Истраживање Форрестер 2010 Предиктивна аналитика
• Компанија Гартнер 2008 "Магични Квадрант" извештај
• Robert A. Nisbet's 2006 три серије чланака "алата и области интелигентна анализа података: који од њих бољи за CRM?"
• Haughton et al.'s 2003 преглед софтверских пакета за област паметног вађења података од стране The American Statistican
• Goebel & Gruenwald 1999 "Преглед Data Mining и Knowledge Discovery Software алата" код SIGKDD истраживања

Види још

Методе

Апликативни домени

Примери апликација

Сродне теме

Вађење података се односи на анализирање података; О вађењу информација из података погледати:

Further reading

• Cabena, Peter; Hadjnian, Pablo; Stadler, Rolf; Verhees, Jaap; Zanasi, Alessandro (1997); Discovering Data Mining: From Concept to Implementation, Prentice Hall, ISBN 0-13-743980-6
• M.S. Chen, J. Han, P.S. Yu (1996) "Data mining: an overview from a database perspective". Knowledge and data Engineering, IEEE Transactions on 8 (6), 866–883
• Feldman, Ronen; Sanger, James (2007); The Text Mining Handbook, Cambridge University Press, ISBN 978-0-521-83657-9
• Guo, Yike; and Grossman, Robert (editors) (1999); High Performance Data Mining: Scaling Algorithms, Applications and Systems, Kluwer Academic Publishers
• Han, Jiawei, Micheline Kamber, and Jian Pei. Data mining: concepts and techniques. Morgan kaufmann, 2006.
• Hastie, Trevor, Tibshirani, Robert and Friedman, Jerome (2001); The Elements of Statistical Learning: Data Mining, Inference, and Prediction, Springer, ISBN 0-387-95284-5
• Liu, Bing (2007); Web Data Mining: Exploring Hyperlinks, Contents and Usage Data, Springer, ISBN 3-540-37881-2
• Murphy, Chris (16. 5. 2011). „Is Data Mining Free Speech?”. InformationWeek. UMB: 12. CS1 одржавање: Формат датума (веза)
• Nisbet, Robert; Elder, John; Miner, Gary (2009); Handbook of Statistical Analysis & Data Mining Applications, Academic Press/Elsevier, ISBN 978-0-12-374765-5
• Poncelet, Pascal; Masseglia, Florent; and Teisseire, Maguelonne (editors) (October 2007); "Data Mining Patterns: New Methods and Applications", Information Science Reference, ISBN 978-1-59904-162-9
• Tan, Pang-Ning; Steinbach, Michael; and Kumar, Vipin (2005); Introduction to Data Mining, ISBN 0-321-32136-7
• Theodoridis, Sergios; and Koutroumbas, Konstantinos (2009); Pattern Recognition, 4th Edition, Academic Press, ISBN 978-1-59749-272-0
• Weiss, Sholom M.; and Indurkhya, Nitin (1998); Predictive Data Mining, Morgan Kaufmann
• Witten, Ian H.; Frank, Eibe; Hall, Mark A. (30. 1. 2011). Data Mining: Practical Machine Learning Tools and Techniques (3 изд.). Elsevier. ISBN 978-0-12-374856-0. CS1 одржавање: Формат датума (веза) (See also Free Weka software)
• Ye, Nong (2003); The Handbook of Data Mining, Mahwah, NJ: Lawrence Erlbaum

Споменице и захвалнице

100 измена

43%