Automation of technological and business processes

ISSN-print: 2312-3125
ISSN-online: 2312-931X
ISO: 26324:2012
Архiви

АДАПТИВНЫЙ МЕТОД РЕДУКЦИИ РАЗМЕЧЕННЫХ ВЫБОРОК ДАННЫХ ДЛЯ ПОСТРОЕНИЯ ДИАГНОСТИЧЕСКИХ МОДЕЛЕЙ

##plugins.themes.bootstrap3.article.main##

Анотація

Решена актуальная задача редукции размеченных выборок данных большого размера путем извлечения подвыборок меньшего размера для построения диагностических и распознающих моделей по прецедентам.
Предложен детерминированный метод редукции размеченных выборок, который использует информацию о классах для извлечения репрезентативных выборок небольшого размера. Предложенный метод последовательно разбивает исходную выборку на гиперсферы, радиусы которых определяются расстояниями до ближайших экземпляров противоположного класса. Из центров полученных гиперсфер формируется подвыборка меньшего размера. Благодаря адаптивности радиуса каждой гиперсферы к расстоянию до ближайшего экземпляра противоположного класса в редуцированной выборке сохраняется большинство наиболее важных экземпляров, которые находятся вблизи границ классов. Это позволяет извлекать репрезентативные выборки с хорошо определенными межклассовыми границами. Метод базируется на гипотезе о компактности классов, поэтому объем сокращенной выборки сильно зависит от степени разделимости классов. Например, если классы компактны, объем редуцированной выборки может быть слишком малым с плохо определенными границами классов. Для решения данной проблемы, предлагается регулировать объем извлекаемой выборки, изменяя радиусы гиперсфер с помощью долевого коэффициента. Таким образом, можно более точно определять границы классов, повышая репрезентативность редуцированных выборок.
Для обработки очень больших исходных выборок, когда объем данных не позволяет загрузить их полностью в память ЭВМ, либо данные поступают динамически, предложенный метод позволяет обрабатывать исходную выборку пакетами заданного объема.
Разработано программное обеспечение, реализующее предложенный метод, которое позволяет проводить вычислительные эксперименты по исследованию его свойств, при решении задач редукции размеченных выборок данных большого размера.
Ключові слова:
Для цієї мови відсутні ключові слова

##plugins.themes.bootstrap3.article.details##

Як цитувати
Каврин, Д., & Субботин, С. (2018). АДАПТИВНЫЙ МЕТОД РЕДУКЦИИ РАЗМЕЧЕННЫХ ВЫБОРОК ДАННЫХ ДЛЯ ПОСТРОЕНИЯ ДИАГНОСТИЧЕСКИХ МОДЕЛЕЙ. Automation of Technological and Business Processes, 10(3), 10-18. https://doi.org/10.15673/atbp.v10i3.1084
Розділ
ТЕХНІЧНІ ЗАСОБИ І ІНФОРМАЦІЙНІ ТЕХНОЛОГІЇ У СИСТЕМАХ УПРАВЛІННЯ

Посилання

[1] Thompson S. K. Sampling. Hoboken: John Wiley & Sons, 2012. 472 p.
[2] Encyclopedia of survey research methods / ed. P. J. Lavrakas. Thousand Oaks: Sage Publications, 2008. Vol. 1–2. 968 p.
[3] Кокрен У. Методы выборочного исследования / пер. с англ. И. М. Сонина; под ред. А. Г. Волкова, Н. К. Дружинина. Москва: Статистика, 1976. 440 с.
[4] Chaudhuri A., Stenger H. Survey sampling theory and methods. New York: Chapman & Hall, 2005. 416 p.
[5] Tille Y., Wilhelm M. Probability Sampling Designs: Principles for Choice of Design and Balancing //Statistical
Science. 2017. Vol. 32, Issue 2. P. 176–189.
[6] Kalton G. Systematic Sampling //Wiley StatsRef: Statistics Reference Online. 2017. [Электронный ресурс]. Режим доступа: https://onlinelibrary.wiley.com/doi/abs/10.1002/9781118445112.stat03380.pub2.
[7] Parsons V. L. Stratified Sampling //Wiley StatsRef: Statistics Reference Online. 2017. [Электронный ресурс]. Режим доступа: https://onlinelibrary.wiley.com/doi/abs/10.1002/9781118445112.stat05999.pub2.
[8] Skinner C. J. Probability Proportional to Size (PPS) Sampling //Wiley StatsRef: Statistics Reference Online. 2016. [Электронный ресурс]. Режим доступа: https://onlinelibrary.wiley.com/doi/abs/10.1002/9781118445112.stat03346.pub2.
[9] Nelson G. A. Cluster Sampling: A Pervasive, Yet Little Recognized Survey Design in Fisheries Research //Transactions of the American Fisheries Society. 2014. Vol. 143, Issue 4. P. 926–938.
[10] Ly T., Cockburn M, Langholz B. Cost-efficient case-control cluster sampling designs for population-based epidemiological studies //Spatial and Spatio-temporal Epidemiology. 2018. Vol. 26. P. 95–105.
[11] Elliott M. R., Valliant R. Inference for Nonprobability Samples //Statistical Science. 2017. Vol. 32, Issue 2. P. 249– 264.
[12] Etikan I., Musa S. A., Alkassim R. S. Comparison of Convenience Sampling and Purposive Sampling //American Journal of Theoretical and Applied Statistics. 2016. Vol. 5, Issue 1. P. 1–4.
[13] Загоруйко Н. Г. Прикладные методы анализа данных и знаний. Новосибирск: ИИМ, 1999. 270 с.
[14] Flach P. Machine Learning: The Art and Science of Algorithms that Make Sense of Data. New York: Cambridge University Press, 2012. 409 p.
[15] Lyon R. J. HTRU2 [Электронный ресурс]. Режим доступа: https://figshare.com/articles/HTRU2/3080389/1.
[16] Breast Cancer Wisconsin (Diagnostic) Data Set [Электронный ресурс]. Режим доступа: https://archive.ics.uci.edu/ml/datasets/Breast+Cancer+Wisconsin+(Diagnostic).
[17] Каврин Д. А., Субботин С. А. Метод редукции мажоритарного класса в несбалансированных выборках //Реєстрація, зберігання і обробка даних. 2018. Т. 20, № 1. С. 51–59.
[18] Субботін С. О., Олійник А. О. Інтелектуальні системи: навч. посіб. / під заг. ред. проф. С. О. Субботіна. Запоріжжя: ЗНТУ, 2014. 218 с.