Data mining (с перевода на русский: добыча данных, интеллектуальный анализ данных, глубинный анализ данных) — собирательное название, используемое для обозначения совокупности методов обнаружения в данных ранее неизвестных, нетривиальных, практически полезных и доступных интерпретации знаний, необходимых для принятия решений в различных сферах человеческой деятельности. Термин введён Григорием Пятецким-Шапиро в 1989 году.
Английское словосочетание «data mining» пока не имеет устоявшегося перевода на русский язык. При передаче на русском языке используются следующие словосочетания: просев информации, добыча данных, извлечение данных, а также интеллектуальный анализ данных. Более полным и точным является словосочетание «обнаружение знаний в базах данных» (англ. knowledge discovery in databases, KDD).
Основу методов data mining составляют всевозможные методы классификации, моделирования и прогнозирования, основанные на применении деревьев решений, искусственных нейронных сетей, генетических алгоритмов, эволюционного программирования, ассоциативной памяти, нечёткой логики. К методам data mining нередко относят статистические методы (дескриптивный анализ, корреляционный и регрессионный анализ, факторный анализ, дисперсионный анализ, компонентный анализ, дискриминантный анализ, анализ временных рядов, анализ выживаемости, анализ связей). Такие методы, однако, предполагают некоторые априорные представления об анализируемых данных, что несколько расходится с целями data mining (обнаружение ранее неизвестных нетривиальных и практически полезных знаний).
Одно из важнейших назначений методов data mining состоит в наглядном представлении результатов вычислений (визуализация), что позволяет использовать инструментарий data mining людьми, не имеющими специальной математической подготовки.
Применение статистических методов анализа данных требует хорошего владения теорией вероятностей и математической статистикой.
Data mining и искусственный интеллект
Знания, добываемые методами data mining, принято представлять в виде закономерностей (паттернов). В качестве таких выступают:
Алгоритмы поиска таких закономерностей находятся на пересечении областей: Искусственный интеллект, Математическая статистика, Математическое программирование, Визуализация, OLAP.
- Да уж - это слишком сложная задача, для просто программиста, и я не могу, поручить кому-то такую важную вещь! - ответил сам себе подуставший родитель.
Поразмыслив не много и не придумав ничего по лучше. Стал ходить туда сюда в поисках плана по спасению собственного сына. Хотя задачка оказалась не из легких, но он все равно послал своих знакомых разведчиков на поиски. А вестей так... И не было... Мало того они сами пропали и не выходили на связь. Мужчина в потертых джинсах потерял виски от нарастающего напряжения. В самый не подходящий момент, да еще босс организации связал руки и заставил перед ним отчитываться!
- Нда, хорошего ноль. Но, надежда умирает последней! - завершил дискуссию.
Отредактировано: 08.06.2019