Бизнес-прогноз с точностью до 100% — шокирующие результаты новой технологии Data mining
Прежде чем начать свой рассказ о модной нынче информационной технологии с реальной бизнес-составляющей, хочу оговориться: шокирующее воздействие data mining (discovery-driven data mining) — не формулировка моих коллег маркетологов. Это подлинная реакция моего клиента на возможности Data Mining в действии.
А было все буквально так: я и мои коллеги спрогнозировали бизнес-развитие крупного банка с филиальной сетью на месяц, квартал и год, с точностью до 100%, и клиент был реально поражен тем, как быстро и просто решается теперь его головная боль: управление большой компанией, где внедрена лоскутная автоматизация и крайне трудно анализируется эффективность работ. Как воспользоваться Data Mining, как извлечь выгоды из этой методики — расскажу подробнее.
Для начала, коротко определимся с сущностью термина. Data Mining — это совокупность методов обнаружения в данных ранее неизвестных, скрытых, нетривиальных, практически полезных и доступных интерпретации закономерностей, необходимых для принятия верных управленческих решений.
Чтобы не уходить из конкретной области, продолжим рассматривать ситуацию того же крупного банка: масса разрозненных софтверных продуктов, закуплено большое количество машин, масса сотрудников и, как следствие, — BIG Data — объем данных постоянно растет, справляться с ним становится все сложнее и сложнее. «Сырые данные», за создание, получение, обработку которых компания платит большие деньги, становятся зачастую балластом, который некому обрабатывать. В этой ситуации редкие компании не задумываться о BI — системах анализа данных, их обработки, поиска закономерностей, прогнозирования. Data Mining как часть этой экосистемы Business Intelligens отвечает за самые глубинные исследования и математические расчеты. И тут я могу воскликнуть «виват!» всем тем, кто создал этот ИТ-инструмент, потому что роль его в ИТ-инфраструктурах будущего без преувеличения огромна.
Вспомним, как велись подобные работы ранее: долгие годы данные анализировали математики и статистики, но волны информации захлестнули этих специалистов, выявили неэффективность ручного труда в эру BIG Data. Методы математической статистики подходили лишь для проверки заранее сформулированных гипотез и для OLAP-анализа (англ. online analytical processing, аналитическая обработка в реальном времени) — технология обработки данных, заключающаяся в подготовке суммарной (агрегированной) информации на основе больших массивов данных, структурированных по многомерному принципу.
Верным помощником и ведущим в партнерстве с математикой и статистикой стали информационные технологии и Data Mining. В основу DM заложена концепция шаблонов (паттернов), отражающих разнообразие взаимоотношений в данных. Эти шаблоны заключают в себе закономерности, свойственные подмножествам данных, которые могут быть представлены в понятной человеку интерпретации. Поиск шаблонов производится методами, не ограниченными рамками гипотез о структуре выборки и виде распределений анализируемых данных.
«Фишка» и особый «талант» DM — выявление нетривиальных шаблонов. Иными словами, искомые шаблоны должны отражать скрытые знания — неожиданные, неочевидные закономерности в данных. С появлением DM к руководителям и аналитикам пришло осознание того, что «сырые» данные содержат невидимый пласт знаний, при анализе которого с помощью этой технологии могут быть выявлены закономерности, способствующие прорыву в развитии.
Круг бизнес-задач, решаемых посредством DataMining, очень обширен, поэтому эта технология активно используется не только в финансовом и банковском секторе, но также в телекоммуникационных и страховых компаниях, розничной торговле и, в целом, абсолютно любых сферах бизнеса, где появления «сырых» данных чревато потерей эффективности управления предприятием и, как следствие, потерей прибыли.
Радует, что рынок систем DM развивается очень динамично, он живой, на нем буквально каждый месяц появляются новые идеи и предложения. При этом очевидно, что отдельно взятая модная новая технология, даже при всей своей удивительной эффективности, не существует в вакууме, ее окружает уже существующая экосистема ИТ в компании. И ключевой вопрос касательно DM и BI заключается именно в эффективном инсталлировании инновации в экосистему, иначе в «лоскутном ИТ-одеяле» появится еще один новый красивый лоскуток, а эффективность бизнеса не повысится или даже снизится от изобилия сложных в управлении инструментов.
Как измерить эффективность внедрения, как добиться этой эффективности? Заказчик и его партнер — поставщик ИТ — должны взглянуть на экосистему ИТ компании целостно. Это принципиально важно, так как «продвинутая» технология DM буквально бросает вызов всем системам заказчика, дает возможность резкого скачка вперед, но и требует обновления внутренних инструментов и процессов, например, СХД и принципов работы с ним. В идеале DM должна работать в едином для всей компании хранилище, обрабатывая все данные компании, именно тогда система полностью оправдает себя. Модернизации требуют и другие важные узлы инфраструктуры. В этом случае заказчик получает реальную ИКТ-систему нового поколения, которая выступает в роли настоящего советника, помогая управлять бизнесом.
Резюмируя, я бы рекомендовал компаниям аккуратно выбирать поставщиков подобных систем именно в связи с комплексностью вопроса. Интегратор без комплексного видения инновации внутри существующей ИТ-инфраструктуры компании не создаст корректного, оптимального именно для вас решения, которое с лихвой вернет инвестиции, направленные на внедрение. При этом потенциал для ROI у Data Mining огромен, правильно инсталлированная система в краткосрочной перспективе позволяет сократить расходы на дополнительные технические и человеческие ресурсы в компаниях, оптимизировать внутренние и внешние бизнес-процессы, таким образом, осуществив прорыв в своих бизнес-показателях, и оставить конкурентов далеко позади. В ближайшие несколько лет прогнозируется еще больший ажиотаж, связанный с решениями DM. Его вызывают предпосылки экономической напряженности и постоянно ускоряющееся темпы развития технологий.
Бизнесу и госуправлению потребовался Master data management Системы Business Intelligence превратились в инструмент оптимизации компаний