25-11-23
Экспертный обзор: Анализ данных

Анализ данных давно стал важной частью планирования, применяемого в бизнесе.

Вы наверняка сталкивались хотя бы с одним из следующих методов: аналитикой данных, машинным обучением, искусственным интеллектом и многим другим.

Казалось бы, столько многообещающих и активно развивающихся направлений. Почему при этом искусственный интеллект до сих пор не взял на себя всю работу по планированию и оптимизации в авиаотрасли?

Основная проблема кроется в его фундаменте - математической статистике, а точнее в её практическом использовании для обработки данных. Есть целый ряд проблем, которые мешают использовать их наилучшим образом.

Здесь уместно вспомнить про инжинириг данных (наука о том, как собирать и хранить всю доступную информацию). Без него данные в принципе не будут приемлемыми для последующего полноценного и быстрого анализа.

Да, они простые и надежные, но абсолютно неподходящие для бизнеса.

Например, АК может решить заменить один маршрут другим для увеличения прибыли. Для подтверждения оптимальности решения традиционные статистические методы потребуют некоторого фиксированного количества выполнения рейсов по новому маршруту: их может быть 20, 30 или 100. А если потребуется выполнить в двое меньше таких "тестовых" рейсов? Это было бы отлично, ведь, если решение окажется неоптимальным, то АК сможет быстрее понять это и потерять гораздо меньше прибыли.

В действительности возможно благодаря последовательному статистическому анализу, который вдвое (в среднем) обгоняет традиционные методы по скорости.

Если спросить двух аналитиков о том, каким будет спрос через 5 дней, то они выдадут два разных ответа. Один скажет, что спрос будет в диапазоне от 15 до 23, другой - в диапазоне от 17 до 26. Данные никогда не позволяют делать абсолютно точные утверждения и прогнозы, но они позволяют установить некоторые границы неопределенности. А что если данные могут сами устанавливать абсолютно точные границы этой неопределенности? Это стало бы наилучшей отправной точкой для стохастического программирования: чтобы добиться этого, необходимо полностью переключиться на байесовские методы. Это также потребует увеличения вычислительных мощностей и использования более сложной математики, но обеспечит прирост эффективности, исчисляемый десятками процентов.

Руководители и аналитики — это по сути те же самые пилоты — однако невозможно управлять самолетом, в котором нет окон. Аналитические дашборды — это лишь способ видеть. Чем лучше обзор — тем лучше управление. Визуализация данных - это целая наука и даже исскусство. Она позволяет увидеть то, что обычно невозможно, а сложную информацию преобразует в простую для восприятия форму.

Существует простой и наглядный эксперимент, который показывает, что коллективное решение может быть гораздо точнее, чем решение каждого отдельного человека. На улицах города проводят опрос 1000 человек: каждому показывают стеклянную банку, заполненную мелкими шариками, и затем задают вопрос об их количестве. Парадокс заключается в том, что отдельные ответы сильно отклоняются от верного, но при этом их среднее значение практически точно совпадает с ним. Таким образом, чем разнообразнее мнения и знания в сообществе, тем лучше проявляется этот эффект. Анализ данных, как и другие сложные задачи, скорее поддастся всеобщему свободному обсуждению, чем отдельным, пусть даже гениальным людям.