Big data простым языком - Алексей Благирев 25 стр.


 Они используют сетевые эффекты. Google Nest стал основой для экосистемы смарт-домашних продуктов и, например, присылает своим клиентам ежемесячную карточку отчета по использованию энергии и сравнивает этот расход с показателями соседей (и это дает контекст). Одновременно с этим компания передает агрегированные данные поставщиков коммунальных услуг. Эта информация может помочь им оптимизировать свои процессы.

 Они объединяют данные по ряду услуг. Одна медицинская компания извлекает данные высокой точности из системы здравоохранения и применяет ее к жизни пациентов для улучшения здоровья человека. Другой пример: сервис Dash берет данные по отзывам и сервисным компаниям у автопроизводителей, а потом делает персонифицированные рассылки своим клиентам.

Консалтинговая компания McKinsey прогнозирует появление двенадцати глобальных экосистем, относящихся к различным сферам бизнеса, к 2025 году.

Глава 8

А что дальше? Проблемы и тренды

В 2015 году исследовательская компания Gartner убрала Big Data со своей «кривой хайпа». Но до сих пор вокруг этого термина существует какая-то лихорадочная активность. По-прежнему идет речь о Big Data-трансформации, но далеко не всегда понятно, что это такое, и какую конкретно пользу оно может принести бизнесу. Сам по себе переход на новые технологии вряд ли может привести к увеличению прибыли или сокращению накладных расходов.

Проблемы с Big Data сегодня

Хотя технологии Big Data сейчас уже применяются промышленно, бо́льшая часть проектов в этой области не имеет успеха. Почему?

Мы думаем, что понимаем Big Data

Проекты, связанные с Big Data-аналитикой, часто воспринимаются всеми (менеджментом и самими разработчиками) как традиционные IT-проекты с фиксированным скоупом (объемом работы).

В реальности же это, скорее, RnD-проект (Research and development или исследование и разработка). И ключевую роль здесь играет именно исследовательская часть. На самом деле, не определены ни конечный результат, ни время, за которое будет получено хоть что-то.

Big Data аналитика это постоянное исследование, в ходе которого скорее появятся внезапные полезные инсайты, чем стабильные и быстрые бизнес-результаты (конечно, если речь идет о новом проекте). Однако то, как раскрывается ценность этих инсайтов, зависит больше от знания предметной области, чем от количества данных, математической или технической сложности решения. И здесь как никогда справедлива фраза «отрицательный результат тоже результат», только надо уметь это увидеть.

Еще одна проблема недостаток специалистов. Покупка инструментов и применение agile-методологии в полной мере ее не решает. Уровень опыта и экспертиза также играют роль в успешном завершении исследовательских проектов Big Data.

Как рассчитать финансовый эффект?

Большая гибкость в отношении сроков и результатов проекта ведет к необходимости выделения большего количества ресурсов. Оно начинает слабо и предсказуемо расти, когда компания сталкивается с реальными долгосрочными задачами и необходимостью соблюдать SLA, а также требования регуляторов.

Сроки гибкие, результат непредсказуем значит, на проект может уйти больше ресурсов (времени, людей, денег), чем предполагалось.

Проекты, связанные с Большими данными, не всегда решают уникальные задачи. Эти проекты считаются научными без каких-либо бизнес-целей или показателей. Чтобы извлечь максимальную выгоду из этого, нужно направить усилия на конкретную потребность или проблему бизнеса. Чтобы оправдать инвестиции для проектов Big Data, требуется постоянно демонстрировать результаты. Бизнес требует быстрого и гибкого доступа к данным с прозрачными SLA. В результате оказывается, что бизнес ожидает большого количества дешевых инсайтов, а Big Data- и Data Science-специалисты требуют ресурсов на исследовательскую составляющую проектов и большую толерантность в ошибках и неудачах, являющихся неотъемлемой частью их работы. При правильном использовании, Big Data дает широкий спектр возможностей для бизнеса сегодня и в будущем. Проблема заключается в нехватке квалифицированных специалистов и неравномерной выдаче результатов. Это только вопрос времени, когда Big Data станет важной частью принятия бизнес-решений. Если эти ошибки будут учтены, станет намного проще реализовать любую стратегию, связанную с Большими данными. Еще один способ увеличить шансы на успех использовать правильные инструменты для правильного проекта.

Вообще, все бизнес-цели можно разделить на два больших направления:

 Создание и запуск нового сервиса с использованием данных

 Оптимизация текущего процесса или сервиса с использованием данных

На практике необходимо забыть о сложности самих технологий и ограничениях в компетенциях, и использовать все возможности как необходимые компоненты при трансформации.

 Создание и запуск нового сервиса с использованием данных

 Оптимизация текущего процесса или сервиса с использованием данных

На практике необходимо забыть о сложности самих технологий и ограничениях в компетенциях, и использовать все возможности как необходимые компоненты при трансформации.

В первом случае расчет доходности использования технологий ничем не отличается от расчета окупаемости инвестиционных затрат при запуске нового продукта. Как ни банально, но мы переступили черту, где хотели кого-то удивить, и попали в мир, где уже «так принято» использовать данные.

Во втором случае финансовый эффект можно оценить по той части процесса, которую мы собираемся менять. Сравнивается себестоимость текущего звена процесса, размер сопутствующих операционных рисков и инвестиционных затрат на разработку и замену этого компонента сервисом с использованием данных. Строится описание текущего процесса, который планируется затронуть с использованием одной из существующих общепринятых нотаций (EPC[148], BPMN и других), где нужно заменить один из типизированных этапов в процессе:

Ручной ввод со стороны человека заменяется обработкой и анализом ранее введенных логов. Большинство значений внутри процесса стандартизируется и классифицируется, и человек вводит данные только в исключительных случаях. При этом алгоритм может запоминать введенное значение, чтобы его не нужно было вводить снова. Сравнивается себестоимость текущего звена процесса, размер сопутствующих операционных рисков и инвестиционных затрат на разработку и замену этого компонента сервисом с использованием данных. Такие сервисы в среднем окупаются за срок не более полутора года. Бывают случаи, когда сервис не может полностью заменить оператора процесса: например, оператора для чата мобильного банка, взаимодействующего с пользователем. В этом случае сервис может вместо набора текста использовать всплывающие подсказки, если ему не удастся полностью распознать запрос.

Сверки и реконсилиации это целый этап в бизнес-процессе, на котором пользователи тратят время на проверку и аудит полученной ранее информации. Его можно заменить на автоматические проверки. Например, в процессах выпуска финансовой отчетности есть очень много точек, когда информация проверяется и сверяется с источниками данных перед тем, как попасть на стол к финансовому директору.

Big Data может быть вообще не нужна

Big Data это модная и современная технология, и часто возникает соблазн везде ее использовать.

Причины могут быть разные.

 Когда в руках молоток, все вокруг гвозди.

 Незнание предметной области.

 Необходимость произвести впечатление на бизнес и публику. Было время, когда стартапы, не использующие «ML/AI» просто не воспринимались всерьез.

 Просто интересно попробовать новое. И в этом нет ничего плохого, если отдавать себе отчет о сроках, ресурсах и возможных последствиях.

На вопросы бизнеса зачастую можно ответить с помощью простого SQL. А бизнес-логику сделать на нескольких сценариях «если то».

И все же, несмотря на эти проблемы, технологии продолжают развиваться и двигаться вперед.

К чему мы движемся? Тренды

В 1980х появилась концепция Plug and Play (англ. включил и играй/работай). Она позволяла собрать свой домашний компьютер из отдельных деталей, у которых были стандартные интерфейсы. Облачные технологии позволяют сделать то же самое, но уже по отношению к бизнес-процессу или бизнесу в целом. Концепции Process-as-a-Service, Data-as-a-Service, Analytics-as-a-Service уже сегодня позволяют собрать как из конструктора работающую IT-систему для бизнеса.

Облака позволяют сократить затраты на инфраструктуру и ее обслуживание. Еще одно преимущество быстрое масштабирование. При возросшей нагрузке мы можем быстро увеличить количество доступных системе ресурсов.

Ожидается, что к 2020-му году (по крайней мере) треть всех данных будет проходить через облако.

Лидеры рынка, которые способны эффективно анализировать несколько источников данных, могут использовать различные возможности для повышения эффективности работы. Крупный бизнес уже начал активно менять свои процессы и переносить данные и работу с ними в облако.

 Вся инфраструктура Pinterest находится в облаке.

 Компания Xerox использовала стратегию облачных вычислений для эффективного анализа данных и снижения скорости изнашивания в своем call-центре на двадцать процентов.

 Компания Caterpillar разрабатывает специальные облачные решения для анализа и отслеживания того, как работает ее техника в совокупности с предоставляемыми финансовыми сервисами, что позволяет существенно сократить расходы на аудит и мониторинг объектов, которые могут быть заложены в рамках сделках финансового лизинга.

 Компания Боинг в 2015 году перешла на облачную платформу. Это ускорило более чем в 100 раз работу ее служб доставки и в шесть раз увеличило утилизацию активов[149].

В России бизнес не всегда спешит переходить на облачные технологии. Это связано с тем, что большинство крупных облачных провайдеров это зарубежные компании. Поэтому возникают законодательные ограничения и риски, связанные, например, с курсом валют.

Кроме того, многие традиционно не доверяют третьим лицам данные, представляющие собой коммерческую тайну.

Тем не менее, облачные решения появляются и на нашем рынке.

Машинное обучение применяется все чаще

По мере того, как развивалась Big Data-аналитика, некоторые компании стали инвестировать в машинное обучение (ML). Машинное обучение остается одной из самых востребованных и внедряемых технологий. И она еще не исчерпала свой потенциал. По прогнозу аналитической фирмы Ovum[150], машинное обучение один из главных трендов в Big Data-технологиях. Его применение будет все расширяться. От задач по бизнес аналитике оно перейдет на большинство задач по подготовке и преданализу данных. Не исключено, что ряд задач по интеграции источников данных также будет решаться с привлечением машинного обучения через анализ и интеграцию словарей (описание объектов данных в тех или иных источниках).

Назад Дальше