Системы надзора за правовым соответствием выполняемых операций нуждаются как в целостности данных, так и в работе в режиме реального времени, чтобы отвечать действующему законодательству. Устаревшие технологии были способны управлять данными на основе системного подхода и в режиме реального времени на протяжении последних 30 лет – к сожалению, с сильными ограничениями. Технология больших данных не предоставляет готовую к использованию целостность данных, полученных в режиме реального времени, что и становится проблемой.
Как можно получить актуальные, целостные данные из технологии больших данных?
Совмещение актуальности и целостности данных для больших данных – задание для инженеров, которое было решено при помощи технологий Scaled Risk. Технологии больших данных как предложение новой архитектуры основывается на прорывных вычислениях с открытым подходом (т. е. распределенная система недопустима). Открытая парадигма – это цена, которую необходимо заплатить за почти неограниченную расширяемость системы, что означает неограниченность:
• хранилища;
• вычислительных мощностей;
• возможностей кэширования.
Синхронизация времени по всему кластеру – это секрет своевременного предоставления полностью открытой последовательности данных. Этот подход, во многом вдохновленный технологией Spanner от Google (http://research.google.com/archive/spanner.html), предоставляет информацию на любую дату, начиная с одной секунды, прошедшей с настоящего момента. Эта задержка может быть сокращена при помощи аппаратного обеспечения для особой синхронизации времени.
Стандартные актуальные большие данные тоже нуждаются в улучшении, потому что они имеют разное значение в мире Интернета и в сфере банковских услуг. Если "интерактивный" – это хороший синоним для предыдущего "управляемый событиями" и "способный оповещать", это то, чего ожидают последние. Технологии Scaled Risk внедряют как последние инновации из сферы больших данных, так и старые рецепты, которые использовались с начала 1990-х гг. для получения актуальных каналов финансовых данных.
Технология больших данных – лучшая технология для реализации систем надзора за правовым соответствием
По определению система надзора за соответствием нуждается в сборе данных как из внутренних, так и из внешних источников, которыми могут стать:
• трейдинговая система;
• данные о рынке;
• вспомогательные данные и СУОК;
• внешние финансовые данные;
• актуальные и исторические новости;
• данные о правительстве [Управление по контролю над иностранными активами казначейства США, Акт о добросовестном и точном проведении кредитных операций, Правила регулирования инфраструктуры европейского финансового рынка, закон Додда – Фрэнка (Dodd – Frank)] и многие другие.
Данные, необходимые для надзора за нормативно-правовым соответствием, не только увеличиваются в объеме, но и становятся все более сложными. Вкратце, технология больших данных устраняет два главных недостатка устаревших технологий: отсутствие гибкости и эластичности, а также возможности расширения сети.
Отсутствие гибкости
Благодаря эластичности и расширяемости инфраструктура может адаптироваться на ходу.
Гибкость
Информационные системы должны уметь справляться с внезапными переменами в бизнесе за счет регулирования и корпоративного управления. Способность к быстрой адаптации очень трудно реализовать в системе управления реляционными базами данных (СУРБД), даже для одного отделения банка. Системы надзора за соблюдением правовых норм по своей природе централизуют многочисленные потоки информации из разных стандартов и форматов. Обработка необходимых, но многочисленных изменений в системе источников, – невыполнимая миссия, если использовать СУРБД и ETL-решения.
Технологии больших данных предлагают прорывной подход к схеме управления данными, потому что данные и соответствующие структуры данных хранятся и управляются отдельно друг от друга. Основной подход, используемый технологиями в отношении больших данных, полагается на схемы данных для чтения, это означает, что данные хранятся в формате, управляемом приложением. Этот подход предоставляет больше гибкости, потому что схемы данных могут просто меняться. Но в таком варианте есть недостаток, потому что он предлагает ограниченную видимость данных: все спрятано за кодом.
В 2012 г. Scaled Risk представили гибридный подход, основанный на Schema on read, но улучшенный:
• реализацией схемы данных поверх метамодели;
• возможностью Schema on read положиться на несколько схем данных;
• возможностью Schema on read автоматически запускать преобразование типов.
Этот гибридный подход значительно уменьшил обычные расходы на внедрение централизованного хранилища данных на начальной стадии, а также при дальнейших его обновлениях.
Эластичность и расширяемость
Эластичность и расширяемость – это главные прорывы, привнесенные технологией больших данных. Обеспечение настоящей открытой распределенной архитектуры позволяет приложениям, использующим большие данные, предлагать неограниченные:
• хранилища данных;
• вычислительные возможности;
• кэширование (внутри памяти).
Внедрение регуляторной системы вызывает множество вопросов, как это было в веб-отрасли:
• до какого уровня сложности будут развиваться данные;
• как быстро будут увеличиваться объемы данных;
• понадобятся ли им больше вычислительных мощностей (например, вальвация);
• нужно ли им быть быстрее (например, закон Додда – Фрэнка и центры обмена информацией)?
Совмещение внутренних и внешних данных
Эффективная система надзора за нормативно-правовым соответствием должна уметь сочетать данные, которые банк уже хранит в своей внутренней системе, предоставленные третьими сторонами, и публично доступные данные (социальные сети, Интернет). Например, при помощи этих источников данных можно распознать отмывание денег путем корпоративных закупок:
• данные из системы банковских операций;
• данные из внешних директорий компании, чтобы идентифицировать акционеров;
• управление по контролю над иностранными активами казначейства США и другие похожие списки;
• результаты поиска информации о заинтересованных лицах.
Большие данные не только обеспечивают удобный сбор данных и их хранение, но также предлагают различные гибкие возможности по синхронизации данных из различных форматов.
В случае с обнаружением случаев отмывания денег, такая реализация позволит:
• обнаружить, что акционеры – это те же люди, которые упоминаются в результатах поиска в Интернете или списках управления по контролю над иностранными активами казначейства, даже если имена транслитерированы различным образом с различных языков;
• рассчитать надежность репутации посредством извлечения данных из Интернета;
• использовать возможности программы для обнаружения слабого сигнала или
• мошеннической схемы по операциям на счету.
Совмещая такую информацию, технология больших данных (как показано на рис. 1 выдаст немедленный результат о возможности отмывания денег. Похожая верификация в ручном режиме потребует нескольких часов работы и не будет настолько исчерпывающей и эффективной.
Улучшение традиционных подходов
Большие данные способны уменьшить уровень сложности данных и обнаружить слабые сигналы в огромных массивах информации. Статистика, анализ текста, машинное обучение усиливают распределенные возможности систем анализа больших данных, потому что они способны:
• хранить большие объемы данных и статистические данные за неограниченный период времени;
• исполнять сложные алгоритмы в режиме реального времени;
• хранить наиболее часто используемые данные в быстро распределенном кэше (т. е. в памяти);
• оставлять расходы на разумном уровне (используются средние серверы).
Такие подходы дают отличные результаты для извлечения скрытой информации из массивов данных при малом числе ложно положительных результатов.
С другой стороны, традиционные подходы слишком устарели, имеют ряд ограничений и часто упускают реальные положительные результаты. Другой недостаток устаревших подходов, использующих обработчики бизнес-правил, основанные на структурированных данных, – это трудность адаптации к изменениям в правовых нормах.
Гибридный подход при обработке показателей, предоставленных системами анализа больших данных, выдает лучшие результаты. Показатели больших данных с ложно положительными результатами эффективно фильтруются обработчиком правил, в то время как обнаруживается больше подозрительных случаев. Давление со стороны законодательных актов определенно ушло за пределы "времени и материалов". Невозможность реализовать эффективный контроль соответствия правовым нормам уже привело к многомиллионным штрафам.
Проверяйте все
Контроля и внедрения регуляторного надзора, к сожалению, недостаточно. Правовые нормы требуют, чтобы вы могли доказать, что все методы контроля действительно были использованы. Большие данные снова оказываются очень полезными тем, что хранят исчерпывающие результаты проверки, временные штампы и относящуюся к делу информацию для каждого контрольного журнала.
Контрольный журнал всегда доступен, это означает, что данные за несколько лет могут предоставляться в режиме реального времени. Архивирование становится проще, потому что размер хранилища неограничен: оно подробное и любой исторической глубины.
Успешное внедрение проекта
Основываясь на нашем опыте, успешное внедрение систем надзора за нормативно-правовым соответствием, основанных на больших данных, требует исполнения некоторых обязательных условий.
Требуются промежуточные компоненты
Открытая программная платформа Hadoop для работы с необработанными данными пока не готова к внедрению в обычные финансовые процессы. Внутренний проект, основанный на Hadoop, потребует несколько человеко-месяцев, если не человеко-лет, чтобы создать и внедрить пакет промежуточных технических компонентов. Это, конечно же, самый неожиданный факт, с которым можно столкнуться при создании проекта с использованием больших данных "с нуля".
Другой выученный урок: компоненты, доступные публично, не обязательно будут отвечать требованиям банковской системы, особенно в отношении целостности данных и работы в режиме реального времени. Это значит, что некоторые компоненты тоже необходимо разрабатывать.
Создание внутреннего проекта требует огромного количества времени, которое можно сэкономить, если использовать существующие сторонние платформы, как показано на рис. 2.
Scaled Risk предлагает готовые к использованию возможности технологии больших данных:
• гибкую схему данных с поддержкой множества версий для быстрого сбора данных;
• управляемую событиями технологию, работающую в режиме реального времени в самом сердце архитектуры;
• мгновенный, простой и целостный доступ к данным благодаря функциональности поисковой службы;
• возможность надежной отчетности благодаря распределенной и оперативной аналитической обработке данных в реальном времени (OLAP);
• полное представление аудита с возможностью представления данных;
• компоненты визуализации данных.
Это дает экономию на выведение продукта на рынок с нашей интегрированной платформой.
Использование такого решения позволит вам потратить время и деньги на то, чтобы действительно внедрять правила и контроль нормативно-правового соответствия.
Используйте открытые системы
Они полностью совместимы с готовыми к использованию коммерческими решениями. Scaled Risk не собирает ваши данные в черный ящик. Hadoop и экосистема открытого ПО предоставляют крупным компаниям мощное программное обеспечение (R, Spark, Hive и т. д.), которое остается полностью совместимым с этой системой.
Открытая система уже вот-вот будет способна расширять или изменять правила и источники данных. Технологии, используемые для того, чтобы добиться этого, должны быть стандартными и открытыми, что позволит вам легко найти экспертные ресурсы на рынке труда.
Комплексное внедрение проекта
Технологии больших данных остаются новыми для предприятий и банков, в результате чего технология ориентируется сама на себя. По нашему мнению, это ошибка, которую следует старательно избегать. Отрасль финансового программного обеспечения стремительно меняется с появлением новичков, которые могут одновременно предоставлять финансовые услуги и услуги анализа больших данных. Они являются лучшими поставщиками систем надзора за нормативно-правовым соблюдением законодательства.
Финтех-решения при оптимизации сложных контрактов
Акбер Дату (Akber Datoo),
партнер, D2 Legal Technology LLP
Десятилетия пренебрежения вышли боком. Во все более регулируемом и конкурентном мире на финансовые учреждения налагается обязанность понимания сложных контрактов с клиентами. Неспособность к такому пониманию приводит к катастрофе, которая произошла с Lehman Brothers and AIG. Если финансовый кризис и научил нас чему-то, так это тому, что у нас низкий уровень понимания большинства контрактов, которые мы заключаем. Компании попали в вихрь паники, они, не способные найти нужные документы, не понимают, какую важную информацию те содержат.
Надзорные органы были шокированы таким положением дел. Они ввели множество ограничений в области управления данными сделок, осуществляемых финансовыми фирмами. Например, 6 марта 2015 г. Европейская служба банковского надзора (EBA) опубликовала проект стандарта о минимальном наборе информации о финансовых контрактах, которая должна содержаться в записях фирмы в соответствии с требованиями Закона о восстановлении и оздоровлении банков (известном как "волеизъявительное" требование для систематически важных финансовых учреждений).
Несомненно, эти нормативные требования имеют обоснование: законные контракты являются воплощением того, как финансовые инструменты заявляют о себе через различные условия, положения и контрактные обязательства, принятые каждой стороной финансового контракта. Стабильность и нормальное функционирование финансовой системы основано на удовлетворительном управлении такими контрактными условиями. Тем не менее реальность такова, что многие юридические отделы и отделы делопроизводства не смогли угнаться за быстро растущими направлениями деятельности, которую они поддерживают. Ирония судьбы заключается в том, что это резко контрастирует с теми направлениями бизнеса, которые всецело использовали технические инновации, чтобы масштабироваться, в то время как юридические и общие отделы не воспользовались возможностью обеспечить себя инструментами, системами и утилитами, которые могли бы помочь им справиться с ростом.
Грустно думать о текущем положении дел в финансовой отрасли, когда планка правого регулирования значительно превосходит действия по оптимизации бизнеса. Планка особенно действенна в настоящее время и реализуется в огромных штрафах и санкциях, налагаемых на учреждения, многие из которых являются следствием неспособности отслеживать и управлять договорными обязательствами, а также результатом ограниченного мышления "слишком велик, чтобы рухнуть". Несмотря на это, такая планка доказала свою эффективность как инструмент принуждения использования финансовых технологий для устранения проблем путем создания системы и процессов хранения и управления юридическими документами и данными. Это задача, которая была бы гораздо менее сложной и требующей временных ресурсов, если бы правильные процессы были разработаны с самого начала, т. е. если бы отделы по работе с документами обрабатывали и хранили контракты и отслеживали ключевые условия, согласованные в контракте. Исправление этого после нескольких десятилетий пренебрежения включает другой подход благодаря огромному количеству законных контрактов. Вот здесь вступают в действие новейшие технологии.
Ажиотаж вокруг больших данных вызван тем, что они способны видеть и понимать отношения внутри неструктурированных и структурированных баз, над осмыслением которых мы до недавнего времени бились. Большие данные работают на огромном количестве информации и дополнительных исследованиях, а не на малом количестве данных и точности. Кто-то может поспорить, что проблема даже не так велика, чтобы использовать большие данные, но она, несомненно, достаточно велика, чтобы принудить юридические отделы более мобильно предотвращать беспорядок и неопределенность, принять на себя роль специалистов по обработке данных, чтобы найти связи в системе данных, и работать над этим, а не над тем, чтобы тщательно просматривать каждое слово в каждом контракте.
Изначально следует просто убедиться в том, что технология может использоваться. Документы на бумажных носителях, прошитые и хранящиеся в безопасности в хранилище, всегда требуют ручного труда для их получения и чтения. Имеющиеся контракты по этой причине переводятся в цифровой формат и хранятся финансовыми фирмами в электронной форме, чему способствуют оптическое распознавание знаков (ОРЗ) и другие соответствующие технологии, такие как ИРЗ (интеллектуальное распознавание знаков) и ИРС (интеллектуальное распознавание слов) для обработки некоторых случаев с рукописным, а не печатным текстом. Оцифровка также используется в таких областях, как устные контракты между трейдерами, когда при помощи программного обеспечения для распознавания голоса определяются ключевые условия устно согласованных контрактов и обеспечивается их совпадение с торговыми подтверждениями, генерируемыми финансовыми фирмами после этого, во избежание торговых споров.
Фаза перевода в цифровую форму не может не привнести таких трудностей, как слабо распознаваемые таблицы в документах. Это тем не менее просто решить путем составления проектов юридических документов с опорой на предшествующие документы и строго определенный словарь контрактов.
Использование даже некоторых алгоритмов классификации в электронных документах может помочь. Документы теперь переведены в цифровой формат, по ним можно проводить поиск, и юридический отдел уже получил возможность находить требуемые документы – задача, которую было трудно решить по причине низкого уровня классификации и оформления документов во время их подписания. Более того, посредством базового управления идентификаторами и привязки к другим источникам данных, таким как риски и клиентские системы статических данных, масштаб проблемы мог стать гораздо меньше и гораздо лучше поддаваться управлению посредством привязки документов к соответствующим торговым рискам и сосредоточения на действительных проблемах.