Сегодня совместное мероприятие дистрибьюторской компании OCS и Polymatica, российского разработчика аналитических инструментов обработки больших данных, созданных на основе интеллектуального анализа и машинного обучения.

В программе:

• Критерии выбора BI-системы: на что ориентируются партнёры и заказчики.
• Выполнение пилотного проекта: что делается платно, что бесплатно.
• Как расширять функционал, если нет «в коробке» и как партнёры могут помочь.
• Несколько вредных советов по внедрению BI-системы.

Спикер: Бредихин Алексей, руководитель по работе с партнёрами, Polymatica. Сегодня речь пойдет об аналитической платформе Polymatica и про подводные камни внедрения этой BI-системы.

Polymatica – это российский вендор, разработчик одноименной BI-системы Polymatica. Компания работает на рынке с 2011 года, пользователями этой системы является более 30 тысяч человек, у Polymatica большая партнерская сеть. Компания представлена во многих отраслях, было несколько проектов в Европе, в основном она представлена в России. 

В настоящий момент основной пул заказчиком находится в государственном секторе, сейчас коммерческие заказчики тоже стали обращать пристальное внимание на продукцию Polymatica. 

Самый крупный проект – это федеральная налоговая служба РФ, там Polymatica используется как базовое аналитическое решение и вся налоговая аналитика проводится на этом ПО. Активно расширяется пул коммерческих заказчиков.

Polymatica - это комплексное решение, оно закрывает весь спектр задач по работе с аналитикой данных. Все зависит от задач и масштаба проекта. Система разворачивается на серверах заказчика, так же поддерживается закрытый контур, есть облачная версия, созданная совместно с облачным провайдером, но это версия для совсем небольших заказчиков, у которых есть проблемы с собственной инфраструктурой, им проще работать из облака. Однако, не все заказчики готовы передавать свои данные в облако. Работаем мы на классической клиент-серверной архитектуре, на ОС семейства Linux, поддерживаем все российские операционные системы. 

BI-платформа – это полноценное решение, направленное на простых бизнес-пользователей с низким порогом входа и закрытием всех вопросы по корпоративной отчетности. Есть поддержка больших объемов данных.

Что касается работы с Big Data, то эта возможность поддерживается, хороший пример – кейс с ФНС, где коллеги используют «МУЛЬТИСФЕРЫ» (некое подобие OLAP-кубов) – это многомерный массив данных, который можно крутить в различных разрезах и проводить исследовательскую аналитику. Мы поддерживаем работу с миллиардами строк, у ФНС их около 2 млрд при работе приближенном к реальному времени. МУЛЬТИСФЕРА - это запатентованное компанией Polymatica понятие. Мы проводили сравнение с некоторыми западными BI-системами, у нас требуется меньше мощностей для работы с сотнями миллионами или миллиардами строк баз данных.

Продукт Polymatica Dashboards – это классический конструктор отчетов по дашборду, здесь возможно строить любую визуализацию, присутствуют более 20 виджетов, есть собственный редактор для создания виджетов и возможность добавления пользовательских виджетов. Первый вариант – это html-редактор, второй вариант – это любой виджет, на языке java-script его можно доработать и обратно загрузить в систему и использовать. Для этого есть специальная инструкция как работать с виджетами, некоторые заказчики делают даже 3d-визуализацию. Но для этого нужна более высокая, чем у бизнес-пользователей, компетенция. Наши дашборды/виджеты можно встраивать в сторонние приложения, порталы, сайты.

Какие могут быть предпосылки замены зарубежных BI-систем. Многие западные вендоры ушли с нашего рынка, не продают новых лицензий, нельзя продлить и техподдержку. Важно здесь и наше присутствие в реестре отечественного ПО и поддержка российских операционных систем. Есть программы компенсации до 50% стоимости используемого российского ПО.

Если говорить о переходе на ПО Polymatica, то на слайде представлено сравнение с самым популярным продуктом – Microsoft Power BI. Видно, что Polymatica закрывает весь базовый функционал. В Polymatica даже есть коннектор к ClickHouse, популярному решению для хранения данных.

Теперь несколько слов о подводных камнях внедрения BI-системы. Заказчики всегда хотят иметь волшебную кнопку, при помощи которой они могли бы вводить свои данные в любом формате, любом виде. Мы часто сталкиваемся с тем, что заказчик не в состоянии выдать нормальное техническое задание. Они хотят иметь красивые картинки, но чтобы внедрить BI и чтобы добиться нужного эффекта, необходимо иметь грамотно составленное техническое задание, в котором должны быть прописаны требования, параметры и методология. И прежде, чем внедрять BI, надо вводить в компании культуру работы с данными. Потому BI – это вершина айсберга. Коллег нужно приучать правильно вводить данные. Потому что иногда бывает даже не понятен объем подготовки данных. В процессе у заказчика могут появляться дополнительные требования и пожелания. Поэтому важно иметь четкое техническое задание.

Бывает, что отсутствует какой-то функционал из коробки, а заказчик хочет иметь что-то очень специфичное. Не всегда это нечто специфическое есть в коробке у вендоров, и не всегда для него актуально развивать этот потенциал, потому что он может больше никогда не понадобиться другим заказчикам. Понятно, что большие заказчики часто готовы дополнительно оплачивать такие вещи.

Сложное освоение системы специалистами на местах и человеческий фактор. Часто слышу от коллег, что изредка встречается нечто вроде саботажа сотрудников, которые не хотят внедрять аналитику и могут сопротивляться ее внедрению. Такое положение вещей может вызвать затруднение, тормозящее внедрение BI.

Для формирования технического задания всегда нужно делать предварительное исследование. Нужно собрать требования по функциональности, по безопасности, по производительности, по поддержке, одним словом, разные требования. Нужно разработать макет дашбордов, потому что заказчики часто выдвигают очень туманные, не конкретные требования, и может получиться так, что вы сделаете совсем не то, что хотел получить заказчик. Четко должны быть прописаны макеты дашбордов. Иначе это может превратиться в бесконечную доработку. А когда есть согласованное техническое задание, все записано на бумаге, то проще ввести определенные рамки. Понятно, что всегда приходится что-то дорабатывать, но всему должен быть предел.

Финальный сбор всех требований и разработка макетов – это формирование техзадания. 

Теперь о подготовке данных. В наших проектах по внедрению BI в любую аналитическую систему львиную долю работы занимает подготовка данных. Бывают заказчики с определенным уровнем зрелости, у которых уже есть хранилище, и есть БД, где хранятся корпоративные данные, тут все намного проще. 

Бывает, что у заказчика часть данных находится в Excel, часть данных в каких-то иных системах, это все надо как-то объединить. Нужно создать некую витрину, куда будут заноситься данные в автоматическом или в ручном режиме, оттуда BI будет их забирать. В последнее время часто Excel становится универсальным инструментом во всех компаниях, и все привыкли к нему. Это хороший инструмент, но в какой-то момент его становится мало. И компания подходит к тому, что надо переходить на BI-системы, на автоматизированную отчетность и борды. Если у заказчика все это хранится в очень сложных формах, то это можно конвертировать для передачи данных в BI-систему. У нас есть партнеры, которые делают это хорошо. И стоит это не настолько дорого, чтобы превратиться в полноценный промышленный PL, а за небольшие деньги сделать такой конвертер для небольших заказчиков с тем, чтобы можно было быстро обрабатывать эти данные и передавать в систему.

Вот один из примеров. Кейс со строительной компанией. Их целью было создать информационное пространство для отслеживания показателей в рамках выполнения различных проектов по проектированию и строительству дорог. Мой коллега совместно с партнером предоставили конвертеры для файлов Excel. Потому что у заказчика в сложных формах хранились все данные. Требования были такими: быстрые сроки внедрения, конвертация отчетов и заказчику было нужно срочно купить лицензию. Для него было это дорого, тогда мы предложили им вариант и совместно нашли оптимальное решение для обеих сторон. Результаты оказались хорошими. Коллеги используют 4 отчета с интерактивными дашбордами и данные подгружаются автоматически, выделяются отклонения фактических показателей от плановых. Т. о. у них многократно сократилось время на изучение отчетов, и они смогли оперативнее принимать решения.

Про расширение функционала силами партнеров и заказчиков. Упомяну о том, что у нас есть виджеты и html. Виджеты на Java script. Но мы намеренно сделали такой функционал с тем, чтобы заказчика поддержать и проконсультировать. У нас есть примеры, когда заказчики сами сделали форму ввода. Возможно, какие-то коннектеры вы готовы сами создавать, а мы, в свою очередь, готовы вам в этом помочь. Наша идея состоит в том, чтобы сделать вокруг нашей системы некую эко-систему с тем, чтобы наши заказчики и партнеры могли сами вокруг нашего BI зарабатывать за счет продажи каких-то компонентов.

Хорошим примером такой работы является взаимодействие с Российским экспортным центром. Здесь было импортозамещение западного решения Tablo. Для коллег была важна возможность самостоятельной кастомизации виджетов и дашбордов. Они активно это используют. И направления их деятельности различные, у них имеется около 11 проектов по разным направлениям деятельности. И примером кастомного дашборда является шарик, сделанный в 3D, он крутится и отображает различные данные. Наши коллеги сделали это без нашего участия, чему мы были приятно удивлены. 

Также коллеги сделали форму ввода. Это часто требуемый функционал. Это исключение ошибок внесения данных. Это некое автоматизированное рабочее место администратора, который вручную вводит данные. Это вводится не в Excel, а именно в саму систему. Данные сохраняются в базе. Эти данные можно согласовать, проверить их правдивость.

Т.е. благодаря таким формам ввода данные поступают в систему проверенными и валидированными. Нет рисков того, что где-то что-то отобразится неправильно в дашборде или что-то неверно будет посчитано. Такие вещи можно тоже делать.

Простота использования системы – это самообслуживание и использование стандартных подходов к источнику, в расчетах, в создании виджетов. Система устанавливается за 2 часа. Имеются методички, и руководства, и видеоуроки.

Перейдем к теме машинного обучения. Мы уже пару лет активно развиваем это направление. Но не всегда ML может быть применен для заказчиков. Не всегда он дает ожидаемый эффект. Потому, что может оказаться мало данных или они неполные, или в них имеются пробелы.

Для чего в целом нужно машинное обучение? Оно помогает решать трудоемкие задачи. Можно сформировать персональные предложения для каждого клиента, имеется полноценная клиентская аналитика. Можно спрогнозировать отток по клиентам, выявить мошеннические операции, выявить скоринг поставщиков, скоринг клиентов, кредитный скоринг, определить, какие проекты не могут быть завершены в срок, предсказать брак на производстве, предсказать поломки оборудования, т.е. спектр задач очень широк. И при помощи ML результат можно получать за считанные минуты.

Назначение инструментов расширенной аналитики в нашей системе Polymatica ML и Polymatica Decision Manager. Первой идей было упростить внедрение модели МО. Имеется ввиду то, что простые бизнес-пользователи могут самостоятельно создавать модели МО. Все это делается в классическом интерфейсе. Пользователю не надо знать языков программирования, он может в доступном графическом интерфейсе все это самостоятельно построить. 

Есть функционал так называемый Auto ML, когда данные просто подаются на вход и система сама говорит, какая модель, какой алгоритм лучше подойдет для этих данных. И это значительно сокращает время и трудозатраты и финансовые затраты на внедрение модели. Не надо содержать дорогой штат data-сайнтистов, бизнес может все это делать самостоятельно. 

И вторая идея назначения инструментов расширенной аналитики - это управление этими моделями. Мало создать эту модель. Она работает, но точность прогнозов может упасть, может понизиться точность модели. И внутри Polymatica ML есть платформа для управления жизненным циклом. Это модное слово означает то, что дается единый репозиторий модели, его можно отслеживать, можно отслеживать точность каждой версии модели, переобучать ее, переиспользовать. И, что немаловажно, что работать можно не только с моделями, построенными в Polymatica ML, но, если на предприятии есть модели, построенные самостоятельно, либо есть ряд моделей дата-сайнтистов, их можно загрузить в Polymatica ML и полноценно работать с ее жизненным циклом. 

Также в рамках Polymatica ML есть функционал, так называемый Polymatica Decision Manager. Это построение интеллектуальных систем поддержки принятия решений. В принципе Polymatica ML можно назвать единственной в России на текущий момент масштабируемой платформой полного цикла работы с данными. Т.е. от создания модели, от загрузки данных и заканчивая их мониторингом, публикацией и применением этих моделей.

Функционал Polymatica Decision Manager это построение цепочек принятия решений в графическом интерфейсе, возможность комбинирования модели ИИ и экспертных правил. Самым простым и понятным примером может служить построение скоринга с клиентом в банке, кредитного скоринга. 

Выстраивается блок-схема, заходит заявка клиента, сформированная не вручную, а по внешним и внутренним данным проверяется автоматически на предмет того, можно ли выдать кредит этому человеку, и на каких условиях. Многие банки сейчас этим пользуются. В основном это было построено на зарубежных системах. Сейчас мы тоже заканчиваем такую разработку, переходим на наши решения. Может быть кто-то пользовался кредитными услугами банка, знает, что сейчас можно в приложении банка подать заявку, и тебе в течение нескольких минут будет выдано решение. Это как раз делается при помощи такого рода интеллектуальных систем.

Типовые задачи для банков. Это прежде всего - клиентская аналитика, целевой маркетинг, прогнозная аналитика, управление рисками, стратегия кредитного скоринга, управление модельными рисками. Недавно мы выиграли конкурс в одном из банков, как раз на управление модельным риском. Также можно решать задачи по оптимизации задолженности, умный сбор задолженностей, система раннего предупреждения. Это может быть актуально не только для банков, но и для других структур, других отраслей, которые работают с клиентами, у которых бывают просроченные кредиты.

Выше представлен пример дашборда с прогнозом. Можно построить прогнозные модели и уже красиво вывести потом это на систему Polymatica дашборд и затем отслеживать этот прогноз, эти показатели.

В завершение хочу отметить наши победы в рейтингах. В 2022 году СNews дал нам первое место в рейтинге BI-платформ. Это доказывает то, что наша система проста, ею удобно пользоваться, и у нее очень низкий порог входа.

И резюмируя, хочу еще раз подчеркнуть преимущества платформы Polymatica. Это российская разработка. Входит в реестр отечественного ПО, входит в дорожную карту, все модули интегрированы друг с другом. Можно построить модели, и результат выполнения расчетной модели отобразится на дашбордах. Можно из Aplana построить дашборды, из дашборда обратно провалиться в Aplana, чтобы посмотреть, почему такие данные и откуда скачки, как данные повлияли друг на друга. Решение простое в освоении, ориентировано на простого бизнес-пользователя. Оно апробировано в больших проектах в том числе федерального масштаба. И решение открыто для добавления своих кастомных компонентов и решений, что мы всегда приветствуем, если вы наши партнеры ли заказчики и готовы развивать эту систему.