Поиск по публикациям и новостям

Сегодня совместное мероприятие дистрибьюторской компании OCS и Polymatica, российского разработчика аналитических инструментов обработки больших данных, созданных на основе интеллектуального анализа и машинного обучения.

В программе:

  • Критерии выбора BI-системы: на что ориентируются партнёры и заказчики.
  • Выполнение пилотного проекта: что делается платно, что бесплатно.
  • Как расширять функционал, если нет «в коробке» и как партнёры могут помочь.
  • Несколько вредных советов по внедрению BI-системы.

Спикер: Бредихин Алексей, руководитель по работе с партнёрами, Polymatica. Сегодня речь пойдет об аналитической платформе Polymatica и про подводные камни внедрения этой BI-системы.

Polymatica – это российский вендор, разработчик одноименной BI-системы Polymatica. Компания работает на рынке с 2011 года, пользователями этой системы является более 30 тысяч человек, у Polymatica большая партнерская сеть. Компания представлена во многих отраслях, было несколько проектов в Европе, в основном она представлена в России. 

В настоящий момент основной пул заказчиком находится в государственном секторе, сейчас коммерческие заказчики тоже стали обращать пристальное внимание на продукцию Polymatica. 

Самый крупный проект – это федеральная налоговая служба РФ, там Polymatica используется как базовое аналитическое решение и вся налоговая аналитика проводится на этом ПО. Активно расширяется пул коммерческих заказчиков.

Polymatica - это комплексное решение, оно закрывает весь спектр задач по работе с аналитикой данных. Все зависит от задач и масштаба проекта. Система разворачивается на серверах заказчика, так же поддерживается закрытый контур, есть облачная версия, созданная совместно с облачным провайдером, но это версия для совсем небольших заказчиков, у которых есть проблемы с собственной инфраструктурой, им проще работать из облака. Однако, не все заказчики готовы передавать свои данные в облако. Работаем мы на классической клиент-серверной архитектуре, на ОС семейства Linux, поддерживаем все российские операционные системы. 

BI-платформа – это полноценное решение, направленное на простых бизнес-пользователей с низким порогом входа и закрытием всех вопросы по корпоративной отчетности. Есть поддержка больших объемов данных.

Что касается работы с Big Data, то эта возможность поддерживается, хороший пример – кейс с ФНС, где коллеги используют «МУЛЬТИСФЕРЫ» (некое подобие OLAP-кубов) – это многомерный массив данных, который можно крутить в различных разрезах и проводить исследовательскую аналитику. Мы поддерживаем работу с миллиардами строк, у ФНС их около 2 млрд при работе приближенном к реальному времени. МУЛЬТИСФЕРА - это запатентованное компанией Polymatica понятие. Мы проводили сравнение с некоторыми западными BI-системами, у нас требуется меньше мощностей для работы с сотнями миллионами или миллиардами строк баз данных.

Продукт Polymatica Dashboards – это классический конструктор отчетов по дашборду, здесь возможно строить любую визуализацию, присутствуют более 20 виджетов, есть собственный редактор для создания виджетов и возможность добавления пользовательских виджетов. Первый вариант – это html-редактор, второй вариант – это любой виджет, на языке java-script его можно доработать и обратно загрузить в систему и использовать. Для этого есть специальная инструкция как работать с виджетами, некоторые заказчики делают даже 3d-визуализацию. Но для этого нужна более высокая, чем у бизнес-пользователей, компетенция. Наши дашборды/виджеты можно встраивать в сторонние приложения, порталы, сайты.

Какие могут быть предпосылки замены зарубежных BI-систем. Многие западные вендоры ушли с нашего рынка, не продают новых лицензий, нельзя продлить и техподдержку. Важно здесь и наше присутствие в реестре отечественного ПО и поддержка российских операционных систем. Есть программы компенсации до 50% стоимости используемого российского ПО.

Если говорить о переходе на ПО Polymatica, то на слайде представлено сравнение с самым популярным продуктом – Microsoft Power BI. Видно, что Polymatica закрывает весь базовый функционал. В Polymatica даже есть коннектор к ClickHouse, популярному решению для хранения данных.

Теперь несколько слов о подводных камнях внедрения BI-системы. Заказчики всегда хотят иметь волшебную кнопку, при помощи которой они могли бы вводить свои данные в любом формате, любом виде. Мы часто сталкиваемся с тем, что заказчик не в состоянии выдать нормальное техническое задание. Они хотят иметь красивые картинки, но чтобы внедрить BI и чтобы добиться нужного эффекта, необходимо иметь грамотно составленное техническое задание, в котором должны быть прописаны требования, параметры и методология. И прежде, чем внедрять BI, надо вводить в компании культуру работы с данными. Потому BI – это вершина айсберга. Коллег нужно приучать правильно вводить данные. Потому что иногда бывает даже не понятен объем подготовки данных. В процессе у заказчика могут появляться дополнительные требования и пожелания. Поэтому важно иметь четкое техническое задание.

Бывает, что отсутствует какой-то функционал из коробки, а заказчик хочет иметь что-то очень специфичное. Не всегда это нечто специфическое есть в коробке у вендоров, и не всегда для него актуально развивать этот потенциал, потому что он может больше никогда не понадобиться другим заказчикам. Понятно, что большие заказчики часто готовы дополнительно оплачивать такие вещи.

Сложное освоение системы специалистами на местах и человеческий фактор. Часто слышу от коллег, что изредка встречается нечто вроде саботажа сотрудников, которые не хотят внедрять аналитику и могут сопротивляться ее внедрению. Такое положение вещей может вызвать затруднение, тормозящее внедрение BI.

Для формирования технического задания всегда нужно делать предварительное исследование. Нужно собрать требования по функциональности, по безопасности, по производительности, по поддержке, одним словом, разные требования. Нужно разработать макет дашбордов, потому что заказчики часто выдвигают очень туманные, не конкретные требования, и может получиться так, что вы сделаете совсем не то, что хотел получить заказчик. Четко должны быть прописаны макеты дашбордов. Иначе это может превратиться в бесконечную доработку. А когда есть согласованное техническое задание, все записано на бумаге, то проще ввести определенные рамки. Понятно, что всегда приходится что-то дорабатывать, но всему должен быть предел.

Финальный сбор всех требований и разработка макетов – это формирование техзадания. 

Теперь о подготовке данных. В наших проектах по внедрению BI в любую аналитическую систему львиную долю работы занимает подготовка данных. Бывают заказчики с определенным уровнем зрелости, у которых уже есть хранилище, и есть БД, где хранятся корпоративные данные, тут все намного проще. 

Бывает, что у заказчика часть данных находится в Excel, часть данных в каких-то иных системах, это все надо как-то объединить. Нужно создать некую витрину, куда будут заноситься данные в автоматическом или в ручном режиме, оттуда BI будет их забирать. В последнее время часто Excel становится универсальным инструментом во всех компаниях, и все привыкли к нему. Это хороший инструмент, но в какой-то момент его становится мало. И компания подходит к тому, что надо переходить на BI-системы, на автоматизированную отчетность и борды. Если у заказчика все это хранится в очень сложных формах, то это можно конвертировать для передачи данных в BI-систему. У нас есть партнеры, которые делают это хорошо. И стоит это не настолько дорого, чтобы превратиться в полноценный промышленный PL, а за небольшие деньги сделать такой конвертер для небольших заказчиков с тем, чтобы можно было быстро обрабатывать эти данные и передавать в систему.

Вот один из примеров. Кейс со строительной компанией. Их целью было создать информационное пространство для отслеживания показателей в рамках выполнения различных проектов по проектированию и строительству дорог. Мой коллега совместно с партнером предоставили конвертеры для файлов Excel. Потому что у заказчика в сложных формах хранились все данные. Требования были такими: быстрые сроки внедрения, конвертация отчетов и заказчику было нужно срочно купить лицензию. Для него было это дорого, тогда мы предложили им вариант и совместно нашли оптимальное решение для обеих сторон. Результаты оказались хорошими. Коллеги используют 4 отчета с интерактивными дашбордами и данные подгружаются автоматически, выделяются отклонения фактических показателей от плановых. Т. о. у них многократно сократилось время на изучение отчетов, и они смогли оперативнее принимать решения.

Про расширение функционала силами партнеров и заказчиков. Упомяну о том, что у нас есть виджеты и html. Виджеты на Java script. Но мы намеренно сделали такой функционал с тем, чтобы заказчика поддержать и проконсультировать. У нас есть примеры, когда заказчики сами сделали форму ввода. Возможно, какие-то коннектеры вы готовы сами создавать, а мы, в свою очередь, готовы вам в этом помочь. Наша идея состоит в том, чтобы сделать вокруг нашей системы некую эко-систему с тем, чтобы наши заказчики и партнеры могли сами вокруг нашего BI зарабатывать за счет продажи каких-то компонентов.

Хорошим примером такой работы является взаимодействие с Российским экспортным центром. Здесь было импортозамещение западного решения Tablo. Для коллег была важна возможность самостоятельной кастомизации виджетов и дашбордов. Они активно это используют. И направления их деятельности различные, у них имеется около 11 проектов по разным направлениям деятельности. И примером кастомного дашборда является шарик, сделанный в 3D, он крутится и отображает различные данные. Наши коллеги сделали это без нашего участия, чему мы были приятно удивлены. 

Также коллеги сделали форму ввода. Это часто требуемый функционал. Это исключение ошибок внесения данных. Это некое автоматизированное рабочее место администратора, который вручную вводит данные. Это вводится не в Excel, а именно в саму систему. Данные сохраняются в базе. Эти данные можно согласовать, проверить их правдивость.

Т.е. благодаря таким формам ввода данные поступают в систему проверенными и валидированными. Нет рисков того, что где-то что-то отобразится неправильно в дашборде или что-то неверно будет посчитано. Такие вещи можно тоже делать.

Простота использования системы – это самообслуживание и использование стандартных подходов к источнику, в расчетах, в создании виджетов. Система устанавливается за 2 часа. Имеются методички, и руководства, и видеоуроки.

Перейдем к теме машинного обучения. Мы уже пару лет активно развиваем это направление. Но не всегда ML может быть применен для заказчиков. Не всегда он дает ожидаемый эффект. Потому, что может оказаться мало данных или они неполные, или в них имеются пробелы.

Для чего в целом нужно машинное обучение? Оно помогает решать трудоемкие задачи. Можно сформировать персональные предложения для каждого клиента, имеется полноценная клиентская аналитика. Можно спрогнозировать отток по клиентам, выявить мошеннические операции, выявить скоринг поставщиков, скоринг клиентов, кредитный скоринг, определить, какие проекты не могут быть завершены в срок, предсказать брак на производстве, предсказать поломки оборудования, т.е. спектр задач очень широк. И при помощи ML результат можно получать за считанные минуты.

Назначение инструментов расширенной аналитики в нашей системе Polymatica ML и Polymatica Decision Manager. Первой идей было упростить внедрение модели МО. Имеется ввиду то, что простые бизнес-пользователи могут самостоятельно создавать модели МО. Все это делается в классическом интерфейсе. Пользователю не надо знать языков программирования, он может в доступном графическом интерфейсе все это самостоятельно построить. 

Есть функционал так называемый Auto ML, когда данные просто подаются на вход и система сама говорит, какая модель, какой алгоритм лучше подойдет для этих данных. И это значительно сокращает время и трудозатраты и финансовые затраты на внедрение модели. Не надо содержать дорогой штат data-сайнтистов, бизнес может все это делать самостоятельно. 

И вторая идея назначения инструментов расширенной аналитики - это управление этими моделями. Мало создать эту модель. Она работает, но точность прогнозов может упасть, может понизиться точность модели. И внутри Polymatica ML есть платформа для управления жизненным циклом. Это модное слово означает то, что дается единый репозиторий модели, его можно отслеживать, можно отслеживать точность каждой версии модели, переобучать ее, переиспользовать. И, что немаловажно, что работать можно не только с моделями, построенными в Polymatica ML, но, если на предприятии есть модели, построенные самостоятельно, либо есть ряд моделей дата-сайнтистов, их можно загрузить в Polymatica ML и полноценно работать с ее жизненным циклом. 

Также в рамках Polymatica ML есть функционал, так называемый Polymatica Decision Manager. Это построение интеллектуальных систем поддержки принятия решений. В принципе Polymatica ML можно назвать единственной в России на текущий момент масштабируемой платформой полного цикла работы с данными. Т.е. от создания модели, от загрузки данных и заканчивая их мониторингом, публикацией и применением этих моделей.

Функционал Polymatica Decision Manager это построение цепочек принятия решений в графическом интерфейсе, возможность комбинирования модели ИИ и экспертных правил. Самым простым и понятным примером может служить построение скоринга с клиентом в банке, кредитного скоринга. 

Выстраивается блок-схема, заходит заявка клиента, сформированная не вручную, а по внешним и внутренним данным проверяется автоматически на предмет того, можно ли выдать кредит этому человеку, и на каких условиях. Многие банки сейчас этим пользуются. В основном это было построено на зарубежных системах. Сейчас мы тоже заканчиваем такую разработку, переходим на наши решения. Может быть кто-то пользовался кредитными услугами банка, знает, что сейчас можно в приложении банка подать заявку, и тебе в течение нескольких минут будет выдано решение. Это как раз делается при помощи такого рода интеллектуальных систем.

Типовые задачи для банков. Это прежде всего - клиентская аналитика, целевой маркетинг, прогнозная аналитика, управление рисками, стратегия кредитного скоринга, управление модельными рисками. Недавно мы выиграли конкурс в одном из банков, как раз на управление модельным риском. Также можно решать задачи по оптимизации задолженности, умный сбор задолженностей, система раннего предупреждения. Это может быть актуально не только для банков, но и для других структур, других отраслей, которые работают с клиентами, у которых бывают просроченные кредиты.

Выше представлен пример дашборда с прогнозом. Можно построить прогнозные модели и уже красиво вывести потом это на систему Polymatica дашборд и затем отслеживать этот прогноз, эти показатели.

В завершение хочу отметить наши победы в рейтингах. В 2022 году СNews дал нам первое место в рейтинге BI-платформ. Это доказывает то, что наша система проста, ею удобно пользоваться, и у нее очень низкий порог входа.

И резюмируя, хочу еще раз подчеркнуть преимущества платформы Polymatica. Это российская разработка. Входит в реестр отечественного ПО, входит в дорожную карту, все модули интегрированы друг с другом. Можно построить модели, и результат выполнения расчетной модели отобразится на дашбордах. Можно из Aplana построить дашборды, из дашборда обратно провалиться в Aplana, чтобы посмотреть, почему такие данные и откуда скачки, как данные повлияли друг на друга. Решение простое в освоении, ориентировано на простого бизнес-пользователя. Оно апробировано в больших проектах в том числе федерального масштаба. И решение открыто для добавления своих кастомных компонентов и решений, что мы всегда приветствуем, если вы наши партнеры ли заказчики и готовы развивать эту систему.

Согласен с правилами
Комментировать

Сейчас на главной

14 апр. 2025 г., 02:39:29
Ирина НИКУЛИНА: «EKF Impulse – это комплексный подход к проектированию, развертыванию и эксплуатации зарядной инфраструктуры»

Ирина Никулина, руководитель направления Электрозаправочные станции компании «Электрорешения» (представитель бренда EKF в России) отвечает на вопросы аналитического отдела iXBT.pro.

1 апр. 2025 г., 09:47:22
Линейно-интерактивный ИБП Ippon Pacific 1000: стабильная энергия для малого бизнеса

ИБП Ippon Pacific 1000 — устройство, которое отлично вписывается в сценарии использования, характерные для совсем небольшого офиса или рабочих мест предпринимателей-фрилансеров. Устройство эффективно защищает подключенное оборудование от перепадов напряжения и кратковременных отключений электропитания. Диапазон доступных настроек достаточен для разных сфер применения, ИБП будет одинаково уместно смотреться и на рабочем месте фрилансера, и в составе серверной стойки.

29 мар. 2025 г., 22:14:16
«Полигон»: оборудование для ИТ-инфраструктуры

Мероприятие научно-производственного предприятия «Полигон», ведущего российского производителя сетевого оборудования. В рамках встречи Иван Лялин, коммерческий директор ООО «ТВК Инзер» (ГК АО НПП «Полигон»), рассказал о структуре компании, разработках, особенностях производства, а также работе с партнёрами.

10 мар. 2025 г., 20:36:49
Проверьте вашу мотивацию движения к цели

Продолжаем разговор о технологии достижения результата.

6 мар. 2025 г., 11:46:57
IT-эксперт о потерянных $1,46 млрд Bybit: как технически стало возможным крупнейшее в истории крипто-ограбление

Криптовалютный рынок продолжает привлекать внимание как инвесторов, так и злоумышленников. Недавно произошел громкий инцидент в сфере безопасности, который поставил под угрозу репутацию одной из крупнейших криптобирж в мире — Bybit. По оценкам экспертов, хакеры смогли украсть рекордные $1,46 млрд. Это событие стало самой масштабной цифровой кражей в истории.

27 февр. 2025 г., 15:08:11
Российский рынок корпоративного ПО: перспективы роста и ключевые тренды

Российский рынок корпоративного программного обеспечения демонстрирует уверенный рост, который, согласно исследованию консалтинговой компании Strategy Partners, в среднем составит 24% ежегодно до 2030 года. В результате его объем превысит 700 млрд рублей, а общая емкость ИТ-рынка может достигнуть 7 трлн рублей. Ключевыми факторами роста остаются цифровая трансформация бизнеса, импортозамещение и активная государственная поддержка отрасли

20 февр. 2025 г., 21:40:23
Новости линейки IP-телефонов Flat-Phone

Мероприятие «Флат-ПРО», российского разработчика программно-аппаратных решений в области связи. Встреча посвящена итогам первого года продаж IP-телефонов компании, продуктовой линейке устройств «Флат-ПРО», а также планам и перспективам её развития в 2025 году.

17 февр. 2025 г., 17:44:19
PT NAD и PT Sandbox - защита от целевых атак

Мероприятие серии «ПРОдемо:Лаборатория программных решений» — специального проекта команды OCS Soft. В рамках встречи Дмитрий Щербатюк, пресейл-эксперт по информационной безопасности OCS, рассказал о системе поведенческого анализа сетевого трафика для обнаружения скрытых кибератак PT NAD и экспертной песочнице для защиты от сложного вредоносного ПО и угроз нулевого дня PT Sandbox.

13 февр. 2025 г., 12:06:48
Формула изменений: проверьте себя на готовность к изменениям

Продолжаем разговор о технологии достижения результата. В первой статье мы говорили об алгоритме постановки цели, который соответствует данным нейрофизиологии. Надеюсь, вам удалось качественно сформулировать свою актуальную цель.

6 февр. 2025 г., 19:36:17
Максим БРЫКСИН: "Эстетика, технологичность, последние тренды – как все это совместить в крупной бытовой технике»?

Актуальная задача для производителя, предлагающего свои продукты для пользователя и его дома, – предоставить максимально комфортные решения, которые не только упростят жизнь, но и подарят наслаждение от его использования. Какие новые решения могут быть реализованы у вас дома и помогут по-новому организовать ваше время и пространство рассказал Максим Брыксин, менеджер по продукту компании Midea.

30 янв. 2025 г., 14:43:18
Синергия железа и ПО: что появилось в результате партнерства двух крупных игроков российского рынка ИТ

С цифровизацией бизнеса и госуправления каждый год растут объемы обработки данных и потребности в ресурсах для их хранения. Российские вендоры благодаря наработанному опыту и профессиональным командам разрабатывают и производят передовые отечественные решения.

27 янв. 2025 г., 01:12:37
Как правильно сформулировать вашу актуальную цель, чтобы мозг понимал вас

Тема постановки цели и достижения результата очень популярна сейчас. И это не только модное веяние времени. Деятельность человека целенаправленна. Так звучит одна из аксиом науки праксеологии – теории о человеческой деятельности. Существует масса рекомендаций о постановке целей. Как понять, к каким советам нужно прислушаться?