Как роботы помогают прокачать BI-систему

  • Дата публикации: 27.11.2023

Рассказываем об инструменте для построения связей в модели данных

PIX BI на текущий момент является стремительно развивающимся продуктом в сфере систем анализа данных. Платформа используется как отечественное решение, представляющее конкурентные функциональные возможности на рынке во время всеобщего импортозамещения.

Что может пойти не так при работе с дашбордами

При работе с дашбордами в PIX BI строятся модели данных из наборов данных загруженных на основании различных источников данных.

При построении модели данных можно увидеть свойство связи compatibility – оно показывает совместимость по связи между двумя наборами.

При работе с моделью данных возможны ситуации с некорректной или частичной загрузкой данных из источников, что в последствии отразится на актуальности аналитик отражаемых на дашбордах приложения, что приведет к тому, что управленческие решения могут приниматься неверно.

При некорректной загрузке данных одним из показателей, что что-то пошло не так или загрузка не произошла, является понижение показателя совместимости между таблицами.

Пример

Есть набор данных «Заказы» и набор данных «Пользователи» и, в случае если данные по заказам будут обновлены в источнике данных, а по «Пользователям» выйдет какая-либо ошибка – процент совместимости снизится за счет наличия в таблице заказов строк по которым нет соответствия по пользователю.

Как мы решили проблему

Для информирования о снижении процента совместимости мы решили реализовать скрипт по оповещению ответственных сотрудников.

PIX BI позволяет производить работу методами API. При работе методами API в PIX BI необходимо передавать токен, генерируемый для работы на основании логина и пароля. Передача токена происходит при отправлении каждого запроса. Получение токена один из методов, используемых в любых решениях по взаимодействию через API с PIX BI.

Коротко сориентируем вас о других методах, примененных в решении по проверке показателя совместимости:

Наименование метода API Для чего использовался метод в решении
Получить список приложений Получение ID приложения по коду директории и наименованию модели данных для проверки совместимости
Получить список связей между наборами данных в приложении Получение всех ID связей, присутствующих в модели данных для последующей проверки (получение ID связи, ID наборов и столбцов, по которым построена связь и типу связи)
Получить совместимость связи между наборами данных в приложении Получение искомой совместимости по каждой ID связи
Получить набор данных Обогащение информации полученной по методам выше для наиболее полной информации (информация по наименованию набора, наименованию столбца)

 

По итогу реализации имеем инструмент, на вход которого подается номер директории и наименование модели, на выход получается информация о совместимости по каждой связи модели.

Пример

Входные данные:

ID_Directory = «7» — ID директории, в которой расположено приложение

Model_Name= «test_model_generat1» — имя модели данных (приложения)

Результат работы:

При использовании в боевых условиях данного инструмента, возможна встройка его в процесс проверки после загрузки данных по источникам и информирования в случае снижения процента совместимости по какой-либо или конкретной связи ответственных сотрудников.

В чем польза

Данный инструмент помогает:

  • сократить время на ручные проверки совместимостей при загрузках данных;
  • минимизировать время отображения на дашбордах некорректной информации;
  • оперативно реагировать на повышение показателя несовместимости данных.

При разработке инструмента проверки совместимости связей модели данных была выдвинута еще одна задача – кейс по реализации инструмента помощника-построителя связей в модели на основании добавленных в модель наборов данных.

На текущий момент при построении модели данных в PIX BI нет возможности автоматического построения связей на основании используемых наборов данных, как например в зарубежной платформе Qlick Sence. Пользователи, которые впервые работают с BI платформой или привыкли, что связи строятся автоматически, отмечают что данный функционал очень полезен.

При реализации был подробно рассмотрен перечень методов API по работе со связями. PIX BI предлагает большое количество различных методов API, покрывающих так или иначе большинство операций выполняемых администратором или пользователем непосредственно в интерфейсе платформы.

Для реализации инструмента в дополнение к вышеописанным были использованы методы:

Наименование метода API Для чего использовался метод в решении
Получить список наборов данных приложения Получение по ID модели данных перечня наборов данных, которые нужно связать
Записать связь между наборами данных в приложении Первичное создание связи между наборами данных по столбцам
Удалить связь между наборами данных в приложении Удаление связи при недостаточной совместимости при построении для возможности последующего построения связи между текущими наборами данных
Изменить связь между наборами данных в приложении Вторичная работа по построению связи — изменению типа связи

 

Пример

Входные данные:

ID_Directory = «11» — ID директории, в которой расположено приложение

Model_Name= «test_model_generate2»- имя модели данных (приложения)

ProcentComb=70 – нижняя граница для построения связи – те связи, которые при построении будут иметь процент совместимости ниже заданного значения будут считаться построенными некорректно и будут удалены.

В интерфейсе PIX BI на вкладке с моделью данных расположили семь наборов данных

Результат работы

При проверке работы инструмента по генерации связей были проведены тесты с различными объемами моделей и наборов данных (20 тестов). Было определено, что скорость работы не зависит от объемов самой выборки – количества строк в наборах данных, а зависит от количества наборов данных и количества столбцов в них. Время генерации связей в модели данных экспоненциально растет по отношению к количеству столбцов в наборах данных.

Графики зависимостей

Графики по количеству наборов данных в модели

График относительно общего количества столбцов, участвующих в построении связей в модели данных

Данный инструмент целесообразно использовать в качестве помощника в построении связей между моделями организациям, которые располагают большими данными для аналитики – как при первичном построении, так и для проверки наличия ненайденных соответствий. Применение возможно в случаях, когда явные зависимости невозможно определить без тщательной зрительной проверки данных, например, когда наименования столбцов заданы в формате кодовых аббревиатур (выгрузки технических таблиц) или имеется узкоспециализированная терминология с большим количеством синонимичных наименований.

Как и описывалось ранее методы API по работе с PIX BI довольно обширны и позволяют облегчить работу администратора или пользователя в выполнении рутинных задач или построении отчетности.

Например, методы API можно использовать для решения задач:

  • Добавление дубликатов общедоступных приложений в персональную директорию конкретного пользователя. Задача была бы полезна при найме нового сотрудника для предоставления ему доступов к дашбордам согласно ролевой модели;
  • Получение информации по событиям посещаемости, информационной безопасности, вызовам по API и т.д. в формате отчета на электронную почтудругие ресурсы. Задача была бы полезна администраторам для возможности проверки информации без входа в интерфейс.
  • Создать, изменить или удалить календарь, получение и установка расписаний копирования данных, проверить связь с внутренним хранилищем иили источниками данных, проведение копирования данных из внешнего источника во внутреннее хранилище. Было бы полезно администраторам для оперативного внесения изменений без необходимости интерфейсной работы.
  • Получение информации по лицензии, назначение и отзыв лицензий. Методы могут быть применимы в случаях необходимости предоставления информации тех. поддержке, при найме или увольнении сотрудников.
  • Получение информации о пользователях, их созданиеизменение, аннулирование токена (выход из системы), загрузка пользователей из AD. Задача была бы полезна также при найме нового сотрудника или увольнениипереводе текущего пользователя.

Решения некоторых из этих задач вполне может вписаться во временные рамки предоставляемой вендором вместе с PIX BI бесплатной лицензии PIX RPA. Данный тандем позволяет повысить качество решений и внедрить в компании передовые технологии, оптимизирующие ручные операции. Совокупность технологий позволяет минимизировать количество необходимых лицензий и использовать уже приобретенные по максимуму.

Мы плотно работаем с технологиями BI и RPA и помогаем внедрять неочевидные, но полезные инструменты для решения ваших задач в работе с PIX BI и не только.

 

Автор статьи — Анжелика Абрамова
Разработчик отдела внедрения BI и RPA проектного офиса NFP компании Первый Бит

 

 

Получите консультацию от экспертов проектного офиса NFP компании Первый Бит

 

  • Продукты
  • Услуги
  • Школа NFP
  • О компании
  • Карьера
Оставить заявку на консультацию
Услуги
Школа NFP
Прошедшие и предстоящие события школы
Вебинары офиса NFP в январе
Вебинары офиса NFP в январе
Прокачайте свои навыки на полезных вебинарах с топовыми экспертами Школы NFP.
10.01.2024
Вебинары офиса NFP в декабре
Вебинары офиса NFP в декабре
Прокачайте свои навыки на полезных вебинарах с топовыми экспертами Школы NFP.
08.12.2023
Вебинары офиса NFP в октябре
Вебинары офиса NFP в октябре
Прокачайте свои навыки на полезных вебинарах с топовыми экспертами Школы NFP.
09.10.2023
Вебинары офиса NFP в августе
Вебинары офиса NFP в августе
Прокачайте свои навыки на полезных вебинарах с топовыми экспертами Школы NFP.
01.08.2023
Вебинары офиса NFP в июле
Вебинары офиса NFP в июле
Прокачайте свои навыки на полезных вебинарах с топовыми экспертами Школы NFP.
04.07.2023
Вебинары офиса NFP в июне
Вебинары офиса NFP в июне
Прокачайте свои навыки на полезных вебинарах Школы NFP
26.05.2023
Вебинары офиса NFP в мае
Вебинары офиса NFP в мае
В мае в школе NFP вас ждут вебинары про 1С, технологии BI и RPA для ритейла и секреты быстрого сценарного моделирования.
15.05.2023
Вебинары офиса NFP в апреле
Вебинары офиса NFP в апреле
Апрельские вебинары школы NFP посвящены блоку «Корпоративные закупки» в 1C:УХ и нашему инструменту «Альтернативное АРМ казначея» для эффективной работы казначеев в 1С:УХ.
15.04.2023