Как роботы помогают прокачать BI-систему

Рассказываем об инструменте для построения связей в модели данных

PIX BI на текущий момент является стремительно развивающимся продуктом в сфере систем анализа данных. Платформа используется как отечественное решение, представляющее конкурентные функциональные возможности на рынке во время всеобщего импортозамещения.

Что может пойти не так при работе с дашбордами

При работе с дашбордами в PIX BI строятся модели данных из наборов данных загруженных на основании различных источников данных.

При построении модели данных можно увидеть свойство связи compatibility – оно показывает совместимость по связи между двумя наборами.

При работе с моделью данных возможны ситуации с некорректной или частичной загрузкой данных из источников, что в последствии отразится на актуальности аналитик отражаемых на дашбордах приложения, что приведет к тому, что управленческие решения могут приниматься неверно.

При некорректной загрузке данных одним из показателей, что что-то пошло не так или загрузка не произошла, является понижение показателя совместимости между таблицами.

Пример

Есть набор данных «Заказы» и набор данных «Пользователи» и, в случае если данные по заказам будут обновлены в источнике данных, а по «Пользователям» выйдет какая-либо ошибка – процент совместимости снизится за счет наличия в таблице заказов строк по которым нет соответствия по пользователю.

Как мы решили проблему

Для информирования о снижении процента совместимости мы решили реализовать скрипт по оповещению ответственных сотрудников.

PIX BI позволяет производить работу методами API. При работе методами API в PIX BI необходимо передавать токен, генерируемый для работы на основании логина и пароля. Передача токена происходит при отправлении каждого запроса. Получение токена один из методов, используемых в любых решениях по взаимодействию через API с PIX BI.

Коротко сориентируем вас о других методах, примененных в решении по проверке показателя совместимости:

Методы API для проверки совместимости:

• Получить список приложений — получение ID приложения по коду директории и наименованию модели данных
• Получить список связей между наборами данных — получение всех ID связей в модели данных
• Получить совместимость связи — получение показателя совместимости по каждой связи
• Получить набор данных — обогащение информации для полного анализа

По итогу реализации имеем инструмент, на вход которого подается номер директории и наименование модели, на выход получается информация о совместимости по каждой связи модели.

Пример работы инструмента

Входные данные:

• ID_Directory = «7» — ID директории с приложением
• Model_Name= «test_model_generat1» — имя модели данных

Результат работы показывает совместимость по всем связям в модели.

При использовании в боевых условиях данного инструмента, возможна встройка его в процесс проверки после загрузки данных по источникам и информирования в случае снижения процента совместимости.

В чем польза

Данный инструмент помогает:

• сократить время на ручные проверки совместимостей при загрузках данных;
• минимизировать время отображения на дашбордах некорректной информации;
• оперативно реагировать на повышение показателя несовместимости данных.

При разработке инструмента проверки совместимости связей модели данных была выдвинута еще одна задача – кейс по реализации инструмента помощника-построителя связей в модели на основании добавленных в модель наборов данных.

На текущий момент при построении модели данных в PIX BI нет возможности автоматического построения связей на основании используемых наборов данных. Пользователи, которые впервые работают с BI платформой или привыкли, что связи строятся автоматически, отмечают что данный функционал очень полезен.

Для реализации инструмента построителя связей были использованы дополнительные методы API:

Методы API для построения связей:

• Получить список наборов данных приложения — получение перечня наборов данных для связывания
• Записать связь между наборами данных — первичное создание связи по столбцам
• Удалить связь между наборами данных — удаление связи при недостаточной совместимости
• Изменить связь между наборами данных — изменение типа связи

Пример работы построителя связей

Входные данные:

• ID_Directory = «11» — ID директории с приложением
• Model_Name= «test_model_generate2» — имя модели данных
• ProcentComb=70 – минимальный процент совместимости для построения связи

Инструмент автоматически строит связи между наборами данных с совместимостью выше заданного порога.

При тестировании инструмента было определено, что скорость работы зависит от количества наборов данных и количества столбцов в них. Время генерации связей экспоненциально растет по отношению к количеству столбцов в наборах данных.

Другие возможности API PIX BI

Методы API PIX BI позволяют решать различные задачи:

• Добавление дубликатов приложений в персональные директории пользователей
• Получение отчетов по событиям посещаемости и безопасности
• Управление календарями и расписаниями копирования данных
• Работа с лицензиями и пользователями
• Интеграция с Active Directory

Решения некоторых из этих задач можно реализовать в рамках бесплатной лицензии PIX RPA, что позволяет оптимизировать ручные операции и максимально использовать приобретенные лицензии.

Автор статьи — Анжелика Абрамова

Разработчик отдела внедрения BI и RPA проектного офиса NFP компании Первый Бит

Получите консультацию от экспертов проектного офиса NFP компании Первый Бит