Как роботы помогают прокачать BI-систему

Что может пойти не так при работе с дашбордами

При работе с дашбордами в PIX BI строятся модели данных из наборов данных загруженных на основании различных источников данных.

При построении модели данных можно увидеть свойство связи compatibility – оно показывает совместимость по связи между двумя наборами.

При работе с моделью данных возможны ситуации с некорректной или частичной загрузкой данных из источников, что в последствии отразится на актуальности аналитик отражаемых на дашбордах приложения, что приведет к тому, что управленческие решения могут приниматься неверно.

При некорректной загрузке данных одним из показателей, что что-то пошло не так или загрузка не произошла, является понижение показателя совместимости между таблицами.

Пример

Есть набор данных «Заказы» и набор данных «Пользователи» и, в случае если данные по заказам будут обновлены в источнике данных, а по «Пользователям» выйдет какая-либо ошибка – процент совместимости снизится за счет наличия в таблице заказов строк по которым нет соответствия по пользователю.

Как мы решили проблему

Для информирования о снижении процента совместимости мы решили реализовать скрипт по оповещению ответственных сотрудников.

PIX BI позволяет производить работу методами API. При работе методами API в PIX BI необходимо передавать токен, генерируемый для работы на основании логина и пароля. Передача токена происходит при отправлении каждого запроса. Получение токена один из методов, используемых в любых решениях по взаимодействию через API с PIX BI.

Коротко сориентируем вас о других методах, примененных в решении по проверке показателя совместимости:

По итогу реализации имеем инструмент, на вход которого подается номер директории и наименование модели, на выход получается информация о совместимости по каждой связи модели.

Пример

Входные данные:

ID_Directory = «7» — ID директории, в которой расположено приложение

Model_Name= «test_model_generat1» — имя модели данных (приложения)

Результат работы:

При использовании в боевых условиях данного инструмента, возможна встройка его в процесс проверки после загрузки данных по источникам и информирования в случае снижения процента совместимости по какой-либо или конкретной связи ответственных сотрудников.

В чем польза

Данный инструмент помогает:

• сократить время на ручные проверки совместимостей при загрузках данных;
• минимизировать время отображения на дашбордах некорректной информации;
• оперативно реагировать на повышение показателя несовместимости данных.

При разработке инструмента проверки совместимости связей модели данных была выдвинута еще одна задача – кейс по реализации инструмента помощника-построителя связей в модели на основании добавленных в модель наборов данных.

На текущий момент при построении модели данных в PIX BI нет возможности автоматического построения связей на основании используемых наборов данных, как например в зарубежной платформе Qlick Sence. Пользователи, которые впервые работают с BI платформой или привыкли, что связи строятся автоматически, отмечают что данный функционал очень полезен.

При реализации был подробно рассмотрен перечень методов API по работе со связями. PIX BI предлагает большое количество различных методов API, покрывающих так или иначе большинство операций выполняемых администратором или пользователем непосредственно в интерфейсе платформы.

Для реализации инструмента в дополнение к вышеописанным были использованы методы:

Пример

Входные данные:

ID_Directory = «11» — ID директории, в которой расположено приложение

Model_Name= «test_model_generate2»- имя модели данных (приложения)

ProcentComb=70 – нижняя граница для построения связи – те связи, которые при построении будут иметь процент совместимости ниже заданного значения будут считаться построенными некорректно и будут удалены.

В интерфейсе PIX BI на вкладке с моделью данных расположили семь наборов данных

Результат работы

При проверке работы инструмента по генерации связей были проведены тесты с различными объемами моделей и наборов данных (20 тестов). Было определено, что скорость работы не зависит от объемов самой выборки – количества строк в наборах данных, а зависит от количества наборов данных и количества столбцов в них. Время генерации связей в модели данных экспоненциально растет по отношению к количеству столбцов в наборах данных.

Графики зависимостей

Графики по количеству наборов данных в модели

График относительно общего количества столбцов, участвующих в построении связей в модели данных

Данный инструмент целесообразно использовать в качестве помощника в построении связей между моделями организациям, которые располагают большими данными для аналитики – как при первичном построении, так и для проверки наличия ненайденных соответствий. Применение возможно в случаях, когда явные зависимости невозможно определить без тщательной зрительной проверки данных, например, когда наименования столбцов заданы в формате кодовых аббревиатур (выгрузки технических таблиц) или имеется узкоспециализированная терминология с большим количеством синонимичных наименований.

Как и описывалось ранее методы API по работе с PIX BI довольно обширны и позволяют облегчить работу администратора или пользователя в выполнении рутинных задач или построении отчетности.

Например, методы API можно использовать для решения задач:

• Добавление дубликатов общедоступных приложений в персональную директорию конкретного пользователя. Задача была бы полезна при найме нового сотрудника для предоставления ему доступов к дашбордам согласно ролевой модели;
• Получение информации по событиям посещаемости, информационной безопасности, вызовам по API и т.д. в формате отчета на электронную почтудругие ресурсы. Задача была бы полезна администраторам для возможности проверки информации без входа в интерфейс.
• Создать, изменить или удалить календарь, получение и установка расписаний копирования данных, проверить связь с внутренним хранилищем иили источниками данных, проведение копирования данных из внешнего источника во внутреннее хранилище. Было бы полезно администраторам для оперативного внесения изменений без необходимости интерфейсной работы.
• Получение информации по лицензии, назначение и отзыв лицензий. Методы могут быть применимы в случаях необходимости предоставления информации тех. поддержке, при найме или увольнении сотрудников.
• Получение информации о пользователях, их созданиеизменение, аннулирование токена (выход из системы), загрузка пользователей из AD. Задача была бы полезна также при найме нового сотрудника или увольнениипереводе текущего пользователя.

Решения некоторых из этих задач вполне может вписаться во временные рамки предоставляемой вендором вместе с PIX BI бесплатной лицензии PIX RPA. Данный тандем позволяет повысить качество решений и внедрить в компании передовые технологии, оптимизирующие ручные операции. Совокупность технологий позволяет минимизировать количество необходимых лицензий и использовать уже приобретенные по максимуму.

Мы плотно работаем с технологиями BI и RPA и помогаем внедрять неочевидные, но полезные инструменты для решения ваших задач в работе с PIX BI и не только.

Получите консультацию от экспертов проектного офиса NFP компании Первый Бит