Сравниваем два подхода: Нормализация НСИ с помощью ИИ и ручная очистка справочников
Беспорядок в справочниках НСИ часто становится причиной ошибок в закупках, себестоимости и отгрузках.
Нормализация НСИ — это процесс, который автоматически приводит контрагентов, номенклатуру и материалы к единому виду.
В этой статье мы расскажем, как внедрить нормализацию НСИ, какие боли это решает, кто в компании должен быть бизнес-заказчиком, а также сравним два подхода — ручная нормализация и очистка справочников с помощью ИИ.
Зачем бизнесу нужна нормализация НСИ?
Представьте, что ваши склады, бухгалтерия, отдел закупок и производственный цех говорят на разных языках.
Для одного и того же материала у закупщиков — «Труба стальная 50х3», у кладовщика — «Труба 50/3», а в бухгалтерии — «Труба 50*3 ГОСТ 12345».
В итоге:
- закупщики заказывают лишнее, так как не видят остатки,
- производство простаивает из-за нехватки «правильной» трубы,
- финансисты не могут свести себестоимость.
Проблемы НСИ, которые решает нормализация данных
Дублирование данных
- Один контрагент как «ООО Ромашка», «Ромашка ООО», «Romashka Ltd»
- Решение: единая уникальная запись на каждый объект
Неполнота и ошибки
- В карточке материала нет единиц измерения, опечатки, нет классификации
- Решение: полные верифицированные карточки справочников
Несогласованность между системами
- В 1С:ERP — одни ставки НДС, в CRM — другие
- Решение: единый «золотой» источник данных (Single Source of Truth)
Ключевые бизнес-эффекты от нормализации
Кто в компании является бизнес-заказчиком нормализации НСИ?
Внедрение нормализации НСИ редко инициирует ИТ-отдел. ИТ — это исполнитель. Настоящий бизнес-заказчик — это те, кто ежедневно сталкивается с последствиями неочищенных данных и теряет деньги.
Финансовый директор
- Боль: неверная себестоимость, ошибки в отчётности
- Зачем: достоверные данные для управления компанией
Коммерческий директор
- Боль: ошибки в счетах, отгрузка не того товара, рекламации
- Зачем: чёткая связь «номенклатура -> цена -> клиент»
ИТ-директор
- Боль: «костыли», доработки и дорогие интеграции
- Зачем: единый чистый источник данных, который легко интегрировать
Руководитель отдела закупок
- Боль: лишние закупки из-за дублей, ручная сверка
- Зачем: точная номенклатура для автоматического расчёта потребности
Директор по производству / главный технолог
- Боль: простои из-за того, что «нужный» материал не находят в учётной системе
- Зачем: быстрый доступ к актуальным данным о материалах
Таким образом, проект нормализации НСИ всегда должен стартовать как «бизнес-проект», а не ИТ-инициатива. Именно бизнес-заказчики формулируют требования к качеству данных и контролируют результат.
Подходы к нормализации НСИ: от ручного труда до искусственного интеллекта
Существует два принципиально разных подхода к наведению порядка в справочниках: классический «ручной» и современный с применением технологий искусственного интеллекта (ИИ).
Классический подход: ручная нормализация
Традиционный метод, который предполагает, что сотрудник (или команда) открывает справочник и построчно исправляет, дополняет, удаляет дубли, унифицирует наименования и классифицирует записи.
Как это выглядит на практике:
- Выгрузка справочников (например, номенклатуры) в Excel.
- Фильтрация, сортировка, поиск дублей по шаблонам (например, «ООО », « ООО»).
- Создание правил: «Если в наименовании есть «гвоздь», то отнести к группе «Крепёж»».
- Ручное сопоставление строк с эталонными значениями.
- Загрузка очищенных данных обратно в систему.
Преимущества:
- Полный контроль над каждым изменением.
- Не требует сложного ПО (достаточно Excel и времени).
- Подходит для очень маленьких объёмов (до 1000 записей).
Недостатки
Становятся критичными для среднего и крупного бизнеса:
- Огромные трудозатраты: на нормализацию 10 000–50 000 позиций может уйти несколько месяцев работы целого отдела.
- Человеческий фактор: неизбежны пропущенные дубли, опечатки, несоответствия правилам.
- Невозможность масштабирования: при каждом новом источнике данных или слиянии баз процесс повторяется заново.
- Высокая стоимость: зарплаты сотрудников, время, отвлечение от основных задач.
Вывод
Ручная нормализация — это тупиковый путь для компаний, которые растут или имеют сложную ИТ-инфраструктуру. Она даёт временное улучшение, но не решает проблему системно.
Нормализация НСИ с помощью искусственного интеллекта
Современные технологии машинного обучения позволяют автоматизировать до 90–95% работ по нормализации справочников. Искусственный интеллект учится на примерах, выявляет закономерности и самостоятельно приводит данные к порядку.
Что включает ИИ-нормализация НСИ
- Дедупликация
- Классификация и группировка
- Очистка атрибутов (единицы измерения, ставки НДС)
- Обогащение данными (ИНН, ОКПО, ТН ВЭД)
- Сопоставление с MDM-системой
Как работает ИИ-нормализация (общая схема)
- Загрузка исходных данных из любых источников (1С, SAP, Excel, CRM).
- Автоматическое обнаружение дублей — даже если они написаны по-разному («Ромашка ООО» vs «ООО Ромашка»).
- Классификация и группировка — ИИ относит запись к нужной группе справочника (например, «Сырьё», «Тара», «Готовая продукция»).
- Очистка и нормализация атрибутов — приведение единиц измерения, ставок НДС, стран происхождения к эталонному виду.
- Обогащение данными — ИИ может подтянуть недостающие реквизиты из внешних баз (ИНН, ОКПО, коды ТН ВЭД).
- Сопоставление с мастер-данными — каждая запись привязывается к «золотой» записи в корпоративной MDM-системе.
Преимущества ИИ-подхода
- Скорость: часы вместо месяцев
- Качество: без пропусков и усталости
- Масштабируемость: миллионы записей
- Экономия: на порядок дешевле ручного труда
- Воспроизводимость: регулярный запуск
Ограничения
- Нужно обучить на 500–2000 размеченных примеров
- Сложные данные могут требовать донастройки
- Человек нужен для контроля сложных случаев
Вывод
ИИ-нормализация — единственный экономически оправданный способ для компаний с объёмом справочников от 10 000 записей.
Пример нормализации номенклатуры с помощью ИИ
- Гвозд 3,0х40 строит
- Шуруп-саморез 4.2х51 бел цинк
- Болт М10х1.5-6gх70.58
- ООО Ромашка ИНН 12345
- Гвоздь строительный 3.0х40
- Шуруп-саморез 4.2х51, цинк белый
- Болт М10х1.5-6gх70.58 (класс прочности 5.8)
- ООО «Ромашка» (ИНН 1234567890)
Как внедрить нормализацию НСИ в компании: пошаговый план
- Провести аудит дублей в 1С / SAP
- Назначить бизнес-заказчика (не ИТ-директора)
- Определить приоритетные справочники (номенклатура, контрагенты, материалы)
- Выбрать подход — ручной (разово, <1000) или ИИ (регулярно, >10 000)
- Выбрать инструмент ИИ-нормализации (например, решение от «Первый Бит»)
- Запустить пилот на 1000 записей и оценить результат
- Утвердить регламент — кто, как и с какой периодичностью проводит нормализацию
- Внедрить систему управления НСИ (MDM) для исключения хаоса после нормализации (например, БИТ. МДМ)
Заключение
Нормализация нормативно-справочной информации — это не разовая акция, а непрерывный процесс управления качеством данных. Она напрямую влияет на точность учёта, скорость решений и финансовые результаты.
Ручной подход остался в прошлом. Лидеры рынка используют ИИ для автоматической очистки, обогащения и поддержания справочников.
Начните с малого: выберите один «больной» справочник и попробуйте нормализовать его современным методом.
