Сравниваем два подхода: Нормализация НСИ с помощью ИИ и ручная очистка справочников

Направления: Искусственный интеллект, 1C
Продукты: 1С: MDM управление мастер-данными КОРП, 1С: MDM управление НСИ, БИТ. MDM
Услуги: Разработка методологии управления нормативно-справочной информацией (НСИ), Централизация управления НСИ
Бизнес-функции: Управление нормативно-справочной информацией

Дата публикации: 09.04.2026

Беспорядок в справочниках НСИ часто становится причиной ошибок в закупках, себестоимости и отгрузках.
Нормализация НСИ – это процесс, который автоматически приводит контрагентов, номенклатуру и материалы к единому виду.

В этой статье мы расскажем, как внедрить нормализацию НСИ, какие боли это решает, кто в компании должен быть бизнес-заказчиком, а также сравним два подхода – ручная нормализация и очистка справочников с помощью ИИ.

Зачем бизнесу нужна нормализация НСИ?

Представьте, что ваши склады, бухгалтерия, отдел закупок и производственный цех говорят на разных языках.

Для одного и того же материала у закупщиков — «Труба стальная 50х3», у кладовщика — «Труба 50/3», а в бухгалтерии — «Труба 50*3 ГОСТ 12345».

В итоге:

закупщики заказывают лишнее, так как не видят остатки,
производство простаивает из-за нехватки «правильной» трубы,
финансисты не могут свести себестоимость.

Проблемы НСИ, которые решает нормализация данных

Дублирование данных

Один контрагент как «ООО Ромашка», «Ромашка ООО», «Romashka Ltd»
Решение: единая уникальная запись на каждый объект

Неполнота и ошибки

В карточке материала нет единиц измерения, опечатки, нет классификации
Решение: полные верифицированные карточки справочников

Несогласованность между системами

В 1С:ERP — одни ставки НДС, в CRM — другие
Решение: единый «золотой» источник данных (Single Source of Truth)

Ключевые бизнес-эффекты от нормализации

Снижение затрат на закупки и логистику на 10–15%

Уменьшение ошибок в отгрузках и счетах на 30–40%

Ускорение закрытия отчётных периодов в 2–3 раза

Возможность достоверной аналитики и прогнозирования

Кто в компании является бизнес-заказчиком нормализации НСИ?

Внедрение нормализации НСИ редко инициирует ИТ-отдел. ИТ – это исполнитель. Настоящий бизнес-заказчик – это те, кто ежедневно сталкивается с последствиями неочищенных данных и теряет деньги.

Финансовый директор

Боль: неверная себестоимость, ошибки в отчётности
Зачем: достоверные данные для управления компанией

Коммерческий директор

Боль: ошибки в счетах, отгрузка не того товара, рекламации
Зачем: чёткая связь «номенклатура -> цена -> клиент»

ИТ-директор

Боль: «костыли», доработки и дорогие интеграции
Зачем: единый чистый источник данных, который легко интегрировать

Руководитель отдела закупок

Боль: лишние закупки из-за дублей, ручная сверка
Зачем: точная номенклатура для автоматического расчёта потребности

Директор по производству / главный технолог

Боль: простои из-за того, что «нужный» материал не находят в учётной системе
Зачем: быстрый доступ к актуальным данным о материалах

Таким образом, проект нормализации НСИ всегда должен стартовать как «бизнес-проект», а не ИТ-инициатива. Именно бизнес-заказчики формулируют требования к качеству данных и контролируют результат.

Подходы к нормализации НСИ: от ручного труда до искусственного интеллекта

Существует два принципиально разных подхода к наведению порядка в справочниках: классический «ручной» и современный с применением технологий искусственного интеллекта (ИИ).

Классический подход: ручная нормализация

Традиционный метод, который предполагает, что сотрудник (или команда) открывает справочник и построчно исправляет, дополняет, удаляет дубли, унифицирует наименования и классифицирует записи.

Как это выглядит на практике:

Выгрузка справочников (например, номенклатуры) в Excel.
Фильтрация, сортировка, поиск дублей по шаблонам (например, «ООО », « ООО»).
Создание правил: «Если в наименовании есть “гвоздь”, то отнести к группе “Крепёж”».
Ручное сопоставление строк с эталонными значениями.
Загрузка очищенных данных обратно в систему.

Преимущества:

Полный контроль над каждым изменением.
Не требует сложного ПО (достаточно Excel и времени).
Подходит для очень маленьких объёмов (до 1000 записей).

Недостатки

Становятся критичными для среднего и крупного бизнеса:

Огромные трудозатраты: на нормализацию 10 000–50 000 позиций может уйти несколько месяцев работы целого отдела.
Человеческий фактор: неизбежны пропущенные дубли, опечатки, несоответствия правилам.
Невозможность масштабирования: при каждом новом источнике данных или слиянии баз процесс повторяется заново.
Высокая стоимость: зарплаты сотрудников, время, отвлечение от основных задач.

Вывод

Ручная нормализация — это тупиковый путь для компаний, которые растут или имеют сложную ИТ-инфраструктуру. Она даёт временное улучшение, но не решает проблему системно.

Нормализация НСИ с помощью искусственного интеллекта

Современные технологии машинного обучения позволяют автоматизировать до 90–95% работ по нормализации справочников. Искусственный интеллект учится на примерах, выявляет закономерности и самостоятельно приводит данные к порядку.

Что включает ИИ-нормализация НСИ

Дедупликация
Классификация и группировка
Очистка атрибутов (единицы измерения, ставки НДС)
Обогащение данными (ИНН, ОКПО, ТН ВЭД)
Сопоставление с MDM-системой

Как работает ИИ-нормализация (общая схема)

Загрузка исходных данных из любых источников (1С, SAP, Excel, CRM).
Автоматическое обнаружение дублей — даже если они написаны по-разному («Ромашка ООО» vs «ООО Ромашка»).
Классификация и группировка – ИИ относит запись к нужной группе справочника (например, «Сырьё», «Тара», «Готовая продукция»).
Очистка и нормализация атрибутов – приведение единиц измерения, ставок НДС, стран происхождения к эталонному виду.
Обогащение данными – ИИ может подтянуть недостающие реквизиты из внешних баз (ИНН, ОКПО, коды ТН ВЭД).
Сопоставление с мастер-данными – каждая запись привязывается к «золотой» записи в корпоративной MDM-системе.

Преимущества ИИ-подхода

Скорость: часы вместо месяцев
Качество: без пропусков и усталости
Масштабируемость: миллионы записей
Экономия: на порядок дешевле ручного труда
Воспроизводимость: регулярный запуск

Ограничения

Нужно обучить на 500–2000 размеченных примеров
Сложные данные могут требовать донастройки
Человек нужен для контроля сложных случаев

Вывод

ИИ-нормализация – единственный экономически оправданный способ для компаний с объёмом справочников от 10 000 записей.

Пример нормализации номенклатуры с помощью ИИ

До

Гвозд 3,0х40 строит
Шуруп-саморез 4.2х51 бел цинк
Болт М10х1.5-6gх70.58
ООО Ромашка ИНН 12345

После

Гвоздь строительный 3.0х40
Шуруп-саморез 4.2х51, цинк белый
Болт М10х1.5-6gх70.58 (класс прочности 5.8)
ООО «Ромашка» (ИНН 1234567890)

Как внедрить нормализацию НСИ в компании: пошаговый план

Провести аудит дублей в 1С / SAP
Назначить бизнес-заказчика (не ИТ-директора)
Определить приоритетные справочники (номенклатура, контрагенты, материалы)
Выбрать подход — ручной (разово, <1000) или ИИ (регулярно, >10 000)
Выбрать инструмент ИИ-нормализации (например, решение от «Первый Бит»)
Запустить пилот на 1000 записей и оценить результат
Утвердить регламент — кто, как и с какой периодичностью проводит нормализацию
Внедрить систему управления НСИ (MDM) для исключения хаоса после нормализации (например, БИТ. МДМ)

Заключение

Нормализация нормативно-справочной информации — это не разовая акция, а непрерывный процесс управления качеством данных. Она напрямую влияет на точность учёта, скорость решений и финансовые результаты.

Ручной подход остался в прошлом. Лидеры рынка используют ИИ для автоматической очистки, обогащения и поддержания справочников.

Начните с малого: выберите один «больной» справочник и попробуйте нормализовать его современным методом.

Виктор более 15 лет работает в области автоматизации бизнеса и сопровождения информационных систем на базе продуктов 1С Предприятие. Имеет большой практический опыт в качестве ведущего программиста, архитектора, руководителя группы и отделов разработки программных продуктов и опыт ведения международных проектов.

Сравниваем два подхода: Нормализация НСИ с помощью ИИ и ручная очистка справочников

Зачем бизнесу нужна нормализация НСИ?