Обмен данными между 1С: УПП и 1С: ERP

Содержание

• Типовые механизмы обмена не гарантируют отсутствие проблем
• Ошибка синхронизации
• Важность аналитического подхода к настройкам обмена
• Невозможность организации прямого обмена между 1С: УПП и 1С:ERP
• Новый формат обмена данными через EnterpriseData
• Альтернативный способ — обмен с использованием правил конвертации данных XML
• На чем основывается выбор формата обмена между УПП и ERP
• Предварительная подготовка к обмену
• Чистота и структурированность данных — залог успешной синхронизации
• Ключевой момент в обмене — механизм идентификации
• Обработка ошибок и логирование обмена
• Зависимость производительности обмена от объёмов данных
• Применение принципа ETL для сложных интеграций
• Как поступать при обновлении конфигураций
• Советы, как эффективно вести документацию обмена
• Упорядочиваем список задач по внедрению обмена данными между 1С: УПП и 1С: ERP

Типовые механизмы обмена не гарантируют отсутствие проблем

Компания 1С старается предусмотреть и погасить «в зародыше» возможные сбои и неувязки в процессе обмена данными между конфигурациями. Внедряемые разработчиком типовые механизмы, казалось бы, способны избавить пользователя от лишней головной боли. Ведь он вправе рассчитывать на безукоризненную работу компьютера при автоматическом режиме обмена данными.

Однако теория и практика далеко не всегда «шагают в одну ногу». Теоретически обычно всё гладко. А на пути реализации задач попадаются различные «камни преткновения», о которые иногда больно спотыкаешься:

• различия в структуре метаданных;
• конфликты при синхронизации справочников и документов.

Конечный результат рискует пострадать от возникших дублей, ошибок, утраты важной информации. Необходимо всегда «держать ушки на макушке». А именно: контролировать качество, полноту данных, наличие уникальных идентификаторов.

Ошибка синхронизации

Появление сообщения об ошибке или значка «Проблемы синхронизации» — частое явление при автоматическом обмене данными между 1С: УПП и 1С: ERP. Казус может быть, как связан, так и нет, непосредственно с элементами, которые принимают участие в обмене: документы, справочники. В первом случае, к примеру, документ ссылается на какой-то справочник, а тот еще просто не успел загрузиться в Приемник.

В другом случае, например, состав реквизитов объектов в базе-Источнике и базе-Приемнике отличается. Из-за расхождений во время сеанса миграции теряется определенная часть информации.

Возможно, релизы конфигураций 1С не соответствуют. Или неверно настроен отбор либо маппинг объектов.

Также негативно влияет сбой подключения к одной из баз, участвующих в сеансе синхронизации.

Важность аналитического подхода к настройкам обмена

Каждый конкретный случай обмена нуждается в особом внимании пользователя или программиста. К последнему стоит обратиться без раздумий, если имеете дело с нестандартными или с сильно доработанными базами.

Специалист со знанием дела глубоко проанализирует структуру данных в конфигурациях – участницах предстоящего обмена. Если сочтет, что необходимо создать дополнительные обработки, решит эту задачу. А также использует расширения, сглаживающие различия между программами 1С: УПП и 1С: ERP.

Невозможность организации прямого обмена между 1С: УПП и 1С:ERP

Настройки обмена данными далеко не всегда являются легкими и доступными для рядового исполнителя. Даже если он по профессии не бухгалтер или кадровик, а программист с небольшим опытом. Существующие в реалиях фундаментальные различия между конфигурациями 1С: УПП и 1С:ERP усложняют решение проблемы синхронизации между ними.

Загвоздка в том, что это похожие, но не одинаковые системы. Они различаются в принципах работы. К примеру, в 1С: УПП управленческий и регламентированный учет всегда велись раздельно. В 1С:ERP другой принцип работы. Вся хозяйственная деятельность предприятия отражается на вкладке оперативно-технический учет. А учет склада в 1С:ERP, в отличие от УПП, подразумевается как дополнительная опция. О ней не надо забывать при подключении синхронизации.

Простое ведение НСИ в 1С:ERP требует адаптации логики из 1С: УПП. В общем, различия в архитектуре, бизнес-логике, названиях объектов, реквизитах, структуре требуют особо внимательного подхода к синхронизации.

Новый формат обмена данными через EnterpriseData

Сравнительно новый механизм, основанный на «XDTO пакетах» (преобразованных схемах XML), быстро занял свою нишу в обменах между типовыми конфигурациями. Универсальный формат EnterpriseData, благодаря своим неоспоримым преимуществам, используется для организации синхронизации между 1С: УПП и 1С: ERP.

Преимущества можно охарактеризовать следующим образом:

1. Знание структуры данных Приемника, чтобы сформировать файл с данными, не нужно.
2. Формализованный метод передачи обеспечивает стабильную структуру, валидацию на уровне схемы.
3. Корректировка алгоритма выгрузки и загрузки данных понадобится лишь, когда прекратится поддержка используемой версии формата у второго участника обмена.
4. Можно в автоматическом режиме сопоставлять типы.
5. Когда включаются обновления, стабильность работы не нарушается.

В этой радужной картине есть своя «ложка дёгтя»:

• Необходимо уметь детально настраивать схемы.
• Передача нестандартных данных, в силу особенностей структуры универсального формата, весьма затруднительна. Сложные объекты внедряются туго, с большими затратами.

Альтернативный способ — обмен с использованием правил конвертации данных XML

Свои плюсы и минусы имеются также и у альтернативы универсальному формату ED (EnterpriseData). Речь в данном случае идет о старом добром механизме, который давно работает с системами 1С. А именно — используются Правила конвертации данных XML. 

Пользователи уважают и не торопятся отказываться от хорошо проверенного метода в силу имеющихся у него преимуществ:

• Дает возможность гибкого преобразования структуры объектов.
• Можно ручным способом сопоставлять поля, обрабатывать данные по сценариям.
• Обладает удобной визуальной настройкой.
• Ему под силу обрабатывать сложную логику и отладки.

В то же время механизм не лишен отрицательных моментов. Они заключаются в высокой зависимости от структуры конфигурации. При его использовании следует постоянно поддерживать правила при изменении баз.

На чем основывается выбор формата обмена между УПП и ERP

Прежде чем выбрать правильный формат, надо конкретизировать задачу, чтобы не только упростить процесс перехода, но и добиться максимального эффекта.

Четко сформулированное техническое задание содержит главные критерии:

1. Вам нужно интегрироваться с внешними системами — лучше всего подойдет EnterpriseData.
2. Для миграции данных из одной конфигурации платформы 1С в другое решение той же платформы, с глубокой трансформацией объектов, используют Правила конвертацииданных XML. 
3. В третьем случае подходит гибридная схема: сначала данные нормализуют в формате XDTO, а затем обрабатывают через правила.

В общем, всё как в песне: каждый выбирает для себя способ самостоятельно, осознанно, в соответствии с имеющейся технической задачей. Благо, есть альтернатива.

Предварительная подготовка к обмену

Переход с системы 1С: УПП на работу с конфигурацией 1С: ERP не является легкой увеселительной прогулкой. Реалии таковы, что сложностей может возникнуть немало. Чтобы уменьшить их количество, надо тщательно подготовить почву:

• внимательно проанализировать бизнес-процессы;
• составить детальный перечень объектов для обмена, включающий справочники, документы, регистры;
• сформировать таблицу соответствия объектов.

Должная предварительная подготовка позволит снизить до минимума риски частичной или некорректной передачи данных. В противном случае неизбежно возникнут ошибки, сбои в учёте, искажение управленческой информации.

Чистота и структурированность данных — залог успешной синхронизации

Выше мы уже озвучили, какие обстоятельства повлекут в дальнейшем неудачи в переходе. Чтобы облегчить процесс миграции, надо провести предварительный аудит данных в 1С: УПП. Если накопилось много доработок и усовершенствований специального назначения, с некоторыми следует расстаться. Почистить, так сказать «закрома Родины». Попросту удалить либо унифицировать записи, с переносом которых могут возникнуть проблемы.

Убрать всё лишнее из базы: дубли, пустые значения в обязательных полях, противоречия в форматах.

Следует помнить о более строгих требованиях, предъявляемых системой 1С: ERP к качеству и валидации информации.

Ключевой момент в обмене — механизм идентификации

Платформой 1С предлагается широкий спектр встроенных механизмов интеграции. При любом варианте приоритетной задачей является подход к идентификации объектов между участниками обмена.

Опираясь на практику, можно назвать:

• сравнение по наименованию, артикулу, ИНН;
• применение GUID или Уникального Кода.

Когда предстоит осуществить синхронизацию между системами 1С: УПП и 1С: ERP, зачастую может понадобиться реализовать кастомную логику сопоставления. Ограничимся такими примерами:

• поиск контрагента по комбинации ИНН+КПП;
• справочнику «Номенклатура» со всеми его подчиненными товару справочниками потребуется поиск по внешнему коду.

Качественно построенная идентификация непосредственно влияет на возникновение дублей и правильные связи между объектами.

Обработка ошибок и логирование обмена

При организации обмена данными возникают разные нештатные ситуации, когда на экране монитора вдруг высвечивается сообщение об ошибке. Причины и пути исправления у них отличаются.

Для обеспечения надёжности синхронизации должна быть четкая система отслеживания ошибок. Ведь они возможны даже тогда, когда настройки процедуры идеальны. Технические сбои возможны всегда:

• Пользователь нечаянно удалил объект.
• Произошло изменение структуры в программе.
• Вместо обязательного стоит пустое значение записываемого элемента.

Логирование (запись о работе конфигурации в файле «логи») служит для фиксации ошибок, исключений. Это позволяет быстро выявлять и устранять недочеты. Главное — создавать понятные описания. Также не повредит созданный заранее механизм автоматического повторного обмена. Используются регистры, отдельные журналы регистрации или внешние системы мониторинга.

Зависимость производительности обмена от объёмов данных

Производительность любой системы в час «пик», как известно, имеет свойство значительно падать. Заторы, к сожалению, образуются не только на автодорогах, но и путях обмена информацией. А если к синхронизации представлен большой объем данных, «зависнуть» приходится надолго.

Спасти от казусной ситуации помогает настройка обмена по расписанию. При его составлении следует учитывать график работы сотрудников, работающих с конфигурациями.

Кроме того, рекомендуется:

• Выгрузка данных небольшими порциями.
• Применение механизмов пакетной обработки.
• Сверка наличия индексов в регламентных запросах.

Если все эти советы не помогают, можно проводить сеанс обмена на отдельном сервере. Также устанавливают очередность обработки сообщений. Для этого применяют Apache Kafka или RabbitMQ.

Применение принципа ETL для сложных интеграций

Разливанное море информационных данных в крупных компаниях заставляет специалистов осваивать новые технологии. ETL — это технологический поэтапный процесс, позволяющий из хаотически разбросанной информации выстроить стратегические решения.

Аббревиатура, за которой скрывается мощный IT-инструмент, обозначает три этапа:

1. За получение данных из базы-источника (в нашем примере 1С: УПП) или разнородных источников, отвечает Extract (Извлечение).
2. На второй ступени происходит чистка, нормализация, обогащение, сопоставление. Transform (Преобразование) трансформирует весь поток данных в формат, который полностью подходит для аналитики.
3. Заключительная фаза Load занята размещением преобразованных данных в целевой системе. В рассматриваемом нами примере это ERP.

Реализация такой технологии происходит в двух вариантах. В первом случае используются промежуточные хранилища внутри платформы 1С. Другой путь — использование внешних инструментов. Это могут быть Talend, Pentaho, собственные скрипты на Python с XML/XDTO. К слову сказать, крупные проекты требуют участия опытных команд «айтишников», умеющих хорошо настроить ETL – процессы.

Как поступать при обновлении конфигураций

Самостоятельно или с помощью приглашенного специалиста настроив обмен данными между 1С: УПП и 1С: ERP, нельзя на этом успокаиваться и «почивать на лаврах».

Конфигурации периодически обновляются. Особенно часто это происходит с базой 1С: ERP. При этом могут поменяться:

• структура объектов;
• правила проведения документов;
• названия реквизитов и т. д.

В результате произошедших изменений следующий сеанс синхронизации потерпит неудачу. Чтобы избежать неприятностей, надо «загодя подстелить соломку». Лучше предпринять следующие шаги:

• документировать текущую логику обмена;
• использовать версии схем и правил;
• осуществлять регрессионное тестирование систем после каждого обновления;
• использовать механизмы расширений;
• хранить логику обмена в отдельных модулях, которые не зависят от основной конфигурации.

Легко и без проблем осуществить переход с УПП на современную и эффективную ERP, с учетом специфики деятельности предприятия, помогают квалифицированные программисты. Чтобы в дальнейшем всё функционировало «без сучка и задоринки», следует сотрудничать с профессионалами.

Советы, как эффективно вести документацию обмена

Во-первых, следует завести Реестр объектов обмена. В нем сформировать таблицу сопоставлений между 1С: УПП и 1С: ERP.

Во-вторых, по каждому объекту должна быть фиксация таких, на первый взгляд, обычных деталей:

• название в УПП и ERP;
• способ идентификации;
• поля, подлежащие обмену;
• специфика трансформации.

В-третьих, всё сложное становится легким и понятным, когда есть подробная инструкция. Это ваш личный свод правил ошибок и исключений. Документация правил как пошаговый алгоритм действий в неприятных ситуациях, например, когда объект не найден. Разъяснения, как сформировать ссылки и другие нюансы.

В-четвертых, активно используйте Репозиторий. Другими словами, это хранилище, в котором разработчики совместно работают над проектом. То есть, место, в котором пользователь может разместить примеры XML- файлов (или XDTO). В дальнейшем к ним обращаются по мере надобности.

Упорядочиваем список задач по внедрению обмена данными между 1С: УПП и 1С: ERP

Предлагаем пользователям чек-лист для контроля над всеми предстоящими процессами. Сроки исполнения каждый волен проставить самостоятельно.

Анализ объектов и структуры данных:

• Определены объекты для обмена: справочники, документы, регистры
• Проведено сопоставление объектов между конфигурациями
• Учтены особенности бизнес-логики (проведение, движения, зависимости)

Подготовка источника данных:

• Проведен аудит качества данных в УПП
• Удалены дубли и устаревшие записи
• Добавлены или скорректированы уникальные идентификаторы (внешние коды, GUID)

Выбор формата обмена:

• Принято решение о формате: EnterpriseData (XDTO) или XML с правилами
• Подготовлены необходимые схемы/правила

Реализация обмена:

• Настроены механизмы выгрузки и загрузки
• Реализована трансформация данных
• Обработаны особенности идентификации (по ИНН, коду и т.д.)

Тестирование:

• Проведен тестовый обмен (на тестовой копии)
• Зафиксированы ошибки и внесены корректировки
• Настроено логирование и уведомления

Ввод в эксплуатацию:

• Обмен переведен в регламентное выполнение (по расписанию)
• Назначены ответственные за поддержку и контроль
• Подготовлена инструкция для пользователей