Ситуация до старта проекта

До начала проекта заказчик уже использовал централизованную BI-платформу для анализа деятельности сети клиник. Операционные данные из CRM-системы регулярно загружались в корпоративное хранилище данных на Microsoft SQL Server, а аналитическая отчетность строилась в Power BI.
После покупки новой клиники возникла проблема несовместимости источников данных. В новой организации учет велся в 1С, где использовались иные структуры справочников, GUID-идентификаторы и отличающаяся логика хранения информации.
Без интеграции новой системы руководство не могло получать консолидированную отчетность по всей сети. Альтернативой была дорогостоящая переработка аналитической модели и существующих отчетов.

Архитектура решения и масштаб проекта

Архитектура решения включала следующие компоненты:

• 1С:Предприятие — учетная система новой клиники;
• Коннектор АТК BI View — инструмент доступа к данным 1С;
• Microsoft SQL Server — корпоративное хранилище данных;
• ETL-процедуры на T-SQL;
• Microsoft Power BI — система аналитической отчетности.

Логическая схема интеграции
1С → Коннектор АТК → SQL-представления → ETL-процедуры → DWH → Power BI

Масштаб проекта

В рамках проекта в отчетность были интегрированы более 10 сущностей, включая договоры, предприятия, сотрудники, партнеры, услуги, должности, кабинеты, номенклатура и т.д.

Для каждой сущности были реализованы процедуры загрузки и таблицы кодировки.

Особенности и уникальность проекта

Основная техническая сложность проекта была связана с необходимостью интеграции данных из новой клиники в существующую аналитическую модель без изменения структуры хранилища данных и отчетности Power BI. При этом исторически данные клиник были полностью изолированы друг от друга и не имели пересекающихся идентификаторов, поскольку каждая система учета развивалась независимо. Для новой клиники в корпоративной модели был выделен филиал с уникальным кодом, что легло в основу стратегии формирования уникальных идентификаторов.

Для обеспечения совместимости был разработан механизм накопительных таблиц соответствия, которые хранили связь между GUID-идентификаторами объектов 1С и числовыми ключами, используемыми в DWH. К бизнес-сущностям — врачам, пациентам, договорам, услугам, приемов и других объектов — создавалась собственная таблица соответствия. При первом появлении объекта в системе его GUID автоматически заносился в таблицу маппинга, а объекту присваивался новый числовой идентификатор из специально выделенного диапазона, в основе которого лежал код филиала.  Такое решение позволило логически отделить новые данные от исторических данных остальных клиник сети и исключить пересечение идентификаторов. Таблицы соответствия являлись накопительными и сохраняли результаты всех предыдущих загрузок. При каждом запуске ETL-процессов система сначала определяла объекты, уже присутствующие в таблицах маппинга, и использовала ранее присвоенные ключи. Для новых GUID автоматически создавались новые записи с очередным свободным идентификатором. Таким образом, один и тот же объект всегда получал неизменный числовой ключ независимо от количества последующих загрузок.

Логика загрузки была построена по принципу контролируемой перезагрузки данных. На первом этапе из целевых таблиц удалялись данные по обновляемым объектам. Далее система анализировала поступивший набор данных и определяла записи, отсутствующие в таблицах соответствия. Для таких объектов автоматически создавались новые ключи и выполнялось пополнение таблиц маппинга. После этого данные загружались в целевые таблицы уже с использованием корпоративных идентификаторов, а связи между врачами, пациентами, услугами, договорами и другими сущностями восстанавливались через ранее сформированные таблицы соответствия.

Отдельного внимания заслуживает выбор механизма интеграции с 1С. На старте проекта рассматривался традиционный подход, при котором данные выгружаются из 1С в CSV-файлы, а затем загружаются в корпоративное хранилище данных. Однако такой вариант требовал разработки и поддержки большого количества выгрузок на стороне 1С, организации контроля доставки файлов, мониторинга корректности обменов и сопровождения изменений структуры данных. Кроме того, при добавлении новых сущностей или изменении существующих бизнес-процессов потребовались бы дополнительные доработки как в 1С, так и в процессах загрузки данных.

В качестве альтернативы был выбран коннектор АТК. Данный коннектор работает на уровне метаданных 1С, автоматически преобразуя внутреннюю объектную модель платформы в набор SQL-представлений, где технические объекты и реквизиты конфигурации представлены в виде привычных аналитикам и разработчикам таблиц и полей. Такой подход позволил существенно сократить сроки реализации проекта, исключить разработку специализированных выгрузок на стороне 1С и централизовать всю логику преобразования данных в контуре DWH. В результате решение получилось более гибким, масштабируемым и менее затратным в сопровождении, а подключение новых сущностей стало выполняться значительно быстрее по сравнению с файловым обменом.

Результаты проекта

В результате проекта новая клиника уже через несколько недель была полностью интегрирована в существующий аналитический контур заказчика. Данные из 1С:Предприятие были успешно загружены в корпоративное хранилище данных на базе Microsoft SQL Server и автоматически стали доступны в действующих отчетах Microsoft Power BI. Проект позволил избежать типичной ситуации, при которой аналитическая система на несколько месяцев переходит в режим адаптации: пересматриваются модели данных, меняются отчёты и теряется сопоставимость исторических показателей. Выбранная архитектура позволила сохранить структуру хранилища, модель данных и логика расчетов остались без изменений, что позволило избежать дополнительных затрат на переработку BI-решения.

Руководство заказчика получило возможность анализировать показатели новой клиники в едином информационном пространстве вместе с остальными медицинскими центрами сети. Это обеспечило сопоставимость данных, ускорило подготовку управленческой отчетности и повысило прозрачность бизнеса после расширения компании. Дополнительно был создан универсальный механизм присвоения уникальных идентификаторов для объектов из 1С, который можно использовать для подключения других клиник и новых источников данных. Благодаря этому заказчик получил масштабируемое решение, позволяющее быстро интегрировать приобретенные активы в корпоративную BI-систему без изменений существующих отчетов и без остановки аналитических процессов.