Интеграция BI систем с данными 1С
В наших проектах по автоматизации отчетности одним из основных источников данных являются приложения 1С. Однако, для многих BI систем эти распространенные в России учетные системы – очень даже нестандартные. Лидеры рынка – Qlik и Power BI – не предоставляют своим пользователям стандартных средств интеграции BI с 1C.
Для понимания, что такое «нестандартная» интеграция, сначала расскажу, как работает «стандартная». Любое BI решение включает в себя механизмы загрузки данных, которые позволяют без написания кода, без программирования, настраивать необходимые подключения. Сделать это очень просто – после небольшого обучения справится даже ваша бабушка.
Как это выглядит на экране в Power BI:
При запуске мастер предлагает указать источник, к которому вы хотите подключиться. Список достаточно большой – выберите нужный. Например, Excel.
Мастер предлагает выбрать файл, и, после того как система проанализирует загружаемые данные, мастер предложит настроить параметры загрузки данных. При этом для данных можно изменять форматы, разбивать столбцы по определённым признакам, настраивать фильтры и проводить множество других операций, которые позволяют загрузить в модель только необходимые значения:
Таким образом, работа со стандартными источниками позволяет в кроткие сроки, без программирования и сложных манипуляций, подгружать необходимые данные к системе аналитики.
Но с 1С так просто сделать не получится. Связано это с тем, что структура данных в 1С (так называемые «метаданные») хранится в зашифрованном виде. Многие BI-системы имеют «западное» происхождение, и для них популярное у нас семейство 1С рассматривается не более чем «локальное» приложение, под которое пока разработка отдельного «дешифровщика» нецелесообразна.
Но потребность в интеграции 1С и BI растет. Сегодня существует несколько способов, часть из которых мы используем в наших проектах:
| Способ | В чем заключается | |
| 1 | Выгрузка на FTP файлов Excel, CSV | Вариант 1: настраивается «Универсальный отчет» и инструмент «Рассылка отчетов» для выгрузки файлов
Вариант 2: программист 1С пишет обработку по выгрузке файла в папку |
| 2 | Покупка коммерческого коннектора | Готовое решение автоматически расшифровывает структуру метаданных и публикует SQL – представления, которые BI воспринимает как SQL-базу данных
Как правило, не работает с файловыми инсталляциями 1С, только для серверных решений. |
| 3 | Публикация БД на web-сервере по протоколу oData | С точки зрения 1С – стандартный функционал публикации (в конфигураторе выбираем диалог ««Администрирование» — «Публикация на веб-сервере»)
На вход в BI подается ссылка вида «http://localhost/<Имя публикации информационной базы>» — данные передаются в формате JSON |
| 4 | Прямое подключение BI к базе данных 1С | По сути, ручная альтернатива работы коннектора – разбор структуры метаданных и формирование запросов к определенным таблицам |
Каждый из вариантов интеграции имеет свои преимущества и недостатки, и в отдельных случаях не приемлем к использованию.
Возможности использования и примерные затраты:
В большинстве случаев для интеграции требуется проведение работ со стороны 1С системы, для чего привлекают аналитика и/или разработчика 1С. Продолжительность работ может занимать от 1 недели до нескольких месяцев, в зависимости от сложности системы, количества баз, степенью их кастомизации, квалификации специалистов.
Вариант, связанный с использованием коннектора (способ 2), сопряжен с затратами на покупку ПО/лицензий, но позволяет существенно сократить сроки на интеграцию систем. Кроме того, этот способ не требует привлечения специалистов 1С, так как коннектор устанавливается подрядчиком по BI.
Как выбрать подходящий способ интеграции?
Количество баз данных 1С
Если у вас одна база, то затраты на покупку коннектора будут превышать стоимость услуг разработчика. Затраты будут существенно ниже, когда у вас есть хороший специалист, который в любое время может настроить выгрузку (способ 1). Разработчик 1С, хорошо знакомый со структурой метаданных скорее всего сможет настроить и прямое подключение к базе (способ 4). В случае отсутствия такого сотрудника вы можете обратиться к ФТО. Опыт наших специалистов 1С позволяет осуществлять обмены, интеграции и доработки систем любой сложности.
Если баз «много», существенно сэкономить позволит коннектор. Стоимость лицензии на коннектор к BI зависит от количества подключаемых баз, каждое следующее подключение обходится дешевле. Например, стоимость лицензии для четырех баз будет дороже, чем на одну всего лишь в два раза.
Что значит «много» баз?
Имеются в виду случаи, когда источников данных на 1С более трех (например, 1С:УПП, 2 базы 1С:ЗУП, и 1 база 1С:WMS), в таком случае целесообразно рассматривать покупку коннектора, как наиболее быстрого и наименее затратного варианта.
Периодичность получения данных из 1С
Если данные BI отчетности предполагают регулярное обновление (т.е. отчет постоянно обращается к 1С), то обмен через файловый сервер будет худшим вариантом. Удобнее организовать обмен напрямую – через oData, коннектор или прямое подключение. Кроме того, условия и особенности организации (например, политика безопасности) могут выступать дополнительным фильтром для отбора способа интеграции. Так, например, oData требует публикации базы данных на web-сервере, что допустимо не для всех организаций. А обращение напрямую к структуре метаданных не рекомендовано самой фирмой «1С», и ряд специалистов следуют этим рекомендациям (при этом известно достаточно много примеров успешной интеграции напрямую 1С и BI).
Еще одно преимущество в пользу коннектора – не требуется документировать интерфейс. Случается, что приглашенный разработчик пропал, или уволился, а новому, чтобы доработать или «починить» сделанное» часто требуется несколько дней.
Какой из предложенных способов обмена данными предпочесть выбирать вам. Если сомневаетесь – закажите консультацию специалистов ФТО, мы просчитаем разные варианты с учетом ваших потребностей и предложим оптимальный.