Построение корпоративных хранилищ данных (DWH)

Что такое корпоративное хранилище?

Корпоративное хранилище данных (КХД, DWH) — неотъемлемый атрибут крупной компании, владеющей большими массивами данных, полученных из нескольких источников. Корпоративная база данных разрабатывается с учетом особенностей организации и предназначается для подготовки отчётов и бизнес-анализа.

На основе обработанных данных, как правило, принимаются важные управленческие решения в организации. Особенно актуален вопрос построения хранилищ данных при использовании инструментов класса BI.

Зачем нужно строить хранилище?

Конечной целью является подготовка корпоративных отчетов. Но их можно формировать и без КХД. Разберем ключевые преимущества архитектуры хранилища, которые определяют их полезность:

1) Скорость извлечения необходимых данных

Когда все необходимые данные находятся в единой базе данных, структурированы и имеют корректные связи таблиц, то их обработка и извлечение для выгрузки в отчет происходят гораздо быстрее, чем в случае работы с многочисленными и разрозненными БД из разных корпоративных систем.

2) Неизбыточность данных

При проектировании хранилища архитектор должен понимать, каким целям и для каких отчетов хранилище будет использоваться. Это обуславливает хранение только нужных атрибутов и выборку только необходимых массивов данных с помощью фильтров при загрузке из конечного источника. Таким образом, в КХД есть все необходимые данные, но нет лишних.

3) Непротиворечивость данных

Так как хранилище использует данные из различных источников, то прежде, чем их использовать и объединять на уровне таблиц, они должны быть очищены и нормализованы. Также мастер-данные должны быть импортированы централизовано, либо ведение справочников мастер-данных ведется на уровне инструментов самого КХД. В итоге мы имеем таблицы без дублей и противоречий, а значит и отчетность, которую мы строим на базе этих таблиц будет показывать достоверные данные и не будет вызывать вопросы у бизнес-заказчиков.

Какие услуги предлагает ФТО?

• Построение КХД с нуля – если вы пришли к пониманию, что вам нужно создание хранилища, которое отсутствует в принципе, мы вам поможем.
• Поддержка, развитие и оптимизация КХД – если у вас уже есть хранилище, требующее поддержки и доработки или оптимизации, и вы готовы рассматривать нас в качестве нового подрядчика.
• Перенос КХД на новую платформу – если версия платформы хранилища либо платформа в целом больше не соответствует целям по развитию данного инструмента и вы не готовы мириться с данным ограничением, есть смысл перейти на более оптимальную платформу, мы можем помочь вам выбрать ее и осуществить проект по переходу на новую платформу (перевнедрение).

С какими продуктами и технологиями мы работаем?

Преимущественно мы строим и поддерживаем хранилища на базе MS SQL Server и его инструментов, полный перечень технологий, с которыми мы работаем, приведен ниже.

• СУБД Microsoft SQL Server,
• Oracle,
• Teradata,
• Apache Cassandra,
• Microsoft Access ETL,
• Microsoft SSIS,
• IBM Node-RED,
• Informatica.