Проект по созданию информационно — аналитической системы на основе хранилища данных
Главный Универсальный Магазин — универмаг, знакомый каждому россиянину. Столетняя история торгового предприятия снискала ему популярность в России и за рубежом. Сегодня ОАО «Торговый дом ГУМ» — это широкая сеть магазинов в Москве и других городах, на торговых площадях которых представлены непродовольственные и продовольственные товары.
Автоматизация учета финансовых и логистических операций в ТД «ГУМ» осуществлялась посредством системы, имеющей собственные встроенные средства формирования отчетов.
По мере нарастания объемов данных время выполнения отчетов стало неприемлемым, а также увеличилась нагрузка на сервер.
Руководители и сотрудники компании стали получать актуальную информацию с ощутимой задержкой.
Реализация проекта
Бизнес-задача: Cоздание информационно-аналитической системы (ИАС) на базе единого хранилища данных.
Автоматизация учета финансовых и логистических операций в ТД «ГУМ» осуществляется посредством системы J.D.Edwards OneWorld, которая имеет собственные встроенные средства формирования отчетов. На ранних этапах эксплуатации системы аналитические отчеты, построенные с учетом корпоративных требований и специфики деятельности с использованием этих средств, давали приемлемое время отклика.
Однако по мере нарастания объемов данных время выполнения отчетов стало неприемлемым, а также увеличилась нагрузка на сервер, обслуживающий ERP-систему организации. Это вызвало затруднения при выполнении большинства отчетов в режиме on-line. Руководители и сотрудники компании стали получать актуальную информацию с ощутимой задержкой.
Реляционная нормализованная структура данных J.D.Edwards, типичная для ERP-систем, налагала ограничения на возможности извлечения и обработки значительных объемов данных, а также на вовлечение в процесс анализа информации большого количества аналитик. Необходимость использования встроенного языка программирования для создания стандартных отчетов требовала участия высококвалифицированных программистов, что затрудняло быстрое создание новых и модификацию уже имеющихся отчетов.
В результате компания пришла к выводу о необходимости создания информационно-аналитической системы (ИАС) на базе единого хранилища данных, предоставляющей актуальные, достоверные и непротиворечивые данные, и обеспечивающей формирование аналитических отчетов, как в режиме реального времени, так и в соответствии с регламентом (расписанием) их выполнения. При этом предполагалось, что денормализованная структура хранилища данных позволит существенно снизить время обработки запросов, включающих большое количество аналитик, и частично разгрузить основную ERP-систему, а использование средств формирования отчетности BusinessObjects сократит время и стоимость разработки отчетов, повысив вместе с тем их наглядность и интерактивность.
Технологическое решение: Пилотный проект по разработке структуры хранилища данных на базе СУБД Oracle, BusinessObjects и Ascential Software. Создание первой очереди информационно-аналитической системы.
Реализация пилотного проекта
В рамках пилотного проекта демонстрировалась и оценивалась эффективность методологических и технологических решений, а также инструментальных средств компаний Business Objects и Ascential Software, предлагаемых компанией «Терн» для решения задач ОАО «ТД ГУМ» в области бизнес-анализа. В процессе тестирования программных средств и анализа качества данных, загруженных в хранилище данных, уточнялись постановка задачи, алгоритмы извлечения, трансформации и загрузки данных, оценивались временные характеристики системы с определением требований к оптимизации времени выполнения отчетов, уточнялась предметная область системы.
По итогам реализации пилотного проекта Заказчиком было принято положительное решение о закупке и использовании ETL-средства DataStage компании Ascential Software для разработки процедур извлечения, преобразования и загрузки данных в ХД.
Создание первой очереди информационно-аналитической системы
Работы проводились на основании уточненной совместно со специалистами ТД «ГУМ» постановки задачи с учетом результатов пробной эксплуатации пилотного варианта системы. Кроме этого, были расширены требования к функциональности системы в связи с появлением дополнительных потребностей в аналитических данных.
Проводилась доработка пакета процедур загрузки (изменение имеющихся и написание новых процедур) в связи с уточнением алгоритмов загрузки и расширением функциональности системы, реорганизация юниверсов BusinessObjects для получения отчетов, оптимизированных по времени выполнения, а также физическая настройка базы данных ХД для сокращения времени выполнения запросов при обновлении отчетов. Были проанализированы существующие мощности и оценены предполагаемые объемы информации и темпы их роста, в результате чего было принято решение о размещении ХД на отдельном аппаратно-вычислительном комплексе.
По рекомендациям консультантов «Терн» силами специалистов ТД «ГУМ» были проведены работы на стороне источника в целях улучшения качества данных, загружаемых в хранилище.
Результаты: Создана информационно-аналитическая система на основе хранилища данных, которое содержит информацию из системы автоматизации J.D.Edwards OneWorld, и подготовлен набор отчетных форм и документов по товародвижению в компании.
По результатам опытной эксплуатации и тестирования были проведены работы, направленные на достижение полноты и достоверности данных, а также оптимизацию производительности системы. При этом значительно повысилась скорость формирования отчетных документов. К примеру, отчет по товародвижению на данных для всей компании за один месяц, выполнявшийся ранее около суток, теперь выполняется за 15 – 20 минут. У пользователей появилась возможность самостоятельно обращаться к необходимым данным и проводить анализ информации, используя Веб-портал на базе ПО WebIntelligence.
Представителям ТД «ГУМ» были переданы необходимые для сопровождения и развития ИАС документация и методологические навыки как в части работы с ETL- средством Ascential DataStage, так и в части использования аналитических средств Business Objects. Это позволяет Заказчику в настоящее время успешно администрировать и развивать систему собственными силами.
