От корпоративного хранилища к аналитической системе

В журнале «Intelligent Enterprise» №14 (189)/2008 опубликована статья о проекте по созданию Management Information System для компании «Комстар-ОТС». Поставщиком технологического решения данного проекта выступила компания «Терн».

Группа компаний «Комстар-ОТС», поставщик комплексных телекоммуникационных решений, образована путем объединения «Комстара», «МТУ-Информа» и «Телмоса». Поэтому одной из первоочередных задач ИТ-подразделения новой структуры стала консолидация данных и борьба с естественной разрозненностью исходных информационных систем разных владельцев. В ходе проекта была разработана система анализа финансовых и натуральных показателей с требуемой степенью детализации представления данных. О том, как эти задачи решались в группе компаний «Комстар-ОТС», нам рассказал главный специалист отдела развития систем поддержки операций Роман Голованов.

ИСХОДНЫЕ ПРОБЛЕМЫ

Поскольку компания образовалась в 2004 году путем слияния трех независимых организаций, задача консолидирования информации была весьма актуальной. Каждое предприятие имело свои учётные системы, хранящие примерно одинаковые данные, но в разных форматах и кодировках. Иногда информация дублировалась, в то время как единые справочники отсутствовали. Кроме того, компании использовали различные системы управления базами данных (СУБД), работающие под разными операционными системами (ОС). В информационной архитектуре подготовки отчетности в качестве источников выступали биллинговые и бухгалтерские программы, а также ERP-система Oracle E-Business Suite. До создания единой информационно-аналитической системы регламентные отчеты для руководства компании в формате таблиц Microsoft Excel готовились сотрудниками ИТ-департамента. Такой способ работы приводил к ряду проблем при подготовке корпоративной отчетности «Комстар-ОТС». Во-первых, различались технологии сбора и генерации отчетности в зависимости от конкретной системы, унаследованной от включенной в группу компаний организации. Во-вторых, в существовавших на тот момент системах очень не просто было консолидировать данные по вошедшим в группу предприятиям, реализовывать собственные методики анализа и расчета произвольных показателей. Кроме того, все отчеты тогда готовились непосредственно с использованием данных оперативных учетных систем, что сильно перегружало их.

ВЫБОР ТЕХНОЛОГИЧЕСКИХ РЕШЕНИЙ

Необходимость в единой информационно-аналитической системе возникла именно из-за перечисленных выше проблем. Для консолидации данных было решено использовать промышленное ETL-средство. ETL (Extract — Transform — Load) представляет собой процесс в управлении хранилищами данных, включая извлечение данных из внешних источников, их трансформацию и очистку согласно по­требностям бизнес-модели предприятия и наконец загрузку обработанной информации в хранилище.

В качестве ETL-решения было выбрано ПО IBM WebSphere DataStage. В силу сложившихся обстоятельств от ПО требовалась работа с разнородными источниками и приемниками данных, а также независимость от программно-аппаратной платформы. Кроме того, в выбранном продукте специалисты «Комстар-ОТС» отметили визуальную среду разработки ETL-процедур, простоту в поддержке и сопровождении ПО, его масштабируемость и возможность оптимизации процессов загрузки данных.

Как средство анализа и представления информации было решено использовать платформу Business Objects (эту компанию в 2007 году купила SAP). Критериями выбора послужили возможности создания отчётов и многомерного анализа данных в знакомых пользователям терминах предметной области, масштабируемость и гибкость решения, обеспечение коллективной работы как через «тонкий», так и через «толстый» клиенты, а также разграничение прав доступа. На роль поставщика технологического решения пригласили компанию «Терн».

АНАЛИЗ МЕЖОПЕРАТОРСКОГО ТРАФИКА

Сначала провели относительно небольшой проект для дирекции по работе с операторами связи, в ходе которого было разработано единое решение по анализу межоператорского трафика на основе консолидированных данных из биллинговых систем трех компаний. Менеджеры дирекции должны были получить удобное средство оперативной обработки и анализа накопленной информации, а также наглядные аналитические отчеты для принятия управленческих решений.

В качестве источников данных использовались три различные биллинговые системы, которые на тот момент были в компаниях «Комстар», МТУ и «Телмос». Все они опирались на разные СУБД — Informix, Oracle и Microsoft SQL Server соответственно. Роль IBM WebSphere DataStage состояла в том, чтобы извлекать информацию из различных СУБД, согласовывать справочники, очищать и стандартизировать данные, приводить их к единым форматам и кодировкам и агрегировать. После чего информация помещалась в созданное корпоративное хранилище данных. Ежедневно в установленное регламентом время в часы наименьшей загрузки учётных систем большие объемы информации передаются из источников в корпоративное хранилище. Определена необходимая историческая глубина хранения. Выше мы уже говорили о необходимости разгрузить оперативные учетные системы, и подобная архитектура решения снимает эту проблему.

Затем на основе Business Objects были разработаны семантические слои, через которые доступ к отчетам получали руководство и сотрудники дирекции по работе с операторами связи. Семантический слой позволяет пользователям системы, не обладающим специальными знаниями, работать с данными, представленными в привычных бизнес-терминах — например, «доход», «продолжительность соединения» и т. п. По окончании работ у «Комстар-ОТС» появилась возможность оперативного мониторинга и анализа прошедшего трафика по операторам и направлениям. Информацию из созданных отчетов группа компаний использует для формирования ценовой политики и оптимизации маршрутов соединений.

АНАЛИТИЧЕСКАЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

Опыт разработки системы анализа межоператорского трафика признан успешным. Было решено начинать второй проект по созданию масштабной аналитической системы поддержки принятия решений Management Information System (MIS). Его предпосылками стали постоянное расширение абонентской базы, а также стремление компании оперативно реагировать на изменения конъюнктуры рынка и повысить эффективность корпоративного управления. Были сформулированы стратегическая и тактические цели проекта. Стратегическая цель — создание системы управления эффективностью деятельности компании на основе стратегического планирования, контроля исполнения и системы сбалансированных показателей. А тактические цели включали в себя следующие пункты:

• автоматизацию и повышение эффективности работы руководства и менеджмента компании путем предоставления им средств для анализа всей необходимой информации;
• возможность управления компанией на основе анализа ключевых показателей эффективности (KPI);
• поиск закономерностей в деятельности компании и прогнозирование на их основе.

Проект создания MIS состоял из трех этапов, предусматривавших постепенное расширение охвата областей анализа, групп пользователей и источников данных. На первом этапе (о котором мы уже рассказали выше) была создана система мониторинга и оперативного анализа трафика для дирекции по работе с операторами связи. На втором функ­циональность MIS расширена в интересах финансового и коммерческого блоков группы компаний, обеспечен анализ финансовых и натуральных показателей, реализована возможность представлять необходимую информацию высшему руководству для принятия управленческих решений. На третьем этапе планируется развитие системы в интересах всех департаментов компании. В MIS кроме биллинговых систем в качестве источников данных используются система технических ресурсов NetCracker и HR-система. В будущем планируется подключение корпоративной ERP-системы, CRM-системы SalesLogix и других. Кроме того, была выделена отдельная система нормативно-справочной информации (НСИ), которая обеспечивает возможность ручной очистки данных о клиентах, так как в разных биллинговых системах они и сейчас не до конца согласованы. Дополнительно через НСИ можно классифицировать измерения. За интеграцию данных и помещение их в корпоративное хранилище отвечает IBM WebSphere DataStage, но уже с использованием единой системы НСИ.

Разработанный семантический слой включает более двухсот логических объектов, объединенных в 57 классов, и позволяет проводить всесторонний анализ информации и строить регламентную отчетность. Выделены две группы основных показателей работы компании — финансовые и натуральные. В первую попали разные виды доходов: с налогами и без налогов, в различных валютах, с корректировками и без них, чистые начисления. Во вторую — количество клиентов и лицевых счетов, а также такие специфические для телекоммуникационных компаний показатели, как объем интернет- и телефонного трафика, количество каналов и точек доступа, количество телефонных номеров и соединительных линий, размер переданной в аренду площади и т. д.

Измерения разделены на следующие основные классы: временные; измерения по структуре клиентской базы; измерения по предоставляемым компанией услугам. Некоторые измерения отсутствуют в источниках данных, но представляют большой интерес для аналитиков предприятия. Для их построения используется подсистема НСИ, обеспечивающая возможность дополнительной классификации услуг группы компаний.

Такая настраиваемая классификация позволяет группировать услуги по службам (телефония, интернет-доступ, продажа оборудования и т. д.), по технологии предоставления, по типам начисления (абонентская или установочная плата, оплата трафика и т. п.), по типам и направлению трафика. Кроме указанных существует измерение самого нижнего уровня — в соответствии с классификатором биллинговых услуг. Оно учитывает особенности тарификации каждой услуги. По клиентам и структуре клиентской базы основными измерениями являются лицевые счета клиентов, типы клиентов и их лицевых счетов, принадлежность к тому или иному филиалу, сегментация клиентов по группе доходности.

ИТОГИ

В относительно короткие сроки (восемь с половиной месяцев) в группе компаний «Комстар-ОТС» было построено корпоративное хранилище на основе интеграции данных из существующих учетных систем, разработана и внедрена в эксплуатацию информационно-аналитическая система, обеспечивающая широкие возможности многомерного анализа информации и построения регламентной отчётности. Реализованный в системе уровень детализации данных позволяет анализировать показатели вплоть до лицевого счета клиента и единичной биллинговой услуги. Поддержка истории ведения основных справочников дает возможности для анализа показателей как в историческом аспекте, так и относительно их текущего состояния.

Система позволяет анализировать соответствие между натуральными и финансовыми показателями. Стало возможно рассчитать доход от группы услуг, например от передачи данных через Интернет. В результате создан информационный фундамент для внедрения информационно-аналитической системы поддержки принятия решений на основе анализа ключевых показателей деятельности.

Автор: Денис Легезо

В журнале «Intelligent Enterprise» №14 (189)/2008 опубликована статья о проекте по созданию Management Information System для компании «Комстар-ОТС». Поставщиком технологического решения данного проекта выступила компания «Терн».

Группа компаний «Комстар-ОТС», поставщик комплексных телекоммуникационных решений, образована путем объединения «Комстара», «МТУ-Информа» и «Телмоса». Поэтому одной из первоочередных задач ИТ-подразделения новой структуры стала консолидация данных и борьба с естественной разрозненностью исходных информационных систем разных владельцев. В ходе проекта была разработана система анализа финансовых и натуральных показателей с требуемой степенью детализации представления данных. О том, как эти задачи решались в группе компаний «Комстар-ОТС», нам рассказал главный специалист отдела развития систем поддержки операций Роман Голованов.

ИСХОДНЫЕ ПРОБЛЕМЫ

Поскольку компания образовалась в 2004 году путем слияния трех независимых организаций, задача консолидирования информации была весьма актуальной. Каждое предприятие имело свои учётные системы, хранящие примерно одинаковые данные, но в разных форматах и кодировках. Иногда информация дублировалась, в то время как единые справочники отсутствовали. Кроме того, компании использовали различные системы управления базами данных (СУБД), работающие под разными операционными системами (ОС). В информационной архитектуре подготовки отчетности в качестве источников выступали биллинговые и бухгалтерские программы, а также ERP-система Oracle E-Business Suite. До создания единой информационно-аналитической системы регламентные отчеты для руководства компании в формате таблиц Microsoft Excel готовились сотрудниками ИТ-департамента. Такой способ работы приводил к ряду проблем при подготовке корпоративной отчетности «Комстар-ОТС». Во-первых, различались технологии сбора и генерации отчетности в зависимости от конкретной системы, унаследованной от включенной в группу компаний организации. Во-вторых, в существовавших на тот момент системах очень не просто было консолидировать данные по вошедшим в группу предприятиям, реализовывать собственные методики анализа и расчета произвольных показателей. Кроме того, все отчеты тогда готовились непосредственно с использованием данных оперативных учетных систем, что сильно перегружало их.

ВЫБОР ТЕХНОЛОГИЧЕСКИХ РЕШЕНИЙ

Необходимость в единой информационно-аналитической системе возникла именно из-за перечисленных выше проблем. Для консолидации данных было решено использовать промышленное ETL-средство. ETL (Extract — Transform — Load) представляет собой процесс в управлении хранилищами данных, включая извлечение данных из внешних источников, их трансформацию и очистку согласно по­требностям бизнес-модели предприятия и наконец загрузку обработанной информации в хранилище.

В качестве ETL-решения было выбрано ПО IBM WebSphere DataStage. В силу сложившихся обстоятельств от ПО требовалась работа с разнородными источниками и приемниками данных, а также независимость от программно-аппаратной платформы. Кроме того, в выбранном продукте специалисты «Комстар-ОТС» отметили визуальную среду разработки ETL-процедур, простоту в поддержке и сопровождении ПО, его масштабируемость и возможность оптимизации процессов загрузки данных.

Как средство анализа и представления информации было решено использовать платформу Business Objects (эту компанию в 2007 году купила SAP). Критериями выбора послужили возможности создания отчётов и многомерного анализа данных в знакомых пользователям терминах предметной области, масштабируемость и гибкость решения, обеспечение коллективной работы как через «тонкий», так и через «толстый» клиенты, а также разграничение прав доступа. На роль поставщика технологического решения пригласили компанию «Терн».

АНАЛИЗ МЕЖОПЕРАТОРСКОГО ТРАФИКА

Сначала провели относительно небольшой проект для дирекции по работе с операторами связи, в ходе которого было разработано единое решение по анализу межоператорского трафика на основе консолидированных данных из биллинговых систем трех компаний. Менеджеры дирекции должны были получить удобное средство оперативной обработки и анализа накопленной информации, а также наглядные аналитические отчеты для принятия управленческих решений.

В качестве источников данных использовались три различные биллинговые системы, которые на тот момент были в компаниях «Комстар», МТУ и «Телмос». Все они опирались на разные СУБД — Informix, Oracle и Microsoft SQL Server соответственно. Роль IBM WebSphere DataStage состояла в том, чтобы извлекать информацию из различных СУБД, согласовывать справочники, очищать и стандартизировать данные, приводить их к единым форматам и кодировкам и агрегировать. После чего информация помещалась в созданное корпоративное хранилище данных. Ежедневно в установленное регламентом время в часы наименьшей загрузки учётных систем большие объемы информации передаются из источников в корпоративное хранилище. Определена необходимая историческая глубина хранения. Выше мы уже говорили о необходимости разгрузить оперативные учетные системы, и подобная архитектура решения снимает эту проблему.

Затем на основе Business Objects были разработаны семантические слои, через которые доступ к отчетам получали руководство и сотрудники дирекции по работе с операторами связи. Семантический слой позволяет пользователям системы, не обладающим специальными знаниями, работать с данными, представленными в привычных бизнес-терминах — например, «доход», «продолжительность соединения» и т. п. По окончании работ у «Комстар-ОТС» появилась возможность оперативного мониторинга и анализа прошедшего трафика по операторам и направлениям. Информацию из созданных отчетов группа компаний использует для формирования ценовой политики и оптимизации маршрутов соединений.

АНАЛИТИЧЕСКАЯ СИСТЕМА ПОДДЕРЖКИ ПРИНЯТИЯ РЕШЕНИЙ

Опыт разработки системы анализа межоператорского трафика признан успешным. Было решено начинать второй проект по созданию масштабной аналитической системы поддержки принятия решений Management Information System (MIS). Его предпосылками стали постоянное расширение абонентской базы, а также стремление компании оперативно реагировать на изменения конъюнктуры рынка и повысить эффективность корпоративного управления. Были сформулированы стратегическая и тактические цели проекта. Стратегическая цель — создание системы управления эффективностью деятельности компании на основе стратегического планирования, контроля исполнения и системы сбалансированных показателей. А тактические цели включали в себя следующие пункты:

• автоматизацию и повышение эффективности работы руководства и менеджмента компании путем предоставления им средств для анализа всей необходимой информации;
• возможность управления компанией на основе анализа ключевых показателей эффективности (KPI);
• поиск закономерностей в деятельности компании и прогнозирование на их основе.

Проект создания MIS состоял из трех этапов, предусматривавших постепенное расширение охвата областей анализа, групп пользователей и источников данных. На первом этапе (о котором мы уже рассказали выше) была создана система мониторинга и оперативного анализа трафика для дирекции по работе с операторами связи. На втором функ­циональность MIS расширена в интересах финансового и коммерческого блоков группы компаний, обеспечен анализ финансовых и натуральных показателей, реализована возможность представлять необходимую информацию высшему руководству для принятия управленческих решений. На третьем этапе планируется развитие системы в интересах всех департаментов компании. В MIS кроме биллинговых систем в качестве источников данных используются система технических ресурсов NetCracker и HR-система. В будущем планируется подключение корпоративной ERP-системы, CRM-системы SalesLogix и других. Кроме того, была выделена отдельная система нормативно-справочной информации (НСИ), которая обеспечивает возможность ручной очистки данных о клиентах, так как в разных биллинговых системах они и сейчас не до конца согласованы. Дополнительно через НСИ можно классифицировать измерения. За интеграцию данных и помещение их в корпоративное хранилище отвечает IBM WebSphere DataStage, но уже с использованием единой системы НСИ.

Разработанный семантический слой включает более двухсот логических объектов, объединенных в 57 классов, и позволяет проводить всесторонний анализ информации и строить регламентную отчетность. Выделены две группы основных показателей работы компании — финансовые и натуральные. В первую попали разные виды доходов: с налогами и без налогов, в различных валютах, с корректировками и без них, чистые начисления. Во вторую — количество клиентов и лицевых счетов, а также такие специфические для телекоммуникационных компаний показатели, как объем интернет- и телефонного трафика, количество каналов и точек доступа, количество телефонных номеров и соединительных линий, размер переданной в аренду площади и т. д.

Измерения разделены на следующие основные классы: временные; измерения по структуре клиентской базы; измерения по предоставляемым компанией услугам. Некоторые измерения отсутствуют в источниках данных, но представляют большой интерес для аналитиков предприятия. Для их построения используется подсистема НСИ, обеспечивающая возможность дополнительной классификации услуг группы компаний.

Такая настраиваемая классификация позволяет группировать услуги по службам (телефония, интернет-доступ, продажа оборудования и т. д.), по технологии предоставления, по типам начисления (абонентская или установочная плата, оплата трафика и т. п.), по типам и направлению трафика. Кроме указанных существует измерение самого нижнего уровня — в соответствии с классификатором биллинговых услуг. Оно учитывает особенности тарификации каждой услуги. По клиентам и структуре клиентской базы основными измерениями являются лицевые счета клиентов, типы клиентов и их лицевых счетов, принадлежность к тому или иному филиалу, сегментация клиентов по группе доходности.

ИТОГИ

В относительно короткие сроки (восемь с половиной месяцев) в группе компаний «Комстар-ОТС» было построено корпоративное хранилище на основе интеграции данных из существующих учетных систем, разработана и внедрена в эксплуатацию информационно-аналитическая система, обеспечивающая широкие возможности многомерного анализа информации и построения регламентной отчётности. Реализованный в системе уровень детализации данных позволяет анализировать показатели вплоть до лицевого счета клиента и единичной биллинговой услуги. Поддержка истории ведения основных справочников дает возможности для анализа показателей как в историческом аспекте, так и относительно их текущего состояния.

Система позволяет анализировать соответствие между натуральными и финансовыми показателями. Стало возможно рассчитать доход от группы услуг, например от передачи данных через Интернет. В результате создан информационный фундамент для внедрения информационно-аналитической системы поддержки принятия решений на основе анализа ключевых показателей деятельности.

Автор: Денис Легезо