Хранилища данных

Хранилища данных - статьи

Системы поддержки принятия решений — основа ИТ-инфраструктуры различных компаний, поскольку эти системы дают возможность преобразовывать обширную бизнес-информацию в ясные и полезные выводы. Сбор, обслуживание и анализ больших объемов данных, — это гигантские задачи, которые требуют преодоления серьезных технических трудностей, огромных затрат и адекватных организационных решений.
Системы оперативной обработки транзакций (online transaction processing — OLTP) позволяют накапливать большие объемы данных, ежедневно поступающих из пунктов продаж. Приложения OLTP, как правило, автоматизируют структурированные, повторяющиеся задачи обработки данных, такие как ввод заказов и банковские транзакции. Эти подробные, актуальные данные из различных независимых точек ввода объединяются в одном месте, и затем аналитики смогут извлечь из них значимую информацию. Агрегированные данные применяются для принятия каждодневных бизнес-решений — от управления складом до координации рекламных рассылок.

Технология баз данных в системах поддержки принятия решений
Системы оперативной обработки транзакций (online transaction processing — OLTP) позволяют накапливать большие объемы данных, ежедневно поступающих из пунктов продаж. Приложения OLTP, как правило, автоматизируют структурированные, повторяющиеся задачи обработки данных, такие как ввод заказов и банковские транзакции. Эти подробные, актуальные данные из различных независимых точек ввода объединяются в одном месте, и затем аналитики смогут извлечь из них значимую информацию.

BI для массового использования: барьеры, которые нужно преодолеть
Это вопрос простой арифметики. Покупка и реализация BI-приложений может оказаться очень и очень дорогой. Одни только лицензии на BI-порталы, ETL-инструменты и средства управления эффективностью оцениваются шестизначными цифрами. Даже лидирующий на рынке инструмент для создания отчетов и запросов часто оценивается в сотни тысяч долларов за лицензию для группы пользователей.

Business Intelligence обещает значительный рост
Аналитики предсказывают, что в 2005 г. Business Intelligence (сокр. BI) может стать очень привлекательной областью для IT-инвестиций. Так ли это? Для того чтобы ответить на данный вопрос, известный информационный портал Analyst Views в феврале 2005 г. опубликовал обзор текущих тенденций на рынке BI технологий. Авторы обзора, отталкиваясь от определения Business Intelligence как таковой, обсуждают причины, по которым растет интерес к этим технологиям, и возможные "ловушки", подстерегающие пользователей, а также дают несколько рекомендаций тем, кто намерен использовать данные системы.

Немного истории
Зададимся вопросом: какая предпосылка важнее всего для выживания в условиях современного изменчивого рынка? Ответ прост: информация, а точнее,— полезная информация. И ни в одной другой отрасли этот фактор не имеет такого огромного значения, как в страховании. Вот что, собственно, призваны обеспечить инструменты Business Intelligence— Хранилища данных, OLAP, средства datamining. Если внимательно изучить всю структуру страховой отрасли, становится ясно, что BI играет важнейшую роль практически для всех ее элементов.

Выбор системы бюджетирования: основные требования
Рано или поздно настанет пора сменить имеющееся программное обеспечение (ПО) для бюджетирования. Какой должна быть новая система? Сводя десятки, а то и сотни электронных таблиц в один основной бюджет, мы рискуем сделать процесс бюджетирования и планирования чрезвычайно трудоемким и подверженным многим ошибкам: обычно эта задача выполняется раз в год и ее результаты могут устареть к тому моменту, когда бюджет будет наконец-то утвержден.

Verizon Communications Inc: разработка ССП для управления персоналом
После принятия Акта о телекоммуникационных системах в 1996г. перед многими компаниями в США встала необходимость адаптации к новым условиям. Кроме того, теперь многие компании оказались вынуждены в прямом смысле бороться за каждого клиента. Джей Рендалл Макдоналд (J. Randall MacDonald), вице-президент HR-отдела (HR - Human Resources, персонал компании.

Verizon Communications Inc: внедрение ССП для управления персоналом 2
Из сотрудников HR-отдела была сформирована рабочая группа, которая должна была разработать конкретную модель для реализации этих стратегических задач. Группа была названа "Планирование, оценка и анализ" (Planning, Measurement and Analysis - ПОА) и состояла из 4 человек под руководством Гаррета Уолкера (Garret Walker). Уолкер уже занимал раньше ряд должностей в GTE, кроме того, он также участвовал в решении организационных вопросов.

Новый подход к построению корпоративного
Пару лет назад у одной крупной европейской компании, специализирующейся в области энергетики, появилась возможность последовательно проанализировать рентабельность любой коммерческой операции. Ранее такой анализ был трудновыполним, поскольку в каждой стране существовала своя схема распределения затрат. Поэтому полной неожиданностью для компании стала ситуация, сложившаяся в одной стране: выяснилось, что в ней присутствует большое число низко доходных, единичных операций. Поясним, что данная ситуация нетипична для продавца, потому что, как правило, для него массовые продажи менее прибыльны по сравнению с низким объемом сделок.

Дадим слово критикам
Различные Data Mining проекты (как сложные и так простые) внедряются многими компаниями, которые хотят извлечь некий смысл из тех необработанных данных, объем которых непреклонно растет в последние годы. В одной из статей в журнале Engineering News-Record отмечалось, что за счет электронной коммерции компаниям удается собирать огромные объемы данных о клиентах, начиная с количества Web-пользователей в семье и кончая стоимостью машин в их гаражах.

Оперативные финансовые услуги Wells Fargo
Мэри Д’Агостино (Mary D'Agostino), вице-президент и директор по финансам, стратегии и планированию подразделения, занимающегося представлением оперативных финансовых услуг Online Financial Services group, OFS) в компании Wells Fargo, направилась в свой офис после семинара, продолжавшегося полдня в декабре 1997 года. На этом мероприятии управление, работающее над проектом создания сбалансированной системы показателей (СПП — balanced scorecard BSC), обсуждало и, наконец, утвердило основные показатели эффективности для семи целей, лежащих в основе одной из стратегических задач OFS: находить и сохранять ценных и потенциально выгодных клиентов.

Реализация системы сбалансированных показателей
Подразделение OFS узнало о сбалансированной системе показателей во время обсуждения, которое проводил соавтор этой концепции и один из руководителей консалтинговой компании Renaissance Worldwide (расположенной в штате Массачусетс) Дэвид Нортон (David Norton). Дудлей Нигг и руководство Wells Fargo были впечатлены новым подходом, предлагающим интеграцию набора многомерных показателей для оценки достижения поставленных целей.

Технология изнутри
Информационные системы традиционной архитектуры ( 1) в каждый момент обеспечивают доступ лишь к одному источнику данных. Объясняется это тем, что до недавнего времени не существовало ни универсального языка для данных, ни качественных метаданных. Если пользователи желают получить необходимые данные из нескольких источников, они должны располагать точными метаданными, описывающими хранимые данные в форматах, доступных для чтения на различных платформах.

Что Business Intelligence предлагает бизнесу
В период кризиса, охватившего практически все компьютерные технологии, область BI оказалась одним из немногих островов процветания в нынешнем далеком от благополучия мире. Более того, аналитики Gartner Group считают, что в области BI предстоят настоящие прорывы. Серьезные перспективы они связывают с новым направлением — New Business Intelligence (NBI).

Архитектура современной информационно-аналитической системы
В современном деловом мире в любых областях деятельности объемы информации, с которыми приходится сталкиваться организациям, просто колоссальны. И от того, в какой степени организация способна извлечь максимум из имеющейся в ее распоряжении информации, зависит успех. Залог успеха - в построении эффективной информационно-аналитической системы (ИАС).

Как использовать Business Intelligence в страховании
Современный бизнес ведется в информационную эпоху, в эпоху интенсивного распространения сетевых технологий и методов обработки данных. И все же малые и средние страховые компании до сих пор пользуются старыми системами для мэйнфреймов, ежемесячно генерирующими готовые управленские отчеты, в которых объединяются оперативные данные из этих систем. Однако в течение нескольких лет возможности таких систем полностью себя исчерпали.

Интеграция корпоративной информации: новое направление
Совсем недавно появился новый тип интеграции - интеграция корпоративной информации (Enterprise information integration, сокр. EII). Как считает ряд аналитиков, EII - это отдельный и особый вид интеграции, если его сравнивать с интеграцией приложений. Разумеется, может возникнуть вопрос: так ли это, и какое место в этом случае занимает интеграция данных? Чем они отличаются друг от друга и отличаются ли?

Адаптивное управление по прецедентам, основанное на классификации состояний управляемых объектов
В последнее время активно развивается "неклассический" подход к теории управления. Этот подход связан с применением алгоритмов и методов интеллектуального управления автономными подвижными объектами на основе нечеткой логики, нейронных сетей и генетических алгоритмов. С этим же подходом связаны ситуационное управление на основе иерархических моделей с нечеткими предикатами; модели и алгоритмы принятия решений по защите информации на основе методов искусственного интеллекта.

Интервью с Найджелом Пендзом
Найджел Пендз является авторитетным аналитиком в области Business Intelligence и OLAP, редактором Internet-издания The BI Verdict (ранее называвшегося The OLAP Report и автором ежегодного обзора The BI Survey (ранее называвшегося The OLAP Survey). В области бизнес-аналитики он работает с 1977 года, сначала как пользователь, затем как менеджер по продажам различных BI-продуктов, а впоследствии как независимый консультант.

Нyperion Pillar и Hyperion Essbase. Характеристики продуктов. Пример применения
Hyperion Pillar? одно изнаиболее известных решений нарынке продуктов бюджетирования. Любой продукт, позволяющий менеджерам подразделений планировать свою деятельность таким образом, как они привыкли мыслить, должен обладать достаточно гибкими функциями для распознавания информации ираспределения ресурсов различными способами. Hyperion Pillar имеет хорошие возможности моделирования бизнес-процессов, благодаря которым менеджеры, задавая определенные связи между данными, могут больше немучиться смакросами или формулами вэлектронных таблицах.

Развитие рынка ПО для бюджетирования
В основе современного рынка программного обеспечения (ПО) для планирования и бюджетирования лежат такие новые направления, как: стратегическое планирование методом «сверху-вниз», мероприятия по масштабному сбору и интеграции данных, «основанные на допущениях» (assumption-driven) аналитические инструменты. В статье рассказывается об использовании передовых технологий этого рынка для принятия своевременных решений в быстро развивающихся компаниях.

Характеристики процесса
Быть или не быть? Как принять правильное решение? Этот вечный вопрос мы задаём себе на протяжении всей жизни. И как часто принимаем решения в лучшем случае на основе интуиции, а зачастую просто «тыча пальцем в небо».

Популярные продукты для бюджетирования. SAS и Comshare
Традиционно планирование ибюджетирование выполнялось, как правило, раз вгод ипредставляло собой статический процесс, ориентированный восновном наимеющиеся фактические данные, аненапрогнозируемые возможности. Однако сейчас наступил этап перехода кболее гибкой, динамической модели планирования, которая чаще оправдывает себя напрактике.

Характеристики BI-среды
Доступность данных: В BI-среде должны быть доступны данные по всем видам деятельности компании. Это очень важно, так как большинство необходимых пользователю приложений будут обращаться к нескольким источникам данных. Обычно требуются сведения об агентах, агентствах, «третьих фирмах», отдельных продуктах, кодах схем и транзакциях, операциях с претензиями, о выплатах вознаграждений агентам и целях продаж.

Методы трансляции
В беспроводных сетях трансляция является основным методом функционирования на физическом уровне. Именно она используется для распространения информации в беспроводных каналах и гарантирует масштабируемость при передаче большого объема данных. Особенно эффективно рассылку данных можно осуществлять, комбинируя две схемы — push- и pull-трансляцию. Этот подход основан на асимметрии в беспроводных коммуникациях и позволяет сократить энергопотребление в режиме приема.

Data Mining на службе у таможни
Развитие корпоративных баз данных в сжатом во времени виде повторяет общую историю развития ИТ. Корпорации начинают с небольших разрозненных баз, работающих под управлением скромных СУБД, постепенно переходя к централизованным базам на основе полномасштабных СУБД. Однако, накопив огромное количество данных, корпорации осознают, что само по себе обладание данными еще не дает им преимуществ.

Эволюция CASE -средств моделирования
Представление о Business Intelligence отечественных специалистов, например [1], позволяет рассматривать программный CASE -инструментарий моделирования бизнес-систем и бизнес-процессов как разновидность BI -инструментария

Что такое Business Intelligence?
Термин «business intelligence» существует сравнительно давно, хотя у нас он мало употребляется из-за отсутствия адекватного перевода и четкого понимания, что, впрочем, характерно и для Запада. Попытаемся разобраться в его сути.

Классификация OLAP-систем вида xOLAP
На сегодняшний день разработано множество продуктов, реализующих технологию оперативной аналитической обработки данных OLAP (OnLine Analytical Processing). В свою очередь, существуют разнообразные модели OLAP, число которые с каждым годом увеличивается. Модели OLAP обретают свойства, изменяющие их особенности, достоинства и недостатки. Чтобы не запутаться в этом многообразии, модели OLAP необходимо классифицировать.



Хранилище данных: вопросы и ответы
Хранилище данных как важнейший инструмент управления и развития бизнеса приковывает к себе все большее внимание. Публикации на эту тему обычно затрагивают технический и технологический аспекты. Мы же обратимся к некоторым концептуальным вопросам построения хранилищ и области их применения в банковском секторе.

Основы современных баз данных

На первой лекции мы рассмотрим общий смысл понятий БД и СУБД. Начнем с того, что с самого начала развития вычислительной техники образовались два основных направления ее использования. Первое направление - применение вычислительной техники для выполнения численных расчетов, которые слишком долго или вообще невозможно производить вручную. Становление этого направления способствовало интенсификации методов численного решения сложных математических задач, развитию класса языков программирования, ориентированных на удобную запись численных алгоритмов, становлению обратной связи с разработчиками новых архитектур ЭВМ.
Второе направление, которое непосредственно касается темы нашего курса, это использование средств вычислительной техники в автоматических или автоматизированных информационных системах. В самом широком смысле информационная система представляет собой программный комплекс, функции которого состоят в поддержке надежного хранения информации в памяти компьютера, выполнении специфических для данного приложения преобразований информации и/или вычислений, предоставлении пользователям удобного и легко осваиваемого интерфейса. Обычно объемы информации, с которыми приходится иметь дело таким системам, достаточно велики, а сама информация имеет достаточно сложную структуру. Классическими примерами информационных систем являются банковские системы, системы резервирования авиационных или железнодорожных билетов, мест в гостиницах и т.д.

Базы данных и файловые системы
Восстановление после мягкого сбоя
К числу основных проблем восстановление после мягкого сбоя относится то, что одна логическая операция изменения базы данных может изменять несколько физических блоков базы данных, например, страницу данных и несколько страниц индексов. Страницы базы данных буферизуются в оперативной памяти и выталкиваются независимо. Несмотря на применение протокола WAL, после мягкого сбоя набор страниц внешней памяти базы данных может оказаться несогласованным, т.е. часть страниц внешней памяти соответствует объекту до изменения, часть - после изменения. К такому состоянию объекта не применимы операции логического уровня.

Языки программирования объектно-ориентированных баз данных
К настоящему моменту нам неизвестен какой-либо язык программирования ООБД, который был бы спроектирован целиком заново, начиная с нуля. Естественным подходом к построению такого языка было использование (с необходимыми расширениями) некоторого существующего объектно-ориентированного языка. Начало расцвета направления ООБД совпало с пиком популярности языка Smalltalk-80. Этот язык оказал большое влияние на разработку первых систем ООБД, и, в частности, использовался в качестве языка программирования. Во многом опирается на Smalltalk и известная коммерчески доступная система GemStone.

Самоучитель по Development of Safety

Однажды мне позвонил клиент и попросил прийти к нему в офис. Когда я пришел, он попросил меня установить брандмауэр, чтобы обезопасить свою сеть. Перед тем. как устанавливать брандмауэр, я поинтересовался о политике безопасности компании. Он с любопытством посмотрел на меня и спросил: "А зачем она мне нужна?".
В годы повального увлечения Internet такой ответ скорее является правилом, чем исключением. В организациях проводится продуманная политика управления персоналом, документация которой иногда занимает гору бумаги, но нет никакой политики информационной безопасности. Если же такая политика и разрабатывалась, то, в лучшем случае, вам вручат 5 листов бумаги, в которых описаны активы корпорации с многомиллионным оборотом.

Введение
Развитие сети Internet подталкивает организации к расширению своих сетей. Это помогает привлекать новых клиентов и строить взаимоотношения с ними на новой экономической основе, что, в свою очередь, вызывает потребность в новых книгах и руководствах. Кроме того, Internet открывает электронные пути к информационным активам организаций, в том числе и для взломщиков. Открытость Internet делает заботу о безопасности приоритетной задачей.

Что собой представляет политика информационной безопасности
Также как кадровая политика подразумевает наличие четких правил, которым должны подчиняться служащие и администраторы, политика информационной безопасности определяет, каким образом компания хочет обеспечить безопасность информационных активов. Необходимо запомнить один из важнейших постулатов: информация является активами компании. Не всегда руководство компании осознает ценность информационных активов, которыми обладает, но конкуренты вполне могут заплатить тысячи и даже миллионы долларов, чтобы изучить или даже похитить эти активы.

Определение целей политики
Теперь, поскольку мы уже знаем, что собой представляют правила информационной безопасности, и располагаем поддержкой руководства, следующим этапом будет выяснение, что именно необходимо защитить. Этот вопрос выходит за рамки аппаратных средств и программного обеспечения, а охватывает всю систему целиком. Очень важно понять суть деловых операций, которые сопровождают технологический процесс.

Обязанности в области информационной безопасности
Те, кто читает эту книгу с первой главы, вероятно, хотел бы, чтобы она сразу начиналась с описания разработки правил безопасности. Однако перед тем как начать разрабатывать правила безопасности, необходимо получить ясное понимание ролей и обязанностей отдельных лиц в организации по отношению к безопасности. Как уже говорилось в первых двух главах, для успеха программы информационной безопасности поддержка руководства является наиболее важным моментом.

Физическая безопасность
Правила физической безопасности несложны, поскольку каждый понимает идею физической защиты собственности. Но хорошая политика должна охватывать не только стандартные концепции оружия, охраны и пропускных пунктов. При разработке правил также должно учитываться планирование аварийного резерва оборудования и процедуры его восстановления после аварии. В данной главе рассмотрены отдельные вопросы, которые необходимо включить в правила безопасности.

Аутентификация и безопасность сети
Безопасность сети охватывает не только Internet, но и любое сетевое подключение или интерфейс. Насколько строго обеспечивается защита любых интерфейсов, зависит от требований, предъявляемых к ним, их функционального назначения и степени доверия между обеими сторонами подсоединения. Правила защиты всей сети и внутрисетевых подключений являются частью программы безопасности сети, которая охватывает такие вопросы, как адресация сети, подсети и средства управления подключениями к сети.

Правила безопасности Internet
С развитием технологий Internet каждая организация стремится подключить к Internet свои системы и инфраструктуры. Эта книга полезна для тех, чья организация вошла в мир пользователей системы реального времени, и, поэтому, необходимо позаботиться о ее защите от вмешательства извне. Проблема в том, что многие разработчики политики безопасности организации рассматривают правила безопасности Internet как руководство по всеобщей защите сетей организации.

Правила безопасности электронной почты
Электронная почта появилась одновременно с Internet. Сообщения отправляются практически в реачьном времени и совершенно ненавязчиво. Получатель не должен немедленно читать сообщение, потому что это не телефонный звонок. Такой подход даст отправителю возможность тщательно сформулировать сообщение.

Вирусы, "черви" и "троянские кони"
Не проходит и недели без слухов о новых вирусах, "червях" и "троянских конях", которые инфицировали сети или компьютеры. Решение этих проблем не только требует немалых денежных затрат, но и чревато снижением объема производства, который может в дальнейшем и не быть компенсирован.

Шифрование
Пересылка данных через Internet должна рассматриваться как электронный эквивалент почтовых открыток. Взломщики пробуют, насколько легко выкачать эту информацию и создать ложные сеансы пользователей, которые затем могут быть использованы для создания набора параметров, определяющих настройку системы. Они могут похитить идентификационные реквизиты пользователей, а также запортить другую информацию.

Правила разработки программного обеспечения
Разработка программного обеспечения представляет собой искусство компилирования закодированных инструкций таким образом, чтобы преобразовать их в понятную программу для запуска на компьютере. Подобно иным видам искусства, базирующимся на научных теориях, ошибки и другие упущения могут привести к катастрофическим результатам. С развитием Internet недоработки в программном обеспечении, обеспечивающем функционирование Web-страниц, пересылку электронной почты или доступ к другим серверам, делают системы уязвимыми для атак извне.

Правила надежной работы
AUP является документом, в котором собраны все необходимые пользователям правила. В AUP собраны фрагменты правил организации, отражающие обязанности пользователей в области обеспечения безопасности. В основном, в этих фрагментах резюмируются отдельные мысли правил, и написаны они простым языком. Хороший документ AUP должен быть кратким и точным. В идеале, AUP должен занимать всего лишь несколько страниц.

Согласование и внедрение
После завершения разработки правил информационной безопасности наступает этап утверждения и внедрения этих правил. Хорошо, если можно было бы доверять пользователям и всем остальным, кто имеет доступ к системам и сети организации. Для обеспечения гарантий защищенности систем и сети нужно определить правила согласования и внедрения, в которых разъясняются меры, принимаемые при нарушениях правил безопасности.

Процесс пересмотра правил
Итак, в организации разработали и внедрили правила безопасности. Пользователи прошли обучение, время от времени случаются инциденты, и все осведомлены о требованиях информационной безопасности. Но мы знаем, что правила безопасности являются всего лишь средством для внедрения в работу собственных положений. Рано или поздно вы обнаружите, что некоторые правила устарели и только мешают нормальной работе.

Глоссарий
Эти определения дадут четкое понимание терминов, которые использовались в данной книге. Чем больше технических терминов в книге, тем больше требуется информации, чтобы лучше понять содержание.

Ресурсы
Данные ресурсы представляют собой список адресов Web-узлов, документы, а также другую информацию, которая может оказаться полезной при разработке правил информационной безопасности и внедрении программы защиты информации в вашей организации. Информацию по вопросам безопасности можно получать из самых разных источников.

Примеры правил
На протяжении всей этой книги предлагались примеры формулировок правил. По отдельности они представляют собой довольно полезные образцы, но, как известно, люди хотят иметь полное представление о полном наборе правил. В этом приложении представлены три различных экземпляра правил, которые были взяты из документов, разработанных автором для различных организаций.