U bent hier: Home > Blog > Data Warehousing & Business Intelligence

Poor man’s synchronization

Phil, 8 juli 2011

Recently a customer presented me with the following challenge: they wanted data to be synchronized from HQ to a remote site and in both ways. But they had one big limitation. There was only budget for Standard Edition of the Oracle database. That ruled out a lot of Enterprise Edition features and separately licensed options like Advanced Queueing, Streams and advanced features of materialized views. Even Oracle Golden Gate would be too expensive in the customer’s situation. So a hand built mechanism is provided by Transfer Solutions.

Overview

At HQ data is stored in several Oracle tables. These modifications are logged in a send table. On regular intervals this send table is read from the remote site. The data is copied and applied to the database at remote. This process is equally implemented for metadata from remote on the HQ site. Due to a network latency of 200ms both sites have their own system. These systems have to be synchronized at all times.

In the next figure an overview of the mechanism is shown. (meer…)

De Transfer Solutions Warehouse Support Kit

Lennart de Vos, 6 december 2010
Dit is deel 4 van een reeks van 4 artikelen in de serie BI-ervaringen bij onze klanten

Transfer Solutions heeft de bestaande kennis en ervaring op het gebied van OWB gebruikt in het opzetten van WSK, de Warehouse Support Kit: WSK kun je zien als een set generieke bouwsteentjes. WSK is dus een toolkit en géén product. De bouwsteentjes waaruit WSK bestaat, worden ‘experts’ genoemd. Deze experts zijn te vergelijken met een soort van macro’s met parameters. De voordelen van het gebruik van deze experts zijn: snelheid en standaardisatie bij het werken met een OWB-repository. WSK biedt grote voordelen bij het opzetten van een nieuwe OWB-repository, maar kan ook worden ingezet bij bestaande OWB-repositories. (meer…)

KPI’s definiëren en ontwerpen OWB-repository bij netbeheerder

Lennart de Vos, 3 december 2010
Dit is deel 3 van een reeks van 4 artikelen in de serie BI-ervaringen bij onze klanten

Een netbeheerder van energienetwerken is sinds een paar jaar begonnen met het definiëren van KPI’s. Het is de bedoeling dat deze KPI’s niet meer handmatig via Excel worden ingevuld, maar dat dit automatisch gebeurt. Op managementniveau zijn er momenteel ongeveer 20 KPI’s onderkend.

(meer…)

Beheer OWB bij een financieringsmaatschappij

Lennart de Vos, 2 december 2010
Dit is deel 2 van een reeks van 4 artikelen in de serie BI-ervaringen bij onze klanten

Transfer Solutions verzorgt het onderhoud van een datawarehouse bij een financieringsmaatschappij voor ontwikkelingssamenwerking. Bij deze klant wordt gewerkt met OWB versie 10gR2. Wij bieden ondersteuning bij het onderhouden van de OWB-repository.

Er wordt gewerkt met een aparte test-repository en een productie-repository. Opleveringen worden uitgevoerd met behulp van de export-import-functionaliteit van OWB. Hierdoor ontstaan er geen onduidelijkheden meer met welke metadata wordt gewerkt. Er zijn twee belangrijke projecten binnen de OWB-repository waaraan wordt ontwikkeld.

(meer…)

Beheer datawarehouse en Business Objects bij een veterinair-farmaceutisch bedrijf

Lennart de Vos, 30 november 2010
Dit is deel 1 van een reeks van 4 artikelen in de serie BI-ervaringen bij onze klanten

Een veterinair-farmaceutisch bedrijf heeft een groot datawarehouse in gebruik, dat in 2001 is ontwikkeld. Dit datawarehouse betreft sales-gegevens (inclusief budgetten) en gegevens over voorraden. Deze cijfers worden op maandbasis aangeleverd uit verschillende landen door de vestigingen van deze klant.

Sinds 2004 voeren wij beheerwerkzaamheden uit voor deze klant. Dit betreft onder andere het laden van data in de datawarehouse. Dit is een relatief rechttoe rechtaan ETL-proces: views worden een-op-een overgezet naar tabellen. Alle complexiteit zit in de views, OWB wordt dus in vereenvoudigde vorm gebruikt. Daarnaast onderhouden we een applicatie om masterdata (bv. productdefinities) te beheren.

(meer…)