Hogyan csökkentettük nyílt forráskódú technológiákkal 1 napról 10 perce a szükséges adattárház munkát?

Az EuroMACC részt vesz az egyik nagy magyarországi cég adattárházának kiépítésében. Az adatokat a saját számlázási rendszerünkből kellett transzformációt követően átemelni a nagyvállalati adattárházba. A feladat legalább 1 nap Java fejlesztői munkát igényelt volna az előzetes erőforrásbecslések alapján.

Szakembereink a Hyper-X Billing számlázási rendszerünk microservice alapú új verziójának fejlesztésénél kezdték el a garantált üzenet továbbításra használható nyílt forráskódú Kafka technológia használatát. Így mivel már ismerték Kafkát, adódott a megoldás: használjunk Kafkát a projektben!

A számlázó rendszerből a Pentaho Data Integration Community Edition nevű nyílt forráskódú ETL adattranszformációs technológiával PostgreSQL adatbázisba tesszük az adatokat. Innen már csak pár kattintás a grafikus felületen, és az adatok a Kafkán keresztül az adattárházba mennek. A Kafka kapcsolat létrehozásához nem volt szükség fejlesztésre, és ráadásul nagyon rövid idő alatt, alig 10 perc alatt el lehetett végezni a feladatot.