Dátový sklad

Dátový sklad (DWH) je centrálne úložisko, v ktorom sa ukladajú, zlučujú a analyzujú štruktúrované a pološtruktúrované dáta z rôznych prevádzkových systémov podniku. V priemyselnej výrobe, logistike a pri digitálnych dvojčatách slúži ako analytický základ. Zhromažďuje historické dáta zo systémov plánovania podnikových zdrojov (ERP), systémov riadenia výroby (MES), sietí dispečerského riadenia a zberu dát (SCADA), systémov riadenia skladu (WMS) a senzorov internetu vecí (IoT).

Na rozdiel od prevádzkových databáz optimalizovaných na transakčné spracovanie (OLTP) je dátový sklad optimalizovaný na dotazy a analýzu (OLAP). Surové dáta z oddelených prevádzkových systémov prevádza do jednotného formátu optimalizovaného na čítanie. Vďaka historickému úložisku len na čítanie môžu inžinieri, vedúci prevádzky aj dátoví analytici spúšťať zložité analytické dotazy, sledovať trendy a vytvárať reporty business intelligence bez toho, aby spomalili bežiace výrobné systémy.

V architektúre digitálneho dvojčaťa je dátový sklad hlbokou historickou pamäťou. Samotné digitálne dvojča synchronizuje stav fyzických zariadení v reálnom alebo takmer reálnom čase, napríklad robotického ramena, flotily dodávkových vozidiel alebo celej montážnej linky. Dátový sklad k tomu dodáva históriu za niekoľko rokov, ktorá je potrebná na trénovanie modelov strojového učenia, na algoritmy prediktívnej údržby aj na analýzu príčin porúch strojov.

Hlavné súčasti

Integrácia dát a procesy ETL/ELT: tieto procesy získavajú surové dáta z rôznorodých priemyselných zdrojov (napríklad SCADA, MES a WMS), transformujú ich čistením, odstraňovaním duplicít a zjednotením schém a nahrávajú ich do skladu. V moderných cloudových architektúrach sa to často mení na model Extract-Load-Transform (ELT), pri ktorom sa surové dáta najprv nahrajú priamo do prípravnej oblasti a štruktúrujú sa až pred uložením do skladu.

Repozitár metadát: slúži ako adresár, ktorý určuje štruktúru, pôvod, ďalší tok (lineage) a obchodné pravidlá uložených dát. Vo výrobe vďaka nemu možno hodnotu zo senzora na konkrétnom PLC v hale spätne priradiť k ID fyzického zariadenia, jeho histórii kalibrácie a prevádzkovému kontextu.

Databázové úložisko (OLAP engine): jadro dátového skladu je optimalizované na online analytické spracovanie (OLAP) a zvyčajne používa stĺpcové ukladanie namiesto riadkového. Vďaka tomu systém rýchlo prejde a agreguje milióny riadkov historických dát zo senzorov alebo logistiky a vypočíta ukazovatele, napríklad celkovú efektívnosť zariadení (OEE) alebo časy cyklu v dodávateľskom reťazci.

Data marts sú špecializované podmnožiny dátového skladu pre konkrétne útvary alebo oblasti, napríklad prediktívnu údržbu, optimalizáciu zásob alebo nákup. Rozdelením dát do cielených data marts môžu firmy zrýchliť dotazy a zjednodušiť riadenie prístupu pre jednotlivé skupiny používateľov.

Využitie vo výrobe a logistike

V priemyselnej výrobe sú dátové sklady nevyhnutné na výpočet a optimalizáciu celkovej efektívnosti zariadení (OEE) vo viacerých výrobných závodoch. Keď inžinieri spoja historické záznamy o prestojoch strojov z MES s vysokofrekvenčnou telemetriou zo systémov SCADA, dokážu odhaliť dlhodobé opotrebovanie strojov. Táto historická základňa je nutná pre programy prediktívnej údržby. Modely strojového učenia z dátového skladu zisťujú, ako vyzerá bežná prevádzka počas sezón a výrobných cyklov, a vďaka tomu predpovedia poruchu súčiastky aj niekoľko týždňov vopred.

V logistike a riadení dodávateľského reťazca dátový sklad zhromažďuje dáta z WMS, systémov riadenia dopravy (TMS) a externej telematiky. Firmy tak môžu analyzovať celkové dodacie lehoty, optimalizovať slotting v sklade podľa historickej rýchlosti objednávok a simulovať výpadky v dodávateľskom reťazci. Ak je dátový sklad prepojený s digitálnym dvojčaťom logistickej siete, poskytuje historické rozdelenie dôb prepravy a výskytu úzkych miest. Dvojča vďaka tomu vie spúšťať veľmi presné simulácie a otestovať odolnosť alternatívnych trás.

Prínosy a úskalia

Hlavným prínosom dátového skladu v priemysle je „jediný zdroj pravdy“, ktorý odstraňuje dátové silá medzi prevádzkou, inžinierstvom a financiami. Keď sú dáta zlúčené do jednotnej schémy, dajú sa robiť analýzy naprieč oddeleniami. Napríklad spotrebu energie z podružných meračov možno priradiť ku konkrétnym výrobným šaržiam a presne vypočítať uhlíkovú stopu na jeden vyrobený kus. Keďže sa dotazy spracúvajú v sklade, prevádzkové systémy (napríklad bežiace MES alebo databázy ERP) sa pri náročných analytických úlohách nespomalia.

Zriadiť a udržiavať priemyselný dátový sklad však prináša značné úskalia, najmä pokiaľ ide o rýchlosť a rôznorodosť dát. Priemyselné prostredie produkuje obrovské objemy časových radov zo senzorov IoT, ktoré môžu tradičné relačné dátové sklady rýchlo preťažiť, ak sa dáta nerozdelia do úrovní alebo ak sa nepoužije hybridná architektúra lakehouse. Ďalšími prekážkami sú kvalita dát a zosúladenie významu. Zjednotiť rozdielne časové značky, merné jednotky a pomenovania zariadení v starších systémoch vyžaduje rozsiahlu správu dát a dôkladný návrh ETL, čo môže znamenať vysoké počiatočné náklady na zavedenie aj trvalú záťaž pri údržbe.

Súvisiace pojmy

Dátový sklad úzko súvisí s ďalšími pojmami dátovej architektúry v priemyselnom ekosystéme digitálneho dvojčaťa. Často sa porovnáva s pojmom data lake, ktorý ukladá surové, neštruktúrované dáta v pôvodnom formáte ešte pred spracovaním, a s pojmom data lakehouse, ktorý spája flexibilitu surového úložiska typu lake so štruktúrovaným výkonom dotazov typu sklad. Okrem toho sa výrazne opiera o databázy časových radov, ktoré zvládajú vysokofrekvenčnú telemetriu zo senzorov, kým sa dáta zhrnú a nahrajú do skladu na dlhodobé analytické reporty.

Časté otázky

Aký je rozdiel medzi dátovým skladom a data lake? Dátový sklad ukladá vysoko štruktúrované, vyčistené a spracované dáta optimalizované na konkrétne analytické dotazy a reporty business intelligence. Data lake naopak ukladá surové, neštruktúrované alebo pološtruktúrované dáta (napríklad surové záznamy zo senzorov, obrázky a dáta vo formáte JSON) v pôvodnom formáte, takže ich dátoví analytici môžu neskôr skúmať a spracovať na rôzne prieskumné účely.

Ako dátový sklad podporuje digitálne dvojča? Digitálne dvojča zobrazuje aktuálny stav a bezprostredné správanie fyzického zariadenia v reálnom čase, dátový sklad k tomu dodáva hlboký historický kontext. Digitálne dvojča z neho získava historické základné hodnoty výkonu, záznamy o minulej údržbe a dlhodobé trendy prostredia, ktoré sú potrebné na prediktívne simulácie a algoritmy detekcie anomálií.

Zvládne dátový sklad aj priebežné dáta zo senzorov IoT v reálnom čase? Tradičné dátové sklady sú určené na dávkové spracovanie a nie sú optimalizované na príjem dát v reálnom čase s odozvou pod sekundu. Moderné cloudové dátové sklady a hybridné architektúry lakehouse však používajú procesy priebežného príjmu, ktoré výrazne znižujú latenciu. Vysokofrekvenčné surové časové rady sa aj tak zvyčajne predtým agregujú alebo filtrujú, a až potom sa trvalo uložia do skladu, aby sa udržali náklady na úložisko aj výkon dotazov.

Prečo nemôžeme spúšťať analytické dotazy priamo v databázach ERP alebo MES? Databázy ERP a MES sú transakčné systémy určené na rýchle jednotlivé operácie čítania a zápisu (napríklad zmenu stavu objednávky alebo zápis stavu stroja) s maximálnou dostupnosťou a rýchlosťou. Ak sa v týchto živých databázach spustia zložité, náročné analytické dotazy nad miliónmi historických riadkov, môže to výrazne znížiť ich výkon. V systéme potom môže narásť latencia, aplikácie sa môžu zrútiť alebo sa môže narušiť prebiehajúca práca v hale.