Data lake

Data lake je centralizované a vysoko škálovateľné úložisko na ukladanie, spracovanie a zabezpečenie obrovského množstva štruktúrovaných, pološtruktúrovaných aj neštruktúrovaných dát v ich pôvodnom, surovom formáte. Tradičné relačné databázy alebo dátové sklady vyžadujú, aby sa dáta pred načítaním vyčistili, mali pevnú štruktúru a schému (tento postup sa volá schema-on-write). Data lake naproti tomu prijme dáta v pôvodnej podobe a štruktúru na ne použije až pri čítaní alebo dopytovaní (schema-on-read). Vďaka takejto flexibilnej architektúre zvláda veľké objemy rýchlych a veľmi rôznorodých dátových tokov, ktoré vznikajú v moderných priemyselných podnikoch.

V prostredí Priemyslu 4.0, inteligentnej výroby a logistiky slúži data lake ako základná vrstva, kde sa dáta zbiehajú. Prijíma rôznorodé zdroje dát: vysokofrekvenčné časové rady zo senzorov internetu vecí (IoT) vo výrobnej hale, výstupy z programovateľných logických automatov (PLC), záznamy zo systémov plánovania podnikových zdrojov (ERP), logy zo systémov riadenia výroby (MES), prepravné dokumenty z dodávateľského reťazca aj video s vysokým rozlíšením z kamier na kontrolu kvality. Keď sa tieto izolované zdroje dát spoja v jednom úložisku, podniky môžu dáta analyzovať naprieč oblasťami, čo predtým nebolo možné.

Pri nasadení digitálneho dvojčaťa data lake funguje ako zdroj historických aj aktuálnych dát. Aby digitálne dvojča verne zrkadlilo svoj fyzický náprotivok, potrebuje nepretržitý a presný tok prevádzkových dát. Data lake tento tok ukladá a poskytuje tak rozsiahle súbory dát na trénovanie modelov strojového učenia, na simulácie založené na fyzikálnych zákonoch aj na vedenie histórie správania zariadenia počas celého jeho životného cyklu. Vďaka tomu je možná podrobná spätná analýza aj predikcia, a zo surových prevádzkových dát sa tak stávajú využiteľné podklady pre rozhodovanie.

Hlavné súčasti

Škálovateľná úložná vrstva: Ide o fyzickú alebo cloudovú úložnú infraštruktúru, napríklad Amazon S3 alebo Azure Data Lake Storage, ktorá dokáže lacno a na neurčito uchovať petabajty surových dát v akomkoľvek formáte. Priemyselné podniky môžu kapacitu úložiska zvyšovať nezávisle od výpočtového výkonu, takže dlhodobá archivácia dát zostáva finančne udržateľná.

Kanály na príjem dát: Sú to nástroje na dávkové spracovanie a streamovacie nástroje v reálnom čase, napríklad Apache Kafka, ktoré nepretržite zbierajú dáta z edge zariadení, automatov PLC a podnikových databáz a prenášajú ich do úložiska. Starajú sa o prechod dát zo siete prevádzkových technológií (OT) vo výrobnej hale do prostredia informačných technológií (IT) v cloude.

Katalóg metadát: Je to centrálny adresár, ktorý indexuje, označuje a dokumentuje uložené dáta, aby ich používatelia a analytické aplikácie vedeli nájsť, pochopiť a vysledovať pôvod konkrétnych súborov dát. Bez spoľahlivého katalógu metadát sa data lake rýchlo stane neprehľadným a nepoužiteľným.

Dopytovacie nástroje so schema-on-read: Tieto analytické nástroje a frameworky na spracovanie, napríklad Apache Spark, Presto alebo cloudové dopytovacie služby, pridajú surovým dátam štruktúru a schému až v okamihu spustenia dopytu. Analytici dát a inžinieri tak môžu spúšťať zložité dopyty a analýzy bez toho, aby museli podkladové súbory vopred upravovať.

Rámce správy a bezpečnosti: Patria sem zoznamy riadenia prístupu, šifrovacie protokoly a pravidlá správy životného cyklu dát, ktoré chránia citlivé prevádzkové a firemné dáta. Zabezpečujú súlad s priemyselnými štandardmi a zaručujú, že ku konkrétnym dátam majú prístup iba oprávnení pracovníci a aplikácie.

Využitie vo výrobe a logistike

Vo výrobe sa data lake používajú najmä na prediktívnu údržbu a na architektúru digitálnych dvojčiat. Ak sa do nich nepretržite ukladajú vysokofrekvenčné údaje o vibráciách, teplote a zvuku z CNC strojov alebo robotických ramien spolu s historickými záznamami o údržbe, analytici dát môžu natrénovať prediktívne algoritmy, ktoré odhalia anomálie ešte pred poruchou zariadenia. Digitálne dvojča výrobnej linky navyše dopytuje data lake, aby porovnalo aktuálne prevádzkové parametre s historickými hodnotami. Vďaka tomu možno virtuálne testovať zaťaženie a analyzovať úzke miesta bez prerušenia fyzickej prevádzky.

V logistike a pri riadení dodávateľského reťazca data lake spájajú rôznorodé dáta z GPS lokátorov, RFID tagov, informácií o počasí a systémov riadenia skladu (WMS). Vďaka tomu môžu logistické firmy v reálnom čase optimalizovať trasy vozidiel, predpovedať meškanie dodávok podľa histórie počasia a dynamicky riadiť zásoby v distribučných centrách po celom svete. Data lake zbúra bariéry medzi dodávateľmi, dopravcami a skladmi a poskytne prehľad o celom hodnotovom reťazci od začiatku do konca, čo umožňuje flexibilnejšie rozhodovanie.

Prínosy a úskalia

Hlavným prínosom priemyselného data lake je jeho mimoriadna flexibilita a nízke náklady. Úložisko je oddelené od výpočtového výkonu, preto podniky môžu ukladať veľké objemy surových dát z prevádzkových technológií (OT) aj informačných technológií (IT) za zlomok nákladov na tradičné relačné databázy. Surové dáta sa nikdy nezahadzujú, takže sa k historickým súborom dát možno vrátiť aj po rokoch a natrénovať na nich nové modely strojového učenia technikami, ktoré v čase zberu dát ešte možno neexistovali. Data lake tiež sprístupňuje dáta širšiemu okruhu ľudí a uľahčuje spoluprácu medzi inžiniermi, prevádzkou a obchodnými analytikmi.

Zavedenie data lake má však aj vážne úskalia, predovšetkým riziko, že sa zvrhne v takzvaný „data swamp“ (dátová bažina). Ak chýba dôsledná správa metadát, správa dát a katalogizácia, úložisko sa môže zmeniť na neprehľadný cintorín nezdokumentovaných súborov a dáta sú potom nepoužiteľné. Prepojenie starších OT systémov, ktoré často používajú vlastné, neštandardné komunikačné protokoly, s modernými cloudovými data lake si navyše vyžaduje zložité edge computing gateway a prekladové vrstvy. Aby sa digitálne dvojčatá aktualizovali v reálnom čase, treba tiež zabezpečiť príjem a spracovanie dát s nízkou latenciou, čo je veľmi náročné aj na orchestráciu dátových kanálov.

Súvisiace pojmy

Kto sa zaoberá architektúrou priemyselných data lake, narazí často na súvisiace pojmy, napríklad dátový sklad, ktorý ukladá vysoko štruktúrované dáta orientované na podnikové potreby a optimalizované na reporting v SQL. Ďalším je data lakehouse, moderná hybridná architektúra, ktorá spája flexibilné ukladanie data lake s transakčnými schopnosťami a súladom s ACID, aké má dátový sklad. Tretím sú IIoT gateway (gateway priemyselného internetu vecí, IIoT), čiže edge hardvér, ktorý zbiera surové dáta zo strojov, filtruje ich a posiela do data lake.

Časté otázky

Aký je rozdiel medzi data lake a dátovým skladom? Data lake ukladá surové, neštruktúrované alebo pološtruktúrované dáta bez vopred definovanej schémy a štruktúru im dodá až pri čítaní (schema-on-read), a preto sa hodí na strojové učenie a prieskumnú analýzu. Dátový sklad naopak ukladá vysoko štruktúrované, vyčistené a namodelované dáta podľa pevnej schémy (schema-on-write) a je optimalizovaný najmä na business intelligence, bežný reporting a dopyty v SQL.

Ako data lake podporuje digitálne dvojčatá v reálnom čase? Data lake sa tradične spájajú s dávkovým spracovaním, no moderné architektúry používajú vrstvy streamovaného príjmu v reálnom čase a aktuálnu telemetriu posielajú priamo do úložiska. Digitálne dvojča z prichádzajúceho toku získava dáta na vizualizáciu a synchronizáciu stavu v reálnom čase. Súčasne využíva historické dáta uložené v data lake na prediktívne simulácie a na zasadenie aktuálneho výkonu do súvislostí.

Čo je „data swamp“ a ako sa mu môžu priemyselné podniky vyhnúť? Data swamp je zdegenerovaný data lake, ktorý sa pre chýbajúcu organizáciu, metadáta a správu stal nepoužiteľným, takže používatelia v ňom dáta nevedia nájsť a neveria im. Podniky sa tomu vyhnú dôslednou katalogizáciou dát, automatickým označovaním metadátami už pri príjme, jasnými pravidlami vlastníctva dát a pravidelnými kontrolami životného cyklu dát, pri ktorých sa zastarané súbory archivujú alebo vymazávajú.

Môže sa staršie výrobné zariadenie pripojiť priamo k data lake? Staršie výrobné zariadenia sa zvyčajne priamo pripojiť nedajú, pretože komunikujú starými priemyselnými protokolmi, ako sú Modbus, OPC DA alebo Profibus, ktoré nie sú kompatibilné s API cloudových úložísk. Podniky tento rozdiel preklenú pomocou IIoT gateway (gateway priemyselného internetu vecí, IIoT) alebo edge počítačov, ktoré tieto staré protokoly prijmú, dáta prevedú do štandardizovaných formátov, ako sú JSON alebo OPC UA, a bezpečne ich odošlú do data lake.