Ako fotogrametria vytvára 3D modely závodu z fotografií

Druhá zmena začína skúšku logistického vláčika vo východnej hale. Výkres od projektantov stále ukazuje širokú uličku medzi lismi a bufferom veľkých vriec. V skutočnosti sa tá ulička pred šiestimi mesiacmi zatvorila, keď oddelenie balenia cez noc postavilo nový rad regálov. Vodič ide podľa výkresu, nie podľa haly, a zastaví krátko pred oceľou, ktorá v dvojčati nikdy nebola. Logistika viní mapu. Projektanti vinia nezdokumentovaný presun. Obe strany majú pravdu vo svojich súboroch. Žiadna z nich však nemá 3D model závodu v dnešnom stave.

‍

Existujúce závody (brownfield) sa s touto medzerou stretávajú neustále. Zameranie skutočného stavu sa v praxi už dnes považuje za povinné pred väčšou zmenou layoutu, kontrolou únikových trás alebo návrhom trás AGV, pretože papierové CAD podklady prestanú platiť v momente, keď údržba presunie ochranu stĺpa, nabíjaciu stanicu alebo dočasný buffer. Fotogrametria túto medzeru zacelí: z fotografií skutočnej haly získa metrickú geometriu strojov, značenia na podlahe, všetkého, čo tam stojí navyše, aj regálu, ktorý nikto nenakreslil. Keď sa z výslednej polygónovej siete (mesh) stane model závodu v twinzu, ďalšia skúška trasy prebehne v uličke, ktorou ľudia naozaj chodia, nie v uličke z minuloročného výkresu.

‍

Typická situácia: presun linky cez víkend skončí v nedeľu večer. V pondelok ráno však RTLS a analýzy vysokozdvižných vozíkov stále bežia na stenách z minulého týždňa. Niekto prejde halu s fotoaparátom alebo preletí areál dronom, snímky spracuje cez zarovnanie, hustú rekonštrukciu a tvorbu polygónovej siete a model potom vymení pod rovnakými aktuálnymi polohami. Operátori otvoria 3D a spoznajú svoje lisy. Práve o to ide v prevádzke. Zvyšok článku popisuje technický postup, vďaka ktorému takú sieť možno vytvoriť.

‍

Fotogrametria je meranie tvaru a polohy z fotografií. Hĺbku z jedného snímku nevymýšľa. Využíva rovnaký geometrický princíp ako stereo videnie: bod na povrchu sa pri pohybe kamery premieta do iných pixelov a táto paralaxa nesie informáciu o vzdialenosti, len čo poznáte vzájomnú polohu kamier a ich vnútornú optiku.

‍

Klasická letecká fotogrametria tento princíp formalizovala rovnicami kolinearity. Bod objektu v 3D, stred premietania kamery a bod na snímke ležia na jednom lúči. Ak sú k dispozícii dva alebo viac kalibrovaných pohľadov na ten istý bod, lúče sa v priestore objektu pretnú. Moderné metódy Structure-from-Motion (SfM) a Multi-View Stereo (MVS) túto myšlienku automatizujú v mierke závodu. Z neusporiadanej sady fotografií určia polohy kamier a riedku štruktúru a potom mračno zahusťujú, kým každý dobre štruktúrovaný povrch nemá dosť bodov na vytvorenie siete.

‍

Preto je prekrytie snímok povinné. Jedna fotka stanovišťa lisov je dokumentácia. Päťdesiat fotiek s veľkým pozdĺžnym a bočným prekrytím je merateľný objem. Bez základne medzi pohľadmi paralaxa zaniká a hĺbka je nestabilná. Bez textúry, na ktorú sa algoritmus párovania dokáže zachytiť, lúče nenájdu spoľahlivé zhody. Fotogrametria je optika, geometria a párovanie obrazu spolu, nie filter, ktorý z jedného záberu urobí „3D“.

‍

Profesionálne nástroje (RealityCapture, Agisoft Metashape, Autodesk ReCap, Pix4D a balíky geodetických dodávateľov) skrývajú matematiku za jednotlivé kroky, no kroky sú vždy rovnaké.

‍

1. Detekcia a popis príznakov: algoritmy ako SIFT, SURF, AKAZE alebo naučené detektory nájdu kľúčové body, ktoré ostanú stabilné aj pri zmene uhla pohľadu a osvetlenia: hlavy skrutiek, logá, rohy značenia na podlahe, spoje regálov. Každý kľúčový bod dostane vektor (deskriptor), podľa ktorého sa páruje medzi snímkami.

2. Párovanie príznakov a geometrické overenie: predbežné zhody sa filtrujú epipolárnymi podmienkami a algoritmom RANSAC, aby chybné dvojice z opakujúcich sa regálov alebo rovnakých strojov nepokazili výsledok. Zostávajúce zhody sú pozorovania, z ktorých sa určujú polohy kamier.

3. Riedka rekonštrukcia a zväzkové vyrovnanie (bundle adjustment): inkrementálne alebo globálne SfM odhadne vonkajšie parametre kamier (polohu a orientáciu) a riedku množinu 3D bodov. Zväzkové vyrovnanie potom spoločne spresní polohy, body a často aj vnútorné parametre tak, že minimalizuje chybu spätného premietnutia v celom bloku snímok. Práve tento krok zabráni tomu, aby sa pri prechode 200 m (približne 660 ft) dlhou halou od jedného konca k druhému hromadila chyba a model sa nedeformoval.

4. Husté Multi-View Stereo: keď sú polohy kamier spoľahlivé, MVS doplní hĺbku takmer pre každý pixel, ktorý sa zachytáva na viacerých snímkach. Výstupom je husté farebné mračno bodov, v hale závodu často s desiatkami až stovkami miliónov bodov.

5. Tvorba siete a textúrovanie: rekonštrukcia povrchu (Poissonova, Delaunayova alebo vlastné varianty) vytvorí nad mračnom trojuholníkovú sieť. Fotografické textúry sa na ňu premietajú alebo miešajú, aby operátori videli lisy a značenie uličiek, nie šedú škrupinu.

‍

Ak je slabý niektorý z raných krokov, neskoršie ho nezachránia. Pri zlom prekrytí alebo rozmazaní pohybom zlyhá už párovanie. Slabé zväzkové vyrovnanie pokazí mierku a šírku uličky. Nedostatočné husté pokrytie sa prejaví dierami v sieti okolo strojov. S celým postupom treba zaobchádzať ako s reťazcom so známymi slabými článkami, nie ako s tlačidlom, ktoré vyrieši všetko jedným kliknutím.

‍

Plánovanie snímania rozhoduje o úspechu väčšiny projektov v závodoch ešte skôr, než sa otvorí softvér. Prekrytie je podiel obsahu scény, ktorý spolu zdieľajú susedné snímky. Pri mapovaní dronmi sa bežne cieli na približne 70 až 80 % pozdĺžneho a 60 až 70 % bočného prekrytia pri mriežkach so zábermi kolmo nadol. Pri prechode haly pešo platí rovnaká myšlienka v 3D: každý povrch, na ktorom záleží, má byť vo viacerých záberoch z výrazne odlišných uhlov, nie z jedného okruhu, ktorý nikdy nezmení základňu.

‍

Základňa (vzdialenosť medzi polohami kamery) je kompromis: čím je väčšia, tým ťažšie sa snímky párujú. Ak je príliš malá, šum v hĺbke rastie, lebo paralaxa je nepatrná. Ak je príliš veľká, párovanie zlyháva na zložitých strojoch so zakrytými miestami. Pri dobrom snímaní sú po sebe idúce zábery dosť blízko, aby sa dali spárovať, a zároveň sa uhly pohľadu okolo regálov a lisov dosť líšia, takže sa skryté plochy zachytia v ďalších prechodoch.

‍

Ground Sample Distance (GSD) je skutočná veľkosť jedného pixelu na povrchu. Nižšie (jemnejšie) GSD znamená viac detailov a náročnejšie spracovanie. Model do digitálneho dvojčaťa v interiéri, ktorý má ukázať značenie uličiek a siluety strojov, zvyčajne potrebuje jemnejšie GSD než model strechy areálu, kde stačia pôdorysy budov. Vonku GSD určujú výška letu, ohnisková vzdialenosť a veľkosť pixelu senzora, v interiéri vzdialenosť pri chôdzi a voľba objektívu. Ak potrebujete hrany presné pod 1 cm (0,4 in) na kontrolu priechodnosti pre AGV, snímanie tomu prispôsobte. Pekná, ale hrubá sieť na takú otázku neodpovie.

‍

Každá fotografia sa interpretuje cez model kamery: ohniskovú vzdialenosť, hlavný bod a skreslenie objektívu (radiálne a tangenciálne). Fotogrametria dokáže veľa týchto vnútorných parametrov odhadnúť priamo pri zväzkovom vyrovnaní, najmä pri mnohých zbiehavých záberoch. Aj tak pomáha stabilný objektív s pevnou ohniskovou vzdialenosťou a jednotné nastavenie. Zoomové objektívy a výrazný rolling shutter z lacných videosnímok pridávajú systematickú chybu, ktorá vyzerá ako pokrivené uličky alebo vydutá stena.

‍

Vhodnejšie sú statické snímky s nízkym šumom ISO, dostatočne rýchlou uzávierkou na zmrazenie pohybu pri chôdzi a hĺbkou ostrosti, ktorá drží ostrý celý snímaný objem. Rozmazanie pohybom ničí kľúčové body. Silná kompresia ničí jemnú textúru. RAW alebo kvalitné JPEG zo zrkadlovky alebo priemyselnej kamery dáva pri metrickej práci v mierke haly lepšie výsledky než bežné video z telefónu, hoci telefóny stačia na malé pilotné bunky, ak očakávania zodpovedajú senzoru.

‍

Rovnaká expozícia po celej dĺžke haly je dôležitejšia pre textúry než pre geometriu. Veľké výkyvy svetla medzi slnečnými dverami rampy a tmavými jamami pod strojmi spôsobujú švy v textúrach a výpadky párovania. Tímy často snímajú po zónach pri ovládateľnom osvetlení alebo prijmú, že kvalita textúr bude kolísať, a dôveru v merania ponechajú na dobre osvetlenej a dobre prekrytej štruktúre.

‍

Rekonštrukcia SfM bez mierky má správny tvar, ale neznámu mierku a polohu. Môže vyzerať správne a pritom merať zle. Na použitie v digitálnom dvojčati je potrebná absolútna mierka a ideálne aj registrácia do súradnicového systému závodu, aby dráhy z RTLS, súradnice skladových miest z ERP, steny z CAD a fotogrametrická sieť zdieľali jednu podlahu.

‍

Bežné postupy: mierkové tyče alebo známe vzdialenosti odmerané pásmom medzi označenými bodmi, pozemné kontrolné body (GCP) zamerané totálnou stanicou alebo GNSS vonku a zarovnanie na existujúce CAD kontrolné body či stavebnú mriežku. Zväzkové vyrovnanie môže tieto pozorovania použiť ako podmienky, takže sa celý blok napasuje na metre a orientáciu. Treba skontrolovať rezíduá. Veľká chyba GCP znamená zlé zameranie, zlú viditeľnosť terčov alebo deformovaný blok, ktorý potrebuje väčšie prekrytie alebo rozdelenie na zóny.

‍

Bez tohto kroku dávajú vyhodnotenie výskytu v oblastiach aj simulácia trás nesprávne výsledky, ktoré pôsobia presvedčivo. Rampa, ktorá na obrazovke vyzerá správne, ale je o 4 % kratšia, posunie každú značku kamióna aj každú hranu zakázanej zóny, ktorú v twinzu nakreslíte. Georeferencovanie preto patrí k zameraniu, nie je to voliteľné dolaďovanie po dokončení peknej siete.

‍

Matematika rekonštrukcie je rovnaká. Platforma, ktorá snímky zachytáva, mení pokrytie, GSD aj spôsoby zlyhania.

‍

• Ručne, telefónom alebo tabletom: systematické obchádzanie bunky alebo bufferu. Vhodné na pilotné projekty a ostrovy strojov. Slabé pri areáloch s rozlohou viacerých hektárov, ak nepočítate s mnohými snímacími dňami a starostlivým spájaním blokov. Treba si dať pozor na rolling shutter a automatickú expozíciu.

• Pozemné sústavy kamier a snímacie vozíky: zrkadlovky alebo priemyselné kamery na tyčiach, statívoch či ručných vozíkoch, niekedy v kombinácii s LiDARom. Najlepšie na detail v interiéri v mierke haly, ak sa dá spomaliť premávka. Zbiehavé fotografie fasád a radov strojov zlepšujú hĺbku na zvislých plochách, ktoré záber len zhora vynechá.

• Fotogrametria z dronu (UAV): letové mriežky so snímkami v nadire pre strechy a areály a šikmé prelety pre čelá ramp a plášte budov. Štandard pre geometriu areálu od brány po rampu. Plán letu určuje GSD, prekrytie a limity vetra. RTK alebo PPK GNSS na lietadle znižuje počet GCP vonku, ale nenahrádza kontrolné body.

• Letecké snímkovanie s pilotom a satelitné stereo: letecké zameranie (pushbroom alebo snímkové) a stereo či viacpohľadové satelitné produkty dávajú DEM a textúrovaný terén v regionálnej mierke. Rozlíšenie je hrubšie než pri prechode haly, no výška terénu, pôdorysy a okolie trás stačia pre dvojčatá areálov, logistické parky a plánovanie trás vonku, kde sa nedá preletieť každý hektár s GSD ako v interiéri.

‍

Závody tieto platformy zvyčajne kombinujú. Interiér s lismi a uličkami pozemne alebo hybridne, areály dronom a širšie okolie satelitným alebo leteckým DEM. twinzo dokáže zobraziť takto zložené siete, takže asfalt pri rampe z dronu leží vedľa radu lisov z haly bez toho, aby sa všade musel použiť jeden senzor.

‍

Hustá rekonštrukcia potrebuje jedinečný a stabilný vzhľad. Biele steny bez štruktúry, leštená nerezová oceľ, lesklé epoxidové podlahy, sklo a opakujúce sa rovnaké regály sú v priemysle klasické prípady, pri ktorých rekonštrukcia zlyháva. Odlesky sa pohybujú s kamerou, takže ich algoritmus považuje za rôzne povrchy. Priehľadné a lesklé materiály porušujú predpoklad nepriehľadného lambertovského povrchu, ktorý je zabudovaný v mnohých metódach MVS.

‍

Postupy overené v reálnych závodoch: dočasné kódované terče alebo páskové značky na prázdnych stenách, pridaná dočasná textúra (odnímateľná matná fólia) na kritických paneloch, polarizované alebo riadené osvetlenie, snímanie lesklých buniek LiDARom na získanie štruktúry pri zachovaní fotogrametrickej textúry inde a prijatie dier, ktoré sa potom vyplnia primitívmi z CAD. Pohybujúci sa ľudia, vysokozdvižné vozíky a visiaci mäkký tovar tiež vytvárajú „duchovú“ geometriu. Snímať treba v plánovaných oknách, keď je premávka slabá, alebo pohybujúce sa objekty vymaskovať v spracovateľskom softvéri, ak to softvér umožňuje.

‍

Zakrytie je geometrické, nie fotometrické. Druhý rad lisov skrýva prvý z mnohých uhlov. Okruhy treba plánovať tak, aby sa pozerali medzi stroje, a nielen stredom hlavnej uličky. Ak sa plocha nikdy neobjaví na dvoch dobre zarovnaných snímkach, v hustom mračne nevznikne, nech nastavíte posuvníky kvality akokoľvek vysoko.

‍

Husté mračno je správny výstup na meranie, hľadanie kolízií a archiváciu zamerania. Ako každodenný objekt pre vedúceho zmeny s tabletom je nevhodné. Body sa netieňujú ako steny, zle sa v nich vyberá pri kreslení oblastí a prehliadače to nezvládnu, keď sa viacgigabajtový súbor LAS alebo E57 používa ako interaktívna hala.

‍

Tvorba siete premieňa vzorky na povrch. Poissonova rekonštrukcia a príbuzné metódy odhadnú z orientovaných bodov implicitný povrch a z neho vytiahnu trojuholníkovú sieť. Čistenie odstráni plávajúci šum, tenké plochy po ľuďoch, ktorí prešli skenovanou scénou, a hroty na lesklom kove. Redukcia počtu trojuholníkov zníži ich počet v prázdnych objemoch a zachová hrany uličiek a siluety strojov, ktoré ľudia používajú ako orientačné body. Textúrovanie prenesie farbu z fotografií na UV plochy alebo využije miešanie premietnutí pre jednotlivé trojuholníky.

‍

Typické odovzdanie: v piatok príde zo zamerania husté mračno. Modelovanie z neho urobí textúrovaný FBX alebo OBJ v limitoch veľkosti, ktoré interaktívne platformy očakávajú. V pondelok už tá istá výrobná hala stojí v twinzu s popismi Lis, Sklad veľkých vriec a Nabíjacia stanica. Vrstevnice sa pri spracovaní môžu ešte zobrazovať ako kontrola výšky, no operátori sa pohybujú po sieti. Mračno slúžilo na meranie, sieť slúži ako dvojča.

‍

Satelitná fotogrametria využíva stereo alebo viacpohľadové dvojice snímok z rôznych orbitálnych geometrií. Stereo pozdĺž dráhy alebo naprieč dráhou dáva paralaxu potrebnú pre digitálne modely povrchu (DSM) a výškové modely terénu (DEM). Racionálne polynomiálne koeficienty (RPC) alebo rigorózne modely senzora nahrádzajú jednoduchý dierkový model kamery držanej v ruke, no princíp merania sa nemení: zodpovedajúce body na snímkach sa v priestore objektu pretnú, len čo je známa orientácia.

‍

Rozlíšenie závisí od družicovej konštelácie a produktu. Komerčné snímky s rozlíšením pod 1 m (približne 3 ft) dobre vykreslia budovy, areály a cesty pre dvojčatá areálov a regionálnu logistiku. Na posúdenie rozostupov lisov pozemný sken haly nenahradia. Vrstevnice na modeli terénu sú priamou vizualizáciou výškového poľa, užitočnou tam, kde sklon, odvodnenie, trasy záplav alebo vonkajšie prístupové cesty ovplyvňujú trasy od brány po rampu a plánovanie zásahov.

‍

Satelitnú a leteckú fotogrametriu s pilotom použite na kontext a terén. Dron a snímanie haly použite na čelá ramp, šírku uličiek a rozpoznanie strojov. Vrstvenie hrubého exteriéru s jemným interiérom je štandardný geodetický postup, nie kompromis. Simulácia trás vonku tak ostane vecná bez toho, aby sa vyžadovalo interiérové GSD pre každý okolitý hektár.

‍

LiDAR meria vzdialenosť pomocou doby letu alebo fázového rozdielu laserového odrazu. Fotogrametria meria vzdialenosť nepriamo z paralaxy snímok. Obe môžu vytvoriť mračno bodov aj sieť. Presnosť sa líši podľa povrchu. Tmavé, lesklé alebo priehľadné materiály párovanie fotografií rozbijú. Pri niektorých odrazoch LiDARu je problém s lesklými povrchmi, ktoré odraz nevrátia, alebo s viacnásobnými odrazmi, no LiDAR si často poradí lepšie na stenách bez textúry, kde fotogrametria nenájde žiadne kľúčové body. Fotogrametria zvyčajne ponúkne lepšiu farebnú textúru a vizuálne rozpoznanie bez samostatného prechodu s kamerou. Pri areáloch je zas často lacnejšia na hektár fotogrametria z dronu.

‍

V priemyselných mapovacích vozíkoch a geodetických postupoch sú bežné hybridy: LiDAR na štruktúru mračna, kamery na textúru a na doplnenie zón priaznivých pre fotografie. Dvojča nezaujíma, ktorý senzor vytvoril ktorý trojuholník, ak je výsledná sieť v správnej mierke, čistá a rozpoznateľná. Prevádzke škodí krásne mračno bez mierky, ktoré sa nikdy nepremení na model použiteľný v twinzu, alebo dvojča len z CAD, ktoré ignoruje minulomesačný presun regálov. Voľte podľa toho, čo zlyháva. Pri zastaraných výkresoch a chýbajúcom kontexte vonku sa ponúka fotogrametria. Pri meraní na leštených zariadeniach LiDAR alebo hybrid.

‍

Fotogrametria prestane byť geodetickým projektom, keď je sieť podkladom pre reálnu prácu. V twinzu importujete model haly alebo areálu, zarovnáte ho na pôdorys a súradnice závodu a potom spustíte úlohy, ktoré si pravú geometriu vyžadovali od začiatku: umiestnite kamión dodávateľa bez tagu, nasimulujte pohyb od brány po rampu, nakreslite oblasti, sledujte výskyt a čas zotrvania a nechajte si poslať upozornenie pri vstupe do zakázanej zóny.

‍

1. Snímanie: naplánujte prekrytie, GSD a platformu pre každú zónu (ručne, v hale, dron, satelit).

2. Rekonštrukcia: príznaky, párovanie, zväzkové vyrovnanie, husté MVS.

3. Kontrola: mierky, GCP, registrácia na mriežku závodu, kontrola rezíduí.

4. Optimalizácia: vyčistenie, sieť, textúra, redukcia trojuholníkov, export FBX alebo OBJ pre interaktívne použitie.

5. Kombinácia: doplnenie podkladov z CAD alebo Blenderu tam, kde je sken slabý alebo kde nová linka existuje len ako projektové dáta. Dodávateľské riešenia na snímanie, napríklad NavVis alebo Leica, zapadajú do rovnakého postupu, aký popisuje článok Ako naskenovať závod.

6. Prevádzka: RTLS, IoT a umiestnené objekty na tomto kombinovanom modeli s analýzami a upozorneniami.

‍

Na prvé užitočné dvojča nepotrebujete dokonalé zachytenie celého areálu. Naskenujte východnú halu, pre ktorú zlyhala skúška logistického vláčika. Preleťte dronom areál, kde vzniká čas zotrvania pri príjme. Budúce krídlo ponechajte v CAD, kým sa nepostaví. Zmiešané 3D je spôsob, ako existujúce závody ostanú metricky presné bez nekonečného opätovného zameriavania tichých kútov.

‍

Fotogrametrický model starne ako výkres. Ďalšia prestavba cez víkend ho opäť znehodnotí. Za model skutočného stavu by mala zodpovedať správa areálu alebo priemyselné inžinierstvo. Výroba určuje okná, v ktorých sa môže snímať. Logistika zodpovedá za nové zameranie areálu, keď sa zmenia obrubníky. Čiastočné opätovné zameranie treba spustiť, keď sa presunie linka, objaví sa rad regálov alebo sa nanovo vyznačia vonkajšie odstavné plochy. Danú zónu spracujte znova, záplatu vymeňte a znova skontrolujte väzbu na mriežku závodu. Aktuálnosť je požiadavka merania. Analýzy nad šesť mesiacov starou geometriou učia nesprávnu mapu.

‍

Rovnaká aktuálna sieť sprístupní aj ďalšiu prácu:

‍

• Kontrola priechodnosti pre AGV a AMR: meranie voči uličke, ktorá existuje, nie voči voľnému priestoru z CAD, ktorý zmizol.

• Kontrola požiarnych a únikových trás: trasy sa porovnajú so skutočnými prekážkami, ktoré zachytila sieť vytvorená z mračna.

• Diskusie o investičnom layoute: navrhovaný CAD model vložíte do fotogrametrického modelu existujúceho závodu a uvidíte kolízie so susedmi.

• Zaškolenie dodávateľov: ukážte halu skôr, než sa vytlačí prvá priepustka.

• Prehrávanie incidentov: ľudí a vozidlá umiestnite na geometriu, ktorá zodpovedá skutočnému stanovišťu.

‍

Vyberte zónu, kde výkresy už zlyhali: zatvorenú uličku, skutočný výklenok v areáli, rad lisov, ktorý operátori spoznajú. Naplánujte prekrytie a GSD pre túto úlohu, prejdite postupom až po riadenú mierku, z hustého mračna vytvorte sieť, v ktorej sa dá pohybovať, načítajte ju do dvojčaťa a ďalšie rozhodnutie o trase alebo zakázanej zóne urobte na geometrii, ktorá zodpovedá stavu haly na aktuálnej zmene.

‍

Ozvite sa nám a postup si prejdeme na modeli vášho závodu.

‍