Práce s daty telekomunikační sítě pomocí platformy FME
O projektu
Přečtěte si, jak řešení společnosti Globema založené na platformě FME pro zpracování a integraci dat podpořilo telekomunikační společnost Nexera. Naše řešení pomohlo společnosti Nexera automatizovat proces validace dat, opravit chyby a urychlit migraci dat o síti společnosti do jejich systému evidence.
Obsah:
Společnost Nexera byla založena v roce 2017 a je vedoucím velkoobchodním telekomunikačním operátorem v Polsku. Společnost buduje optickou přístupovou síť nové generace (NGA) s velkou šířkou pásma. Operátor se účastní operačního programu Digitální Polsko a buduje optickou síť v okolí centrální a severovýchodní části země. Cílem je poskytnout připojení více než 1 milionu domácností a více než 3 tisícům škol a dalších vzdělávacích jednotek.
Výzvy
Jako moderní telekomunikační operátor zavedla společnost Nexera systém evidence sítě, aby mohla řídit své obchodní procesy v digitální podobě. Klíčovým prvkem implementace evidenčního systému byl přesun dat o síti na základě projektové dokumentace (as-built) ve formátu CAD. Společnost zmigrovala data do evidenčního systému Cross.
V počáteční fázi se ukázalo, že údaje v projektové dokumentaci obsahují mnoho chyb, například nejasné vazby mezi body sítě nebo nedostatek informací v rámci atributů. To značně komplikovalo proces migrace. Kdykoli se v systému vyskytl problém, celý proces byl pozastaven. To vyžadovalo identifikaci a nalezení chyby, její opravu a obnovení migrace dat. Nutnost opakování jednotlivých kroků činila migraci příliš pracnou a časově náročnou.
Společnost Nexera proto potřebovala řešení, které by jí umožnilo dokončit účinnou validaci a opravu dat. To by provozovateli pomohlo rychle a bezproblémově zmigrovat projektovou dokumentaci do evidenčního systému.
Rozsah projektu
15500
Plocha evidované sítě
13000
Celková délka optické sítě
92000
Počet připojených optických vláken
168000
Počet ostatních objektů sítě (např. šachty, sloupy)
6200
Délka technické infrastruktury kabelového vedení
Řešení
Nexera oslovila Globemu, jediného distributora softwaru FME ve střední a východní Evropě. FME se používá pro zpracování, integraci a migraci dat a nabízí výjimečnou podporu pro různé formáty geoprostorových dat.
Úkolem společnosti Globema bylo pomoci operátorovi zpracovat data o téměř 13 tisících kilometrech optické sítě a více než 6 tisících kilometrech technické infrastruktury kabelového vedení. Tato data pak měla být vložena do evidenčního systému společnosti Nexera.
Globema spolu s výrobcem as-built dokumentace použila FME skript pro vytvoření vstupních souborů, které se ve správný okamžik načtou do systému evidence sítě. Současně jsme vytvořili mechanismus, který automaticky identifikuje a opravuje chyby v dokumentaci.
FME umožnilo týmu odhalit a opravit chyby ještě předtím, než měla být data načtena do systému. Tím se omezil počet opakování potřebných pro načtení migrovaných dat a celý proces se urychlil.
Analýza zdrojových souborů – příprava na validaci
Před zahájením vlastního procesu validace jsme museli podrobně analyzovat zdrojová data:
- Soubory DWG obsahující informace o technické architektuře sítě (např. šachty, sloupy, kabely, spojky) a umístění adresních bodů.
- Soubory XLSX obsahují kompletní a podrobné údaje o síti a atributech adresních bodů.
Sloučili jsme data do jediné sady vstupních souborů (soubory zpracované tak, aby je bylo možné načíst do systému evidence sítě Nexera). V dalším kroku jsme odstranili nesrovnalosti, které se objevily po integraci dat. Vyčištěná data jsme převedli do jednoho definovaného formátu CSV, aby je bylo možné načíst do systému evidence sítě.
Skript FME pro analýzu vstupních souborů
Validace a migrace dat pomocí FME
Fáze validace zahrnuje ověření prostorových vztahů mezi liniovými a bodovými objekty v síti, jako jsou kabely, šachty, sloupy, spojky atd. Analyzují se také hodnoty atributů, protože je třeba ověřit, zda jsou v souladu se slovníky/číselníky. Validace zahrnuje také konzistenci sítě – ta se provádí např. nalezením cest mezi libovolnými dvěma uzly v síti.
Během validace se chyby opravují zvlášť pro geometrii a zvlášť pro atributy:
- Chyby v geometrii: nejasná spojení mezi body sítě, chybné umístění objektů nebo topologické chyby.
- Chyby v atributech: nedostatek informací v atributech nebo jejich hodnotách nebo potřeba přizpůsobení hodnotám slovníků/číselníků, a to nejen individuálně, ale i analýzou podobnosti textů.
Systém navržený Globemou využívá FME a automaticky identifikuje a opravuje chyby. Generuje také reporty o chybách, které je nutné opravit před přesunem dat do evidenčního systému. Tím se výrazně snižuje počet opakování migrace dat.
Fragment FME skriptu pro ověřování dat
Fáze procesu validace dat:
- Automatický výběr souborů pro validaci a opravu / stahování dat ze vstupního úložiště
- Identifikace chyb v původní dokumentaci
- Zpracování načtených dat a automatická oprava chyb
- Ukládání souborů zpráv a generování statistik celého procesu
Schéma validace a migrace dat
Použití FME nám umožnilo automatizovat některé výše popsané procesy:
- Stahování dat ze vstupního úložiště (1)
- Ověřování dat (2)
- Oprava chyb, příprava reportů o opravených údajích a zbývajících chybách, které vyžadují další ruční opravy (3)
- Odesílání dat a reportů do jejich depozitáře (4)
- Stahování informací o chybách opravených nástrojem FME ze serveru FTP (7)
- Ověření a oprava některých dat pomocí FME
Některé kroky je stále třeba provést ručně:
- Klasifikace chyb pro opravy (Globema) (5)
- Oprava chyb (dodavatel) (6)
- Odeslání zprávy o opravených chybách na server FTP (dodavatel) (7)
Proces ověřování dat, stahování chybových reportů a opravy chyb se provádí nezávisle pro každý fragment sítě a opakuje se, dokud nejsou opraveny všechny chyby v dané sadě. Když v dokumentaci již nejsou žádné chyby, jsou soubory připraveny k migraci do systému evidence sítě (krok číslo 8 na schématu).
Reporty o ověřování dat
Během procesu validace dat se generují reporty pro každý typ objektu ve formátu DWG. Tyto reporty definují typ chyby, původní a opravenou hodnotu. ID objektů umožňují uživatelům najít ve zdrojových datech objekty, které jsou identifikovány pro validaci a opravu chyb. Uživatel, který dostane chybové hlášení, ví, která data je třeba opravit a zda vyžadují ověření informací v terénu nebo ruční zadání změn do souboru.
Tento postup se opakuje, dokud není dosaženo správné dokumentace bez chyb. Poté ji lze zadat do evidenčního systému.
Report o ověřování dat v aplikaci FME
Návrh procesu ověřování kvality projektové dokumentace
Proces automatizovaného ověřování dat a oprav chyb využíval kromě platformy FME také program Jira pro řízení projektů a katalogy dat na serveru FTP.
1
FTP
Zde jsou vstupní data umístěna v odpovídajících katalozích a mohou být dále použita v projektu. Ověřená a opravená data a chybová hlášení jsou rovněž odesílána přímo z FME Serveru. Složky se vytvářejí automaticky na základě názvů vstupních souborů.
2
FME Server
Program, který automaticky skenuje data, vyhledává chyby a většinu z nich opravuje. Některé chyby nelze opravit automaticky, protože mohou vyžadovat ruční úpravy souborů nebo vyslání technika na kontrolu sítě v terénu.
3
Jira
Systém používaný naším klientem pro správu úkolů, který automaticky detekuje změny na serveru FTP (například nové vstupní soubory síťové dokumentace, chybová hlášení atd.) a vytváří úkoly k dokončení.
Po vhodné konfiguraci lze nástroj dále sdílet s dalšími uživateli, včetně síťových vykonavatelů. To výrazně zlepšuje pracovní postup, protože Nexera nemusí zasahovat a načítat zdrojové soubory do validačního systému.
Podívejte se, kde používáme AI/ML!
Globema realizuje projekty pro telekomunikační a síťové operátory, včetně sběru a údržby síťových dat. Tyto projekty jsou založeny na souboru nástrojů a služeb nazvaném GlobIQ.
Kromě migrace dat z digitálních zdrojů získáváme informace také z papírové dokumentace pomocí metod AI/ML. Podporujeme také sběr dat v terénu pomocí specializovaných mobilních aplikací.
Seznamte se s platformou GlobIQ
Výhody
Díky řešení společnosti Globema Nexera výrazně urychlila a zefektivnila proces migrace dat telekomunikační sítě do systému pro evidenci sítě. Použití FME umožnilo automatickou kontrolu dat a opravu chyb ještě před zahájením migrace, čímž se snížil počet iterací procesu načítání dat a zvýšila se kvalita vstupních dat.
Výsledek je následující:
Díky použití mechanismu vytvořeného společností Globema pomocí FME byla Nexera schopna rychleji přesunout síťová data do evidenčního systému. To nám umožnilo rychle spustit kvalitní internetové služby a poskytovat je novým příjemcům, a tím splnit požadavky Operačního programu Digitální Polsko.
Jacek Wiśniewski, generální ředitel společnosti Nexera
Chcete dosáhnout podobných výsledků?
Zkontrolujme, zda by toto řešení bylo vhodné i pro vaši společnost. Vyplňte formulář a náš konzultant se vám ozve, aby s vámi probral vaše potřeby a naplánoval ukázku.
info@globema.cz
+ 420 777 083 718
Přečtěte si další úspěšné příběhy našich zákazníků
Skupina MTP
Úspora času a snížení nákladů díky integraci systémů a zdrojů dat
Zjistěte, jak Skupina MTP dosáhla efektivního toku informací mezi různými odděleními a zákazníky pomocí datové informační platformy.
Visoro Group
Jak automatizovat manuální úkony a nahrávat data pomocí jediného skriptu?
Přečtěte si, jak společnost Visoro Group použila platformu FME k automatizaci a urychlení zpracování a integrace dat 750krát.