Jak projektujemy wydajne magazynowanie danych dla nowoczesnych systemów telemetrycznych IoT?

Telemetria generuje dziś ogromne ilości danych. Nowoczesne systemy telemetryczne dla wodociągów, ciepłownictwa, zarządców nieruchomości oraz projektów SmartCity działają w modelu ciągłego monitoringu infrastruktury. Każde urządzenie IoT – wodomierz, ciepłomierz, licznik energii, moduł telemetryczny, element infrastruktury oświetleniowej czy sterownik smart lighting – regularnie przesyła dane do centralnej platformy.

Przy dużych wdrożeniach oznacza to:

• miliony rekordów telemetrycznych dziennie,
• dane historyczne przechowywane przez wiele lat,
• konieczność analizy czasu rzeczywistego,
• obsługę alarmów i zdarzeń,
• wysokie wymagania wydajnościowe.

W praktyce klasyczne podejście do przechowywania danych bardzo szybko przestaje być wystarczające. Nowoczesna platforma informatyczna dla systemów IoT musi być projektowana z myślą o dużej skali, wysokiej dostępności i ciągłym wzroście liczby obsługiwanych urządzeń.

Dane telemetryczne mają zupełnie inną charakterystykę niż systemy biznesowe

Systemy ERP czy CRM operują głównie na danych transakcyjnych. Telemetria IoT działa inaczej.

Dominują tutaj:

• szeregi czasowe,
• ciągły zapis danych,
• ogromna liczba operacji INSERT,
• analiza trendów,
• agregacje historyczne,
• szybkie wyszukiwanie anomalii.

To powoduje, że architektura storage dla telemetrii musi być projektowana zupełnie inaczej niż standardowe systemy bazodanowe. Platforma telemetryczna musi sprawnie obsługiwać dane pochodzące z różnych źródeł: liczników mediów, czujników, urządzeń automatyki, infrastruktury technicznej, a także systemów oświetlenia i rozwiązań smart lighting.

Wydajność ma bezpośredni wpływ na działanie systemu telemetrycznego

W środowiskach telemetrycznych użytkownicy oczekują natychmiastowego dostępu do:

• bieżącego zużycia mediów,
• alarmów wycieków,
• historii pomiarów,
• analiz trendów,
• raportów rozliczeniowych.

System zdalnego odczytu GlobTree umożliwia monitoring mediów np. pomiar zużycia wody oraz analizę danych pomiarowych w czasie rzeczywistym dla branży wodociągowej i ciepłowniczej. Tego typu platforma informatyczna może być również rozwijana o kolejne obszary zastosowań, takie jak zarządzanie energią, monitoring infrastruktury miejskiej, inteligentne oświetlenie czy systemy smart lighting.

Źle zaprojektowany storage bardzo szybko prowadzi do problemów takich jak:

• wolne raporty,
• przeciążenia serwerów,
• opóźnienia alarmów,
• problemy z archiwizacją,
• utrata wydajności przy wzroście liczby urządzeń.

Nowoczesna architektura danych dla IoT

W nowoczesnych systemach telemetrycznych sama baza danych nie jest już pojedynczym silnikiem przechowującym rekordy.

Architektura obejmuje zwykle:

• warstwę komunikacyjną IoT,
• kolejki zdarzeń,
• silniki analityczne,
• warstwę danych historycznych,
• cache danych bieżących,
• systemy raportowe.

Takie podejście umożliwia:

• skalowanie środowiska,
• zwiększenie wydajności,
• rozdzielenie obciążenia,
• wysoką dostępność,
• szybszą analizę danych telemetrycznych.

Dobrze zaprojektowana platforma telemetryczna powinna umożliwiać rozwój systemu w wielu kierunkach – od zdalnego odczytu liczników, przez monitoring mediów, aż po integrację z miejską infrastrukturą IoT, oświetleniem ulicznym i rozwiązaniami smart lighting.

Dane historyczne mają ogromną wartość biznesową

Nowoczesna telemetria to nie tylko bieżący monitoring.

Dzięki danym historycznym możliwe staje się:

• wykrywanie wycieków,
• analiza strat wody,
• analiza zużycia energii,
• przewidywanie awarii,
• wykrywanie anomalii,
• optymalizacja kosztów eksploatacji.

To właśnie analiza danych telemetrycznych staje się dziś jednym z fundamentów projektów SmartCity oraz nowoczesnego zarządzania mediami. W przypadku inteligentnych miast podobne podejście można wykorzystać również do analizy pracy oświetlenia, monitoringu efektywności energetycznej oraz optymalizacji działania systemów smart lighting.

Skalowanie systemu telemetrycznego

Jednym z największych wyzwań w IoT jest wzrost liczby urządzeń.

System obsługujący:

• jeden budynek,
• osiedle,
• miasto,
• przedsiębiorstwo wodociągowe,

może w ciągu kilku lat zwiększyć liczbę danych nawet wielokrotnie.

Dlatego nowoczesna architektura storage musi umożliwiać:

• poziome skalowanie,
• automatyczne partycjonowanie danych,
• kompresję historycznych rekordów,
• rozproszenie obciążenia,
• wydajne agregacje.

To szczególnie ważne, gdy platforma informatyczna obsługuje różne obszary infrastruktury – od telemetrii mediów, przez system IoT dla budynków, aż po inteligentne oświetlenie miejskie.

Wykwalifikowani specjaliści i unikatowe kompetencje technologiczne

Za projektowanie i rozwój platformy GlobTree odpowiada zespół wykwalifikowanych inżynierów, programistów i architektów systemowych z kilkunastoletnim doświadczeniem w budowie zaawansowanych systemów informatycznych. Nasi deweloperzy łączą kompetencje z obszaru systemów IoT, architektury cloud, wysokiej dostępności, cyberbezpieczeństwa, integracji danych oraz przetwarzania dużych wolumenów informacji telemetrycznych.

Dzięki bogatej wiedzy cloud i unikatowym kompetencjom technologicznym jesteśmy w stanie projektować rozwiązania gotowe do pracy w środowiskach wymagających wysokiej niezawodności, skalowalności i bezpieczeństwa. To doświadczenie pozwala nam rozwijać platformy telemetryczne dla wodociągów, ciepłownictwa, zarządców nieruchomości oraz projektów SmartCity, w tym rozwiązań związanych z oświetleniem i smart lighting.

Wysoka dostępność danych telemetrycznych

W środowiskach infrastruktury krytycznej dane muszą być dostępne 24/7.

Dlatego architektura przechowywania danych powinna uwzględniać:

• klastry wysokiej dostępności,
• replikację danych,
• backupy,
• disaster recovery,
• monitoring wydajności.

W praktyce niedostępność danych może oznaczać brak informacji o:

• awarii sieci,
• wycieku,
• utracie komunikacji,
• przekroczeniu parametrów pracy.

W systemach SmartCity podobne ryzyka dotyczą także innych obszarów infrastruktury, takich jak systemy IoT odpowiedzialne za monitoring energii, zarządzanie oświetleniem czy sterowanie smart lighting.

Bezpieczeństwo danych w systemach IoT

Dane telemetryczne coraz częściej traktowane są jako dane krytyczne.

GlobTree posiada certyfikaty ISO/IEC 27001 oraz ISO/IEC 27018 związane z bezpieczeństwem informacji i ochroną danych w chmurze telemetrycznej.

Nowoczesny system telemetryczny powinien zapewniać:

• szyfrowanie danych,
• segmentację środowisk,
• kontrolę dostępu,
• monitoring bezpieczeństwa,
• odporność na awarie.

Bezpieczeństwo jest szczególnie ważne wtedy, gdy jedna platforma informatyczna integruje wiele obszarów infrastruktury: zdalny odczyt liczników, monitoring mediów, system IoT, zarządzanie energią, oświetlenie oraz usługi smart lighting.

Podsumowanie

Nowoczesny system telemetryczny wymaga architektury danych przygotowanej pod:

• ogromne wolumeny informacji,
• analizę czasu rzeczywistego,
• wysoką dostępność,
• skalowanie infrastruktury,
• wieloletnie przechowywanie danych historycznych.

W GlobTree projektujemy platformy telemetryczne dla:

• wodociągów,
• przedsiębiorstw ciepłowniczych,
• zarządców nieruchomości,
• projektów SmartCity,

wykorzystując nowoczesne podejście do przechowywania i analizy danych telemetrycznych IoT.

Nasza platforma informatyczna może wspierać różne obszary infrastruktury technicznej – od zdalnego odczytu liczników i monitoringu mediów (w tym monitoring sieci wodociągowej), przez systemy IoT, aż po rozwiązania związane z oświetleniem i smart lighting. Za jej rozwój odpowiadają doświadczeni programiści, inżynierowie i architekci z bogatą wiedzą cloud, kilkunastoletnim doświadczeniem oraz unikatowymi kompetencjami w projektowaniu skalowalnych i bezpiecznych systemów dla infrastruktury krytycznej.