Projekt sieci Ethernet w kontekście wydajności i
Transkrypt
Projekt sieci Ethernet w kontekście wydajności i
bezpieczeństwo Projekt sieci Ethernet w kontekście wydajności i bezpieczeństwa Jak dobrać odpowiednią architekturę sieci i zabezpieczeń, które nie ingerują w jej wydajność? Jak sprawnie zarządzać siecią i jej bezpieczeństwem? To pytania, na które postaramy się odpowiedzieć, opisując przykład kompleksowego podejścia do zabezpieczenia sieci przemysłowej na wszystkich jej poziomach. Zadania dla systemu zabezpieczeń zostały określone na podstawie doświadczeń wynikających z projektów badających podatności systemów SCADA. Zuzanna Wieczorek Kierownik działu technicznego Tekniska Polska sp. z o.o. Wymagania sieci przemysłowej. Wydajność i niezawodność Głównym priorytetem przemysłowych sieci automatyki i zarządzania jest zapewnienie ciągłości działania procesu. Założenia projektowe sprowadzają się zwykle do określenia warunków środowiskowych, oczekiwanej szybkości i wydajności. Od sieci komunikacyjnej przeznaczonej do obsługi procesu przemysłowego oczekuje się ponadto zwykle minimalnych opóźnień oraz stabilności, wysokiej dostępności (niezawodności) i bardzo często zapewnienia wysokiej rozdzielczości synchronizacji czasowej. W celu zwiększenia dostępności sieci powinno się stosować rozwiązania o moż- Źródło: Westermo Rys. 1. Switch Viper-112 – niezawodność na poziomie 554 tys. godzin, wg MIL-HDBK-217F, system operacyjny WeOS. 72 liwie najwyższej niezawodności, przeznaczone do zastosowania w konkretnych warunkach środowiskowych. Obok podstawowych certyfikatów zgodności, obowiązujących dla urządzeń elektronicznych, dla większości specyficznych zastosowań przemysłowych istnieją normy środowiskowe (coraz częściej również funkcjonalne) ułatwiające dobór odpowiedniego sprzętu. Urządzenia spełniające wymagania norm zapewniają odpowiedni poziom niezawodności dla typowych warunków i zakłóceń towarzyszących danemu zastosowaniu. Przykładem mogą być: normy IEC50155 (dla taboru kolejowego) oraz IEC61850 i pochodne (dla energetyki), dyrektywa E (branża motoryzacyjna oraz transport) lub normy Ex/ Atex dla stref zagrożenia wybuchem. Parametry określające niezawodność urządzeń, na podstawie których można ustalić niezawodność sieci (zgodnie z normą IEC870-4), a w konsekwencji jej przewidywaną dostępność fizyczną, to MTBF (średni czas bezawaryjnej pracy), MTTR (średni czas naprawy) i pochodne. Są to parametry statystyczne, określające prawdopodobieństwo wystąpienia awarii w trakcie „czasu życia” urządzenia (MTBF nie jest równoznaczny z czasem życia urządzenia). Parametry te są określane zwykle zgodnie z normą militarną MIL-HDBK-217F lub normą telekomunikacyjną Telcordia SR332. Nie są one CONTROL ENGINEERING POLSKA bezpieczeństwo Tabela. Porównanie wybranych protokołów pod względem czasu konwergencji (zbieżności) oraz możliwych topologii Protokół Czas konwergencji Topologia Implementacja kilka/kilkanaście sekund; zależnie od liczby węzłów i obciążenia sieci dowolna protokół warstwy 2; switche FRNT < 20 ms; niezależnie od liczby węzłów i obciążenia sieci pierścień protokół warstwy 2; switche FRNT + ring coupling < 300 ms; niezależnie od liczby węzłów i obciążenia sieci łączone pierścienie protokół warstwy 2; switche duża rozpiętość (< 1 s – > 1 min); w zależności od wielkości sieci i obciążenia jej zasobów (im krótszy czas chcemy uzyskać, tym bardziej obciążymy CPU routerów) dowolna; brak ograniczenia do 15 skoków, nadaje się do dużych sieci protokół warstwy 3; routery PRP 0 bezstratny ramki przesyłane równoległymi trasami; topologia tras – dowolna protokół warstwy 2; urządzenia końcowe; RedBox HSR 0 bezstratny ramki przesyłane w dwóch kierunkach w pierścieniu protokół warstwy 2; urządzenia końcowe; QuadBox do łączenia pierścieni utrata pojedynczych pakietów; statyczny połączenie równoległe „zapasowe”, które aktywuje się na skutek przerwania fizycznego łącza podstawowego protokół warstwy 2; switche może nastąpić utrata pojedynczych pakietów; statyczny umożliwia logiczne agregowanie łącza skonstruowanego z niezależnych łącz fizycznych protokół warstwy 2; switche RSTP IEEE 802.1w OSPF RFC 2328 Dual Homing/ Combo ports LACP wtedy porównywalne i należy pamiętać, że norma Telcordia daje znacznie wyższe wartości, ponieważ nie uwzględnia zastosowania w środowisku przemysłowym, w którym prawdopodobieństwo wystąpienia awarii na skutek trudnych warunków (zakłócenia, ekstremalne temperatury, zapylenie itp.) oraz ciągłej pracy (24/24) jest wysokie. Na przykład parametr MTBF dla switchy szwedzkiej firmy Westermo, wyznaczony zgodnie z normą MIL-HDBK-217F, wynosi ponad 554 tys. godzin podczas 15-letniego czasu życia i jest jednym z najlepszych (jeżeli nie najlepszym) na rynku, w grupie tego typu urządzeń [6]. WRZESIEŃ/PAŹDZIERNIK 2015 Obok zastosowania niezawodnego sprzętu, niewymagającego obsługi serwisowej i konserwacji, projekt sieci powinien uwzględniać nadmiarowośćredundancję. Topologia nadmiarowa zapewnia ciągłość pracy, nawet w przypadku wystąpienia awarii. Istnieje kilka topologii uwzględniających redundancję, a wybór odpowiedniej zależy od budżetu, krytyczności aplikacji i tolerancji na przejściową utratę komunikacji. Redundancję można zapewnić na poziomie sieci komunikacyjnej oraz/i urządzeń końcowych, w zależności od tego, które kierunki wymiany danych są najbardziej strategiczne dla procesu oraz które elementy sieci mogą być najbardziej awaryjne. Tworząc strukturę i reguły bezpieczeństwa, należy uwzględnić wybraną metodę zapewnienia nadmiarowości. Większość aplikacji może być zrealizowana w oparciu o redundancję dynamiczną, tj. protokoły zaimplementowane w modułach switchy i routerach, umożliwiające utrzymanie ciągłości komunikacji przez dynamiczną zmianę topologii w momencie wystąpienia awarii. Każda zmiana topologii wiąże się z chwilową utratą połączenia, a w konsekwencji – danych. Protokoły rekonfiguracji mają czasy zbieżności od kilku ms do kilkudziesięciu sekund, w zależności od topologii, liczby węzłów, obciążenia sieci, warstwy modelu protokołu OSI (L2/L3), w któ- 73 bezpieczeństwo rej pracują, oraz implementacji w samych urządzeniach. W segmentach sieci bezpośrednio obsługujących proces najczęściej są stosowane protokoły działające w warstwie drugiej modelu OSI (L2). Na wybór protokołu będą wpływać: tolerowany czas przerwy oraz topologia (pierścień/połączone pierścienie/dowolna – typu mesh). Zalety redundancji dynamicznej wynikają przede wszystkim z jej uniwersalności (nie wymaga ingerencji w urządzenie końcowe) i dość niskiego kosztu – jest możliwa do realizacji w oparciu o wszystkie tzw. zarządzane switche i routery. Na przykład system operacyjny WeOS (Westermo Operating System) umożliwia wykorzystanie protokołów: dynamicznych – FRNT, FRNT-ring coupling, RSTP, OSPF oraz statycznych – dual homing, LACP. Dla sieci, które nie tolerują utraty danych, zgodnie z ideą zero packet loss (jak np. sieci procesowe podstacji elektroenergetycznej wg IEC61850), rozwiązaniem jest redundancja statyczna, oferowana przez protokoły takie jak PRP czy HSR. Tego typu protokoły są implementowane już nie w urządzeniach sieciowych (za wyjątkiem urządzeń typu RedBox), a końcowych. Ścieżki transmisji są tu stałe, a dane – wysyłane równolegle przez dwie niezależne drogi, w związku z czym nie ma potrzeby odbudowywania topologii nawet w przypadku wystąpienia awarii. Wadą tego typu rozwiązań jest koszt oraz konieczność implementacji w urządzeniach końcowych lub stosowania urządzeń RedBox, QuadBox (HSR). Dla protokołu PRP drogi/sieci, przez którą prze- Zadania systemu ochrony • Ograniczanie stopnia podatności; blokowanie złośliwego oprogramowania. • Monitorowanie, śledzenie i raportowanie zdarzeń związanych z ryzykiem naruszenia bezpieczeństwa w całym obszarze chronionym; przechwytywanie wszelkich niepoprawnych i podejrzanych zachowań (np. przepełnienie buforu czy alokacja zbyt dużej ilości zasobów, cyklicznie powtarzające się komendy, które nie powinny być przesyłane zgodnie z logiką/modelem systemu). • Analiza danych historycznych (logi urządzeń sieciowych, zapór ogniowych, sond SIEM) oraz w czasie rzeczywistym (in-line IPS, off-line IDS), agregacja i korelacja zdarzeń. • Minimalizacja czasu wykrywania wtargnięć i zasięgu ataku. • Jak najszybsze przywrócenie działania (backup/recovery). • Uwierzytelnianie użytkowników i usług, scentralizowane zarządzanie użytkownikami i prawami dostępu (sprawdzanie tożsamości nadawcy i odbiorcy, określenie dostępu do cech i funkcji oraz możliwości wykonawczych, najlepiej w powiązaniu z fizyczną autoryzacją dostępu oraz planami serwisowymi). • Śledzenie wszystkich operacji realizowanych przez danego użytkownika i wykrywanie potencjalnych działań nieuprawnionych. • Bezpieczeństwo połączeń i infrastruktury teleinformatycznej, monitoring obiektów. syłane są dane, mogą mieć dowolną topologię – redundantną lub nie (podwojona gwiazda, gwiazda/ring, pierścienie, mesh) [7]. Oprócz zapewnienia odpowiedniego poziomu niezawodności/dostępności, projekt powinien uwzględniać również przewidywane charakterystyki ruchu, wykorzystywane protokoły i ich wymagania czasowe. Protokoły przemysłowe często wykorzystują ruch typu multicast, co o erm est :W dło Źró Rys. 2. Model Westermo FRNT Ring Coupling 74 w połączeniu z rygorystycznymi wymaganiami czasowymi sprawia, że projekty sieci często są płaskie – bez segmentacji i zabezpieczeń pomiędzy segmentami. Typowym ruchem routowalnym jest IP unicast. Routing ruchu typu mulicast jest obsługiwany tylko przez część urządzeń dostępnych na rynku. Architektura obrony Wprowadzając mechanizmy bezpieczeństwa, musimy zapewnić, że będą one w pełni zintegrowane z istniejącymi lub planowanymi rozwiązaniami sieci, nie powodując degradacji charakterystyk jakościowych procesów sterowania. Dzięki właściwej architekturze i zastosowaniu odpowiedniego sprzętu realne jest znaczące ograniczenie możliwości ataków i zapanowanie nad kontrolą bezpieczeństwa. Jednym z elementów systemu zarządzania bezpieczeństwem informacji jest odpowiednia koncepcja architektury systemu ochrony. Należy przeprowadzić rzetelny audyt zarządzanych systemów, wyznaczyć wszystkie punkty styku, skategoryzować komponenty ze względu na wymaganą dostępność i bezpieczeństwo. Na tej podstawie można wyznaczyć strukturę CONTROL ENGINEERING POLSKA logiczną systemu bezpieczeństwa i określić poziom, który ma największe znaczenie dla sterowania procesem i bezpieczeństwa zakładu, a w konsekwencji ustalić architekturę systemu zabezpieczeń. W takiej strukturze warto uwzględnić cały obszar chroniony, jego komponenty, podatności oraz interakcję z otoczeniem, a następnie potencjalne źródła zagrożeń zewnętrznych i wewnętrznych. Wszystkie styki sieci powinny być rzetelnie udokumentowane i monitorowane. Oczywiste jest, że bezpieczna architektura powinna uwzględniać separację systemów rozproszonych DCS (Distributed Control Systems) od innych systemów informatycznych oraz zapewniać odpowiednią, dodatkową segmentację sieci, w zależności od wymogów w zakresie poziomów bezpieczeństwa dla poszczególnych segmentów. Usługi narażone na zagrożenia w miarę możliwości powinny być izolowane przez firewalle w strefach zdemilitaryzowanych DMZ. Projektując bezpieczną architekturę, należy jednak odpowiedzieć na pytania: w których miejscach sieci należy zastosować firewalle oraz ich typ – określić ich rolę w danym punkcie sieci; jak skonfigurowane powinny być zapory-firewall i jak nimi zarządzać; jakie inne elementy bezpieczeństwa należy zastosować. Organizacja Cyberbezpieczeństwo Działalności operacyjne Koncepcja architektury Rys. 3. Elementy zarządzania cyberbezpieczeństwem [5] WRZESIEŃ/PAŹDZIERNIK 2015 Źródło: Papin, Sabot, Pelet - „Bezpieczeństwo cybernetyczne przemysłowych systemów sterowania” Ocena ryzyk i wrażliwości Zarządzanie personelem bezpieczeństwo Typowe kierunki ataków i metody ochrony Kierunek ataku Metoda ochrony In-field – na poziomie obiektowym Urządzenie automatyki obiektowej IPS/IDS (Intrusion Prevention/Detection) – system wykrywania/blokowania ataku, uwzględniający charakterystykę działania systemu automatyki z możliwością wykrywania anomalii. RABC (Role/Task Based Access Control) – procedury i polityka dostępu dla planowanych operacji serwisowych (Dynamic Industrial Firewall). Rolę IPS może pełnić Deep Packet Inspection Firewall. Man in the Middle Szyfrowane tunele IPSec VPN, SSH. Field-to-Field – strefa do strefy (poziom obiektowy) IPSec VPN pomiędzy obiektami a centrum sterowania. Routing tuneli przez centrum zarządzania, gdzie zainstalowany powinien być SPI Firewall. Odpowiednio skonfigurowane zapory-firewall na obiektach (DPI Firewall). Center-to-Field – z centrum sterowania do poziomu obiektowego Malware na komputerach systemu SCADA Identyfikacja ruchu pochodzącego z centrum zarządzania, walidacja ruchu pochodzącego z centrum zarządzania (np. DPI Firewall + serwery autoryzujące). Signature-Based Engine – system z bazą danych sygnatur podatności i złośliwego oprogramowania. Field-to-Center – z poziomu obiektowego do centrum sterowania Malware na urządzeniach obiektowych Wymaga wykrywania obiektów typu malware, co można zrealizować przez zastosowanie flitrowania signature-based, podobnie jak w przypadku ataku Center-to-Field. Oprócz tego należy wykrywać ruch typu spoofed, czyli podszywający się pod poprawną komunikację. Tu pomocny okaże się SPI Firewall w centrum zarządzania, który chronić będzie również przed atakami typu DoS, np. Syn flooding. Przekroczenie uprawnień dostępu Restrykcyjnie ograniczony dostęp do krytycznych zasobów, łączący prawa dostępu fizycznego z uprawnieniami do realizowania określonych usług i działań przy wykonaniu planowanego zadania – RBAC, Dynamic/Virtual Firewall, szczegółowo zaplanowana polityka dostępu do zasobów. W przypadku sieci przemysłowych zarządzane obiekty są zwykle rozproszone nie tylko funkcjonalnie, ale również geograficznie, a do komunikacji pomiędzy oddalonymi obiektami potrzebne są bramy umożliwiające stworzenie szyfrowanych tuneli VPN (IPSec, GRE over IPSec, SSH). Zarządzanie ryzykiem. Zagrożenia i podatności Analiza ryzyka związanego z naruszeniem bezpieczeństwa polega na systematycznej identyfikacji zasobów systemu przetwarzania danych, zagrożeń dla tych zasobów i podatności systemu na te zagrożenia. Zwykle dopuszcza się pewien poziom ryzyka, a unikanie zagrożeń polega na przewidywaniu scenariuszy konkretnych ataków wykorzystujących dane podatności. Zagrożenia są zwykle uniwersalne (wirusy, intruzi, sabotaż stacji roboczych, nieautoryzowany dostęp do czynności 76 i danych) oraz przewidywalne, natomiast podatności mają naturę zmienną, wymagają ciągłej i szczegółowej analizy. Istnieją bazy informacji/sygnatur takich podatności. Podatnością może być też niewłaściwa konfiguracja systemów operacyjnych, samych firewalli, brak systemów autoryzacji. Ataki mogą być skierowane na fizyczne zaburzenie pracy, naruszenie integralności sygnału sterowania lub odpowiedzi (ingerencja w reguły sterowania, wprowadzenie fałszywej informacji czy polecenia, ingerencja w proces pomiarowy w celu zafałszowania obrazu systemu, tłumienie alarmów, zmiana oczekiwanych reakcji) oraz naruszenie dostępności sygnału sterowania lub odpowiedzi (przerwanie głównego toru sterowania lub toru sprzężenia zwrotnego przez zaburzenie kanału komunikacyjnego, DoS Denial of Service). Atak może mieć również naturę penetracyjną, pozyskiwać poufne dane lub informacje o strukturze systemu. Kluczową rolę w strukturze bezpieczeństwa pełnią więc elementy odpowiedzialne za detekcję i przesłanie informacji alarmowej do operatora. W przypadku sieci przemysłowej, w której algorytmy sterowań, konfiguracje urządzeń automatyki są często złożone i wymagają eksperckiej wiedzy, bardzo istotne są procedury archiwizacji aktualnych wersji konfiguracji i odtworzeń. Koncepcja architektury i zadania systemu ochrony w kontekście przewidywanych zagrożeń Struktura przykładowego systemu przemysłowego to logicznie i geograficznie rozproszone obiekty automatyki, realizujące m.in. krytyczne procesy (np. sterowania, pomiarów), komunikujące się ze sobą i z centrum zarządzania. Dodatkowo często konieczny jest dostęp z zewnątrz, w postaci tzw. kanału inżynierskiego. Centrum sterowania ma połą- CONTROL ENGINEERING POLSKA bezpieczeństwo 78 dzania obiektowymi serwerami IDS (np. iSID RadiFlow), system zarządzania obiektowymi firewallami, system monitoringu i zarządzania siecią (np. iSIM RadiFlow), system SIEM; opcjonalnie: ServiceAware Firewall lub IDS implementowany w architekturze scentralizowanej, router, brama VPN. Elementy systemu bezpieczeństwa w obiekcie: DPI Service-Aware Industrial Firewall (w roli IPS), IDS z Signature-Based Engine oraz VFW (dynamic firewall) (struktura zdecentralizowana), TAP (sondy przechwytujące ruch, współpracujące z IDS), Authentication Proxy, brama VPN. Monitorowanie bezpieczeństwa i zarządzanie incydentami Zabezpieczenie fizyczne Architektura sieci Utwardzanie stacji Kontrola dostępu Aktywa i procesy Ochrona aplikacji Utwardzanie sterownika Źródło: Papin, Sabot, Pelet - „Bezpieczeństwo cybernetyczne przemysłowych systemów sterowania” czenie z siecią korporacyjną (lub bezpośrednio z Internetem) w celu przekazywania danych biznesowych. Można też analizować system z jeszcze większym stopniem szczegółowości i dla poszczególnych obiektów wyróżnić poziomy funkcjonalne (warstwa automatyki/procesu, aplikacji, HMI, serwery wymiany danych). W zależności od wymagań, protokołów czy wielkości obiektu poziomy te mogą być realizowane w oparciu o wspólną sieć lub oddzielone logicznie (np. za pomocą VLAN). Każdy z poziomów niezależnie może mieć inny logiczny kanał łączności z siecią korporacyjną, styk z siecią publiczną lub dostęp przez kanał inżynierski (np. przez serwery lustrzane, DMZ, specjalną zaporę czy bramę VPN). Zadania dla systemu zabezpieczeń zostały określone m.in. na podstawie doświadczeń wynikających z projektów badających podatności systemów SCADA, jak np. Viking Project [1]. Podobne kompleksowe rozwiązanie oferuje rodzimy – choć bardziej złożony i w fazie obecnej przeznaczony dla energetyki, projekt BIPSE [2]. W jaki sposób można zrealizować zadania systemu ochrony dla tak zdefiniowanego obszaru chronionego? Jak wspomniano, oczywiste staje się stosowanie zapór-firewalli. Mniej jasne pozostaje jednak jakich? Czy w zależności od lokalizacji powinny być to zapory typu SPI (Stateful Packet Inspection), DPI (Deep Packet Inspection) czy SignatureBased? Jakie inne elementy bezpieczeństwa są konieczne? Jak dobrać odpowiednie cechy zabezpieczeń, aby architektura bezpieczeństwa była zgodna z koncepcją Defence-in-Depth, czyli ochrony na każdym poziomie, i jednocześnie spełniała wymagania sieci dotyczące przepustowości, opóźnień i stabilności? Odpowiadając na te pytania, należy przeanalizować możliwe scenariusze i kierunki ataków. W proponowanym rozwiązaniu zaleca się tworzenie stref DMZ/wykorzystywanie serwerów lustrzanych (brak bezpośredniego styku sieci) i segmentację, np. VLAN, oraz stosowanie odpowiednich dla danej lokalizacji systemów filtrowania i monitoringu. Elementy systemu bezpieczeństwa w centrum zarządzania: SPI Firewall, Signature-Based Engine, Anti-Virus, centralny serwer autoryzacji, system zarzą- Rys. 4. Koncepcja ochrony End-to-End/Defence-in-Depth [5]. Rys. 5. Lokalizacja przemysłowych zapór ogniowych [4]. Źródło: Radiflow CONTROL ENGINEERING POLSKA bezpieczeństwo Obok wymienionych elementów muszą funkcjonować systemy archiwizacji i odtwarzania oraz – co niezwykle ważne – system zarządzania aktualizacjami. Każdy z zainstalowanych firewalli powinien być na bieżąco monitorowany, a zestaw reguł i sygnatur należy uaktualniać. Dodatkowo trzeba założyć, że „co nie jest dozwolone, jest zabronione”, z uwzględnieniem dynamicznego modelu pracy sieci (różne scenariusze pracy). Zalecane jest ograniczenie lub uniemożliwienie automatycznych reakcji, w szczególności wprowadzanie nowych reguł filtrowania, ponieważ w systemie przemysłowym niedopuszczalne jest automatyczne odcięcie ruchu. Dla samych urządzeń końcowych zaleca się migrację z oprogramowania układowego do systemów operacyjnych i własnych aplikacji, co znacznie upraszcza proces zarządzania aktualizacjami [2]. SPI firewall zastosowany w obiekcie – przez to, że jest przeznaczony do filtrowania ruchu in/out – nie zabezpiecza obiektu wystarczająco, jednak wysoko wydajny SPI firewall z funk- cją signature-based, zainstalowany w centrali, w połączeniu z DPI firewall i/lub IDS w obiektach, zapewnia już odpowiednio rozdzieloną, prostą i skuteczną strukturę zabezpieczeń [4]. W następnym numerze „Control Engineering Polska” szczegółowo opiszemy poszczególne elementy proponowanego systemu ochrony – systemy IPS, DPI Service-Aware Firewall, IDS, SIEM. CE Bibliografia: [1] www.vikingproject.eu [2] A. Kozakiewicz, J. Jarmakiewicz, M. Amanowicz, „Cyberbezpieczeństwo systemu elektroenergetycznego – świadomość sytuacyjna w warunkach zaawansowanych zagrożeń”, XVIII Seminarium Energotestu, referat nr 2; www.bipse.wel.wat.edu.pl/o-projekcie-2 [3] „Substation Security. IDS-based Cyber Defence by RadiFlow”, www.radiflow.com [4] „ICS Firewall Deployment”, www.radiflowsecurity.wordpress.com/2015/06/29/ics-firewall-deployment/ [5] E. Papin, H. Sabot, T. Pelet, „Bezpieczeństwo cybernetyczne przemysłowych systemów sterowania”, XVIII Seminarium Energotestu, referat nr 9 [6] „MTBF and System Reliability”, Westermo, www.westermo.com (zakładka: Technical Support, Whitepapers) [7] IEC/TR 61850-90-4: „Communication networks and systems for power utility automation – Part 90-4: Network engineering guidelines”, Edition 1.0 2013-08