껐다 켜기, 하지만 핵심 인프라를 대상으로

KTH 왕립공과대학 연구진은 분리된 산업 네트워크의 컨테이너 복제본을 구축하고, 14일 실행 시간 동안 반복 공격을 가해 수집한 트래픽으로 방어 에이전트를 훈련시켰다. 이 에이전트는 개입 시점을 스스로 결정한다.

에이전트는 매 구간마다 6개의 숫자를 입력받는다. 네트워크 구간을 오가는 패킷 수와 개별 머신의 송수신 패킷 수다. 에이전트는 이 수치로부터 침입자가 얼마나 진행했는지를 추론하고 행동한다.

에이전트가 선택할 수 있는 행동은 ①아무것도 하지 않음, ②세 개의 감시 호스트 중 하나를 재설정, ③두 개의 물탱크 프로세스 중 하나를 재설정, ④감시 서브넷과 제어 서브넷의 모든 호스트를 한꺼번에 재설정하는 것이다. 재설정은 대상을 재부팅하고, 자격증명을 갱신하며, IP 주소를 변경한다. 재설정은 산업 운영을 잠깐 중단시킬 수 있다. 패킷 수를 읽은 에이전트가 실행 중인 프로세스를 재부팅하기로 결정하면, 공장은 그 중단을 감수한다.

침입 대응 사례의 OT 인프라 구성 (출처: 연구 논문)

이 분야 대부분의 연구는 공격자가 보인다고 가정한다

산업 침입 대응을 위한 강화학습 연구는 대부분 에이전트가 시스템 상태나 공격자 행동을 직접 관찰한다고 가정해 왔다. 연구진은 이 가정이 비현실적이라고 지적하며, 부분 관측 가능성을 모델링하는 연구조차 관측 모델의 출처를 제대로 설명하지 않는 경향이 있다고 말한다. 그래서 연구진은 직접 측정했다. 에뮬레이션 네트워크를 30초 단위로 실행해 4만 개의 구간 데이터를 수집했다. 그래도 데이터는 부족했다. 트래픽이 전체 시스템 상태에 따라 어떻게 달라지는지 모델링하려면 약 1억 건의 측정이 필요하기 때문에, 연구진은 더 단순한 것을 추정했다. 트래픽이 시스템 상태가 아닌 공격자 행동에 따라 어떻게 달라지는지였다. 패킷 수 자체는 실제 측정값이다. 하지만 그 모델이 수학적으로 요구하는 수준보다 할 수 있는 것이 제한적이다.

결과, 그리고 그 아래 깔린 가정

연구진이 훈련한 세 에이전트 중 가장 성능이 좋은 에이전트는 네트워크 상태에 대해 500개의 추정치를 유지하고, 구간마다 업데이트하며, 압축된 버전을 정책에 입력한다. 이 에이전트는 날것의 관측 이력을 그대로 입력받은 두 에이전트를 앞질렀고, 시스템 상태를 완전히 볼 수 있는 기준 에이전트에 근접했다. 1개 구간 이력 대신 4개 구간 이력을 정책에 입력하면 오히려 성능이 떨어졌다.

단, 이 추정 방식에는 한 가지 조건이 있다. 에이전트가 추정치를 업데이트할 때 시스템이 어떻게 변화하는지를 나타내는 모델을 사용하는데, 이 모델에는 공격자가 어떻게 행동하는지에 대한 기술이 포함되어 있다. 완전 가시성 기준 에이전트에 가장 근접한 에이전트는, 자신이 방어하는 공격자에 대한 사전 기술에 의존해 작동하는 것이다.

실제 네트워크에 적용할 수 있는 것

테스트 네트워크는 세 개의 감시 호스트, 두 개의 PLC(프로그래머블 로직 컨트롤러), 두 개의 탱크로 구성된다. HMI(인간-기계 인터페이스) 두 대는 약한 자격증명으로 HTTP를 실행하고, 엔지니어링 워크스테이션은 약한 자격증명과 CVE-2017-7494 취약점에 노출된 채 SSH, Telnet, SMB를 실행한다. 연구진은 이 모델이 다른 구성이나 공격 유형에도 일반화되는지는 연구하지 않았다.

학습 기계 장치 없이도 적용할 수 있는 핵심 개념은 신념 추적(belief tracking)이다. 학습 에이전트와 논문의 더 단순한 임계값 기반 베이스라인 모두, 각 자산별로 침입이 얼마나 진행됐는지에 대한 확률 분포를 유지한다. 미탐지→스캔→익스플로잇→점검의 각 단계를 비용으로 가중한다. 호스트가 익스플로잇됐을 확률을 보여주는 콘솔은 강화학습 없이도 구현할 수 있다.

연구진은 구현 코드를 공개했으며, 파트너와 함께 산업용 테스트베드에서 이 접근 방식을 검증할 계획이다. 운영 안전성은 향후 과제로 남겼으며, 이것이 방어 전략이 취할 수 있는 행동을 제한한다는 점을 명시했다.