이 리뷰의 저작권은
손인수 ,⌜인공지능 보안 기술 및 동향⌟- 한국통신학회, 2024.3 6쪽
https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11744043
DBpia
논문, 학술저널 검색 플랫폼 서비스
www.dbpia.co.kr
에 있음을 알립니다.
-논문 개요 및 요약-
해당 저자는 현재 인공지능의 영향력을 알리며 시작한다. 인공지능에 대한 설명과 여러 산업에서 인공지능의 활용 및 중요성이 부상하고 있으며 포브스 선정 및 AI 기술의 보안 중요성에 대해서 동향을 알린다. 사이버 보안의 피해액, 사이버 공격의 건 수, 사이버 보안에 대한 개요가 있다.
인공지능이 적용된 여러 기술 시스템 지능화 관련 기술 동향을 보며, 인공지능 시스템에 대한 공격 및 방어 기술을 소개하며, 인공지능 보안 기술에 대한 지속적인 발전 가능성을 알린다.
-논문을 읽으며(논문 한 눈에 보기!)-
인공지능이 적용된 산업 기술에 대해서 '지능화'라는 말을 붙인다.
인공지능 응용 기술 동향
여기서 통신 지능화 기술 동향, 국방 지능화 기술 동향, 의료 지능화 기술 동향으로 인공지능 응용 기술 동향을 알린다.
-통신 지능화 기술 동향-
!배경
대한민국에서 세계 최초로 5G 상용화가 되었다. 5G는 이동통신 표준화 기구 3GPP에서 New Radio,NR이라는 정식 명칭으로 5G는 마케팅 용어이다. 주파수 대역이 저속 광역망인 6GHz 이하 주파수 대역과 초고속 근거리망의 24GHz 이상의 밀리미터웨이브 주파수 대역에서 두 개의 나눠진 대역수(System bandwidth)로 통신 서비스를 제공한다. 즉, 이동통신 네트워크 규격 New Radio로 상용화가 된 것이다.
여기서 네트워크 보안 취약점이 있다. - 기지국 단위에서도 데이터를 처리하기 때문에 해킹 위협이 증가. 단위면적당 연결된 기기의 수가 상당히 많기 때문에 DDos와 같은 공격도 당할 위험이 있다.
5G-Advanced 혹은 6G 통신네트워크 기술 개발
이 진행중이며, 여기서 도입되는 핵심 기술이 인공지능이다. 이종의 네트워크 안에서 인공지능을 기반으로 주변 환경과 상호작용하며 지상,해상,공중,수중 및 우주 지역에서 초연결 서비스를 제공하는 수백억 개의 장치가 배치될 것임을 알린다.
5G에서 개별적 기능 최적화를 위한 인공지능 기술과 달리 6G에서는 이종의 네트워크에 존재하는 다량 다종의 통신센서 디바이스의 자율적인 시스템 최적화를 위해 Native AI Networking 기술을 고려한다.
해당 기술은 인공지능이 통신 시스템의 모든 기능을 전적으로 AI가 운영하며, 통신 시스템의 초기 디자인 단계부터 모든 영역에서 인공지능 기반의 지능화 기능을 고려한다.
AI가 담당하는 네트워크 자원 중 하나인 주파수로, 각기 다른 기기의 활용 상황에 따라 최적화된 주파수 할당을 주도한다. 이와 같이 다른 자원들도 관리하는 것이다.
이런 핵심 역할을 담당하는 인공지능에서 새로운 사이버 공격 표면의 확대 가능성을 제공. 운영, 제어 및 자동화와 같은 관리자의 인공지능 시스템을 보호하는 보안이 중요하다.
적대적 공격에 의한 인공지능 분류 정확도 성능 저하 결과를 보여준다.
-국방 지능화 기술 동향-
!배경
국방기술진흥연구소에서 발간한 '미래국방 2030 기술전략 : 국방 AI 기술로드맵'에서 이전까지의 재래식 전장 운용에서 우주, 사이버, 심리 영역까지 전장이 확대 및 다변화 되고 있음을 알 수 있다. 인공지능 기반의 독립적인 임무 수행이 가능한 기계 장치들과 싸우는 병종의 변화도 생겼다. 막대한 예산 투입과 군가인 '육군, 우리 육군'에서 "AI, 드론봇, 전우와 함께!"를 보면 알 수 있듯이 인공지능에 의한 국방 지능화 기술이 도입되고 있다.
전장상황 빅데이터를 기반으로 한 인공지능 기술 이용으로 최적의 전술적 의사결정을 지원하는 전략이 핵심이 될 것이다.
- 이 시스템의 공격 목표로는 지능화 담당의 인공지능 시스템의 해킹으로 통제권 장악 및 시스템의 오염된 입력 전달 및 그에 따른 전략 선택 오류를 야기하는 것이 있다.
-의료 지능화 기술 동향-
!배경
의료 지능화 분야에서도 주목 받는 인공지능은 영상처리 지능화 및 의료 진단의 정확도, 속도 개선을 지원하고 있다. 의료 빅데이터로 데이터 처리 및 정보 획득으로 현재 전문의에 가까운 성능을 보여준다.(하지만, Confusion Matrix를 보면 알 수 있듯이 선택 결정에 대한 가치가 중요함에 따라 아직까지 전적으로 AI에 의지한 완벽한 상용화는 없다.)
여기서도 취약점이 있다.
의료 영상 기반 인공신경망 시스템은 영상 처리 및 분석 인공신경망 시스템에 비교하여 더 취약하다.
의료 데이터 구하는 것 역시 법적으로 엄격히 관리됨에 따라 얻기도 힘들다.
진단 정확도 성능에 큰 영향을 미치기에 사이버 공격에 더 위험하다. 또한 현재 보안 연구까지는 강력한 외부 공격에 대해 방어 기법이 충분하지 않다. 또한 특정 유형의 공격으로 제한되어 있다.
무선 의료 서비스 및 스마트 기기(개인부터 의료용 기기까지)와 관련한 보안 연구까지와 데이터 탈취같은 유형에만 국한되어 있고, 강력한 외부 해킹에 대해서 충분하지 않다. 또한 의료 AI 모델 공격과 같은 내부적 문제도 검증할 수 있는지 의문이다.
인공지능 보안 기술
초지능 구현을 위해 인공지능 플랫폼 구축은 필수라고 저자는 말한다. 여기서 방대해진 시스템에 인공지능 공격 기술과 방어기술에 대한 소개를 한다.
인공지능 시스템에 대한 공격 유형 2가지
- 추론 시간 공격
- 훈련시간 공격
추론 시간 공격(Inference-Time Attack)은 정상적으로 학습이 완료된 인공신경망 모델에 공격 의도를 갖고 만든 오염된 데이터를 제공하여 분류(Classification)에 오류를 유발하는 공격이다. (Mode의 Task의 Performance 공격)- 학습 데이터가 아닌 새 데이터 분류 공격
훈련 시간 공격(Training-Time Attack)은 훈련이 필요한(학습이 미완된) 인공신경망 모델에 공격 의도를 갖고 만든 훈련 입력 데이터를 제공하여 학습하는 표적 혹은 비표적 오류를 유도하는 공격이다. (Model의 Experience 공격) - 학습 데이터 공격
추론 시간 공격은 단순하다. 예시로 자율 주행의 모델에서 의도적으로 신호등 사진의 픽셀에 오류를 주어(심지어 감지하기도 어렵게 가능하다.) 분류 성능이 옳지 못하여 빨간불인데 초록불로 인식하게 해서 사고를 일으킬 수 있다.
아래는 고양이 사진이 주어질 때, 입력 데이터를 의도적으로 오염하면 고양이로 인식이 안 될 수 있다.
(물론 색상 분류에서 큰 오류를 만들기는 어렵지만 정말 가정적이고 예시적으로 이해를 위해 들었습니다.)
훈련 시간 공격은 입력 데이터 모델을 건드는 것으로 정상적인 입력에 대해서는 옳은 분류를 하지만, 공격자가 의도를 갖고 만든 특별 트리거를 삽입한 경우나, 특정 입력에 경우에는 공격자가 원하는 라벨로 예측하도록 하는 공격으로 효과적이며 일반 사용자가 학습에 오염이 됐다고 판별하기 어렵다.(공격 탐지가 어려움.)
트로이목마 공격은 특수한 경우로 모델의 학습 데이터에 대한 완벽한 지식이 없으나, 인공신경망 모델에 접근할 수 있는 상태일 때 가능. 특수 입력 트리거로 시스템을 장악하는 공격이다.
인공지능 시스템 방어 유형 2가지
- 적대적 공격 탐지
- 완화 기법
적대적 공격의 탐지 기법은 기계학습(Machine Learning) 또는 인공신경망 기술(NN-Deep Learning) 기술을 사용하여 입력 데이터에서 '이상점'(Anomaly)을 탐지하는 기법. 여기서 이상 데이터 패턴을 탐지한 후에는 뉴런 프루닝(Neuron Pruning), 적대적 훈련(Adversarial Traning), 토폴로지 최적화(Topology Optimization) 등의 보안 연구가 있다.
논문에서는 파인 프루닝(Fine-pruning)기법과 적대적 학습 기법, 뉴런 프루닝 기법에 대해서 알려준다.
파인 프루닝은 적대적 공격에 대한 최초의 인공지능 방어 기술 중 하나이다. 뉴런 프루닝과 미세 조정의 2단계 알고리즘으로 구성된다. 뉴런 가지치기(프루닝)는 뉴런의 활성도를 측정하여 활성도가 낮은 뉴런이 중독될 가능성이 높기 때문에 제거한다. 두번 째 단계인 미세 조정은 뉴런 가지치기로 삭제되어 인공신경망의 성능 감소를 줄이기 위해 성능 최적화를 수행하는 것이다.
적대적 학습 기법은 인공지능 방어를 위해 가장 널리 사용되는 방법이다. 훈련 데이터 셋에 적대적 샘플을 보강하여 적대적 공격에 대한 신경망의 견고성을 향상시킨다. 공격자가 데이터 셋에 악의적인 악성 공격패턴 패치를 추가하는 적대적 공격에 대해 신경망의 견고성을 향상시키는 방법이다. 의료 영상 데이터에 이를 적용하여 진단 시스템의 견고성을 향상시킨다.
물론 이것을 적용했을 때는 트레이드 오프로 Membership Inference 공격에 더 취약하다고 다른 논문에서 보았다.
토폴로지 최적화 기법은 의학으로 예시를 들면 병인 요소를 찾아 제거하는 서양의학과는 다르게, 인간 몸 시스템의 전체적인 조화와 균형을 맞추는 기법과 유사하다. 구성요소간의 유기적 관계를 분석하는 것. 복잡한 네트워크 이론에서는 인공신경망 토폴로지 분석 연구를 위해 사용되고 있다.- 링크 가지치기, 복잡계 네트워크 모델인 척도 없는 구조.
결론
인공지능은 사이버 공격의 새로운 표적으로 부상하고 있다. 지능화 운영시스템의 무능화, 이적화, 탈취로 인한 피해 가능성이 높다. 지원을 통해 인공지능 보안 관련 연구 및 산업의 생태계 구축이 필수적임을 강조한다.
-논문 리뷰-
학부생으로서 인공지능의 급부상을 체감하고 있다. 작년부터 ChatGPT의 접근성이 많아지며, 여러 생성형 AI까지 많은 사용 예제가 풀리면서 많은 사람들이 이용하고 있다.
여기서 AI 시스템에 대해서 보안 관련은 어떤 문제가 있을까. 팽창하는 현 시스템에서 보안의 중요성이 대두될 필요가 있다고 생각하여 논문을 찾아보고 있다.
OS와 네트워크 통신을 공부하면서 초창기에는 보안에 대해서 생각하지 않고, 기능적 구현만을 하다가 차근 차근 보안적 기술이 등장하는 것처럼, 현재 AI도 같은 수순을 밟고 있는 것 같다. 하지만, AI의 기술 발달은 매우 빠르다. 수익성을 측면에서도 주식이 크게 오르고 내리는 것을 보면 성능 향상은 매우 빠를 것이다.
하지만 그에 따른 보안적 이슈는 생각보다 대두되지 않고 있다. 이 글을 읽고 많은 예비 AI 시스템 개발자 및 보안 기술자들이 생각에 영향을 받기를 바란다. (요즘에 AI 보안이 높아지는 추세!)
공격 기술, 방어 기술에 대해서 해당 논문을 토대로 알아가며 더 깊이 파볼만하다. AI for Security, Security for AI.
공격 : 훈련 시간 공격 및 추론 시간 공격.
방어 : 뉴런 프루닝, 적대적 훈련, 토폴로지 최적화
각 공격에 대해서는 위에서 얘기하였고, 방어 기법을 조금 더 얘기하자면,
뉴런 프루닝은 디시전 트리의 가지치기처럼 필요 없는 부분은 공격 표면이 될 가능성이 높기 때문에 제거한다. 이런 것들은 수식(선형대수 열심히 공부하자)들로 표현되고, 위험도와 성능 측면에서의 최적값을 구하는 것으로 한다.
적대적 훈련은 Anomaly로 인한 유도된 학습을 이겨내는 것이다. 내 모델을 강하게 키우겠다! 이런 느낌이다.
토폴로지 최적화에 대해서는, 당신이 처음 AI를 공부한다면, 레이어나 피쳐의 개수가 적은 예제를 통해서 선형 회귀나 베이지안 클래시파이어로 공부를 했을 것이다. 하지만, 실제 사용하는 AI 모델 기술들은 레이어가 엄청나게 많고, 블랙박스로 있을 정도로 사람들이 뜯어서 파악하기에 어려운 경우들도 있다.
이런 복잡성과 AI 끼리 앙상블하는 기법으로 성능을 늘리는 것처럼 여러 AI 기술들이 접목되고, 이종의 컴퓨터시스템과 연관되는 경우도 있다. 이와 같이 복잡도가 엉키는 경우에는 공격 표면이 정말 많아진다. (마치 DEP 기술로 코드, 데이터, 스택 부분에서 executable한 부분을 제한하는 것처럼 필요 없는 것들을 최적화하면서 덜어내는 것이다. 이건 소프트웨어 보안 생각하면 된다.)
다음 읽어볼 논문은 공격 기술에 대해서 조금 더 자세히 볼 수 있는 것을 주제로 하겠다.
조금 더 파보았을 때, Membership Inference Attack-멤버십 추론공격. 이는 특정 데이터가 기계학습 알고리즘의 학습에 사용되었는지(당신! 모델에서 멤버십이 있는가?) 확인하는 공격이다. 확인해서 학습 데이터에 대해 파악이 가능하다.
이를 통해 무얼 하는가? 마치 SQL Injection에서 데이터베이스의 구조를 파악하고 로그인 패스워드를 뽑아내는 것처럼(생성도 가능하겠지만) 학습 데이터의 파악도 그와 같이 귀중한 요소를 빼앗을 수 있는 토대가 된다.
ISSUE!!! 이 기술은 적대적 훈련을 했을 때, 방어적 기능이 떨어진다고 한다.
여러 동향에 대해서 공부할 수 있었다. 많이 저자께서 연구하셨고, 나의 것으로 만들기 위해 나의 표현, 재해석을 거쳐 해당 게시글을 작성할 수 있었다.
