연구소 소개

[Vol.10 No.2] 사물지능 구현을 위한 엣지 컴퓨팅 기술 동향

  • 작성자

    관리자

  • 작성일자

    2020-06-11 09:50

  • 조회수

    485

사물지능 구현을 위한 엣지 컴퓨팅 기술 동향

인트플로우(주) 전광명 (대표이사, 공학박사) (kmjeon@int-flow.com)


사물지능 (AIoT)란 용어는 4차산업혁명의 핵심 기술인 인공지능(AI)와 사물인터넷(IoT)을 조합한 신조어로 일본 기업 샤프社가 처음 사용하는 것으로 알려졌다 [1]. 사물이 네트워크와 연결되어 단순히 데이터를 주고받는 IoT의 개념을 넘어 개별 사물이 지능을 지녀 각 사물이 처한 상황을 인지하고 이에 적합한 대응을 수행하는 것을 의미한다. AIoT는 사실 이미 실생활에 널리 사용되고 있는 기술로써, 대표적인 예는 AI스피커를 들 수 있다. AI스피커는 이용자의 발성으로부터 즉시 음성인식을 수행하여 기본적인 검색, 음악 청취, 간단한 답변을 비롯 주문요청 시 주문까지 해주는 등 다양한 기능을 수행할 수 있다. 또한 CCTV나 IP카메라 등 영상을 수집하고 표출하는 목적의 영상 IoT 장치들 역시 AI와의 접목을 통해 산업 전반에 활용되는 지능형 카메라로의 변화 역시 가속화 되고 있으며, 이 역시 대표적인 AIoT 기술의 실용화 사례로 꼽을 수 있다 [2]. AIoT 기술은 LG유플러스, 샤오미, LG전자, 삼성전자 등 유수의 업체들이 주시하고 있는 차세대 산업혁명의 중심이 될 것으로 예측하고 있다 [3]. 



4차 산업혁명의 Key Drivers, 사물지능 개념도 
출처: 이성호, 유영진, 사물지능혁명, 2017


AIoT의 구현을 위한 핵심요소로는 단연 엣지 컴퓨팅 (Edge Computing) 기술을 꼽을 수 있다. 엣지 컴퓨팅이란 네트워크의 말단 장치 (Edge)에서 가동되는 복잡한 연산 (Computing)을 수행 한다는 의미로써, 기존의 클라우드 컴퓨팅 대비 데이터 부하 감소, 보안, 장애대응이라는 세 가지 장점을 지닌다 [4]. 특히 AIoT를 구현하기 위한 엣지 컴퓨팅은 AI추론이라는 고도의 연산을 신속하고, 정확하면서, 저전력으로 수행해야 한다는 기술적 난제들이 존재한다. 따라서 AIoT를 위한 엣지컴퓨팅 기술의 구현에는 HW 및 SW양측에서 많은 도전과제가 산재해 있으며, 이를 해결하기 위해 국내외 유수의 산업체와 연구기관 들이 현재도 많은 노력을 기울이며 새로운 연구 성과들을 발표하고 있는 실정이다.
  먼저 미국 발 IT 거대 기업들인 Intel, Nvidia, Google 3사가 AIoT를 위한 엣지컴퓨팅 하드웨어의 대중화를 이끌고 있다. 각 기업들은 낮은 전력에서 실시간 AI추론을 가능하게 하는 특별한 ASIC을 활용한다. 먼저 Intel의 경우 VPU (vision processing unit)라는 합성곱연산에 특화된 반도체를 활용하는데, 그 연산량은 약 80~150GFLOPS (FP16) 수준으로 알려져 있으며, 2세대 제품의 경우 1W당 4TOPS (INT8) 까지 성능이 올라갔다 [5]. 다음으로 인공지능 개발의 최대 선두주자로 알려진 Nvidia는 자사의 GPU 설계경험을 바탕으로 저전력에서의 AI추론에 특화된 Jeton 플랫폼을 개발하여 시장을 형성하고 있다. Jetson은 그 용도에 따라 AI연산능력과 소모전력, 가격대를 세분화하여 Jetson Nano, Tx, Xavier 등 다양한 제품군을 형성하고 있는 특징을 지닌다. 이 중 가장 저전력 제품군인 Jetson Nano의 경우 5W에서 472GFLOPS (FP16) 수준의 연산량을 보여주며 [6], 가장 고성능 제품군인 Jetson AGX Xavier의 경우 30W에서 32 TOPS (INT8) [7]라는 높은 성능을 보여준다 [7]. 마지막으로 Google은 Coral.ai 라는 엣지 컴퓨팅 AI플랫폼을 운영하며 AI연산에 특화된 TPU (Tensor Processing Unit) 기반의 HW 가속기를 공급하고 있다. Coral 플랫폼은 USB가속기 형태부터 개발보드, PCIe, 등 다양한 형태의 폼팩터를 염두하고 제작되어 향후 AIoT 장치와의 연결성을 미리 준비하는 모습을 보인다. TPU는 4TOPS (INT8)라는 높은 성능을 보이는데, 이때 1W당 2TOP라는 높은 전력 효율을 보여, 향후 저전력 제품군에 적용에도 용이할 것으로 기대된다. 



  

  

  

AI추론용 공개 엣지컴퓨팅 플랫폼
(좌 : Intel Neural Compute Stick2, 중 : Nvidia Jetson Nano, 우 : Google Coral)


상기 세 IT 기업들이 사업화 중인 엣지 컴퓨팅 솔루션들은 소비전력 당 AI연산 능력 외에도 기존의 AI 툴체인 및 인기 있는 신경망 모델과의 호환성, 주변 HW와의 연결성 등 해결해야 할 문제들이 많다. 하지만 가장 큰 수요를 보이는 분야인 지능형 영상분석를 시작으로 이러한 엣지 컴퓨팅 솔루션들은 종래의 AI 또는 IoT 산업과 융합하여 지금까지 없었던 혁신기능들 (무인 보안, 스마트 교통제어, 자율주행 로봇, 전염병 확산 방지 등)을 구현하는데 일조하여 폭발적인 시장가치를 창출할 것으로 기대 된다.



Jetson 플랫폼과 CCTV를 활용한 코로나19 확산 방지를 위한
사회적 거리두기 측정 시스템 (YouTube 동영상 발췌) [8]


사물지능의 성공적 구현을 또 다른 핵심 요소로는 경량 딥러닝 기술을 꼽을 수 있다. 사물지능의 보다 신속한 확산을 위해서는 특수한 엣지 컴퓨팅 HW 뿐만 아니라 종래에 널리 보급된 모바일 디바이스, 산업용 게이트웨이, IoT 센서와 같은 디바이스에 역시 AI추론이 가능해야 하지만, 현재의 주요 AI 신경망들을 구동하기에는 역부족이다. 또한 앞서 소개된 엣지 컴퓨팅 HW들 역시 정교하게 경량화된 딥러닝 모델들이 아니라면 그 구동 성능이 현저하게 떨어지기 때문에, 경량 딥러닝 기술은 사물지능의 구현에 필수적인 요소라 할 수 있다. 이러한 이유로 기존의 학습된 모델의 정확도를 유지하면서 보다 크기가 작고, 연산을 간소화하는 연구인 경량 딥러닝 연구가 활발히 진행되고 있다. 경량 딥러닝 연구는 기존 클라우드 기반의 학습된 모델을 경량 장치에 내장하기 위한 필수 기술이며, 이를 통해 지연시간 감소, 민감한 개인 정보 보호, 네트워크 트래픽 감소 같은 다양한 이점을 갖게 된다 [9]. 경량 딥러닝 기술은 세부적으로 신경망의 구조를 처음부터 연산효율적으로 설계하는 경량 딥러닝 알고리즘과 이미 만들어진 모델 파라메터를 줄이는 모델 압축 등의 기법이 적용된 신경망 경량화 기술로 나눌 수 있다. 사물지능 분야에서 현재까지 널리 쓰이는 영상처리 관련 경량 딥러닝 알고리즘으로는 모바일넷 (MobileNet)[10]을 꼽을 수 있다. 모바일넷은 기존의 합성곱 필터를 채널(Channel) 단위로 나누어 깊이별 합성곱 (Depthwise Convolution)을 수행하고, 그 결과를 하나의 픽셀 (Point)에 대하여 진행하여 총 연산 횟수를 대폭 줄이는 효과를 얻는다. 아래의 그래프는 MobileNet과 엣지 컴퓨팅 HW의 조합을 통해 사물지능 장치도 GPU가 포함된 고성능 워크스테이션에 버금가는 처리속도를 얻을 수 있음을 시사한다 [10]. 


HW구성 별 MobileNetV2 구동 속도 비교 [10]

 

합성곱 연산 경량화는 딥러닝 기반 음성처리 기술에 역시 활용되고 있다. 잡음이 포함된 음성신호에서 잡음과 음성을 분리하는 다양한 접근 중 신경망을 활용한 U-Net 기반의 방법이 매우 유용한 것으로 알려져 있다 [11]. U-Net 역시 합성곱 연산을 기본으로 하여 사물지능에 활용하기에는 그 연산량이 매우 높은 수준이다. 이러한 문제를 해결하기 위해 U-Net 층 간 단순 신경망 연산부를 다중 차원축소 모듈로 대체하여 신경망의 파라메터 크기를 기존 U-Net의 3.72% 수준으로 낮추면서도 음성분리 정확성 손실은 0.0004의 mean absolute error 로 미미한 것으로 나타났다 [12]. 이는 잡음환경에서의 음성인식, 이상음원 감지, 맥락 인지 등 음성 관련 기능 역시 사물지능을 통해 구현 가능함을 의미한다. 사물지능 기술에 대한 각계의 관심은 하루가 다르게 높아지고 있는 실정이다. 통신망의 유무에 상관없이 AI를 각 산업 현장 일선에 투입하는데 필수적인 사물지능 기술은 4차산업혁명 시대가 중시하는 AI+X (기존산업)의 실현을 위해 꼭 달성해야 할 성배와 같다 할 수 있다. 앞서 간략히 소개한 바와 같이 사물지능이 구현되기 위해서는 엣지 컴퓨팅의 구현을 위해서는 GPU나 TPU 같은 병렬 비메모리반도체 개발부터 AI 개발 플랫폼, 신경망 알고리즘 개발, 신경망 압축 기법 등 HW부터 SW 까지 다양한 공학분야의 융합 연구가 꼭 필요한 분야이다. 한국의 사물지능 기술의 신속한 고도화와 사업화를 위해서는 사물지능의 투입이 필요시 되는 기존산업의 구체적인 문제를 정의하고 관련 연구 및 사업을 주도하는 산업체, 학계, 그리고 연구소 간의 긴밀한 융합연구가 선행되어야 할 것으로 전망된다. 


  

  

경량화 U-Net 기반 음성분리 기술
(좌 : 경량화 U-Net 구조, 우 : U-Net 및 경량화 U-Net의 음원 분리 결과 비교)


참고문헌
[1] https://global.sharp/brand/vision/aiot/about/ 
[2] Kankanhalli, Atreyi, Yannis Charalabidis, and Sehl Mellouli. "IoT and AI for smart government: A research agenda." (2019): 304-309. 
[3] AIoT 산업 현황 및 필요성, 한국융합기술진흥원 사물지능본부 컨버전스연구소, 2019년 4월. 
[4] Shi, Weisong, et al. "Edge computing: Vision and challenges." IEEE internet of things journal 3.5 (2016): 637-646. 
[5] Weckler, Adrian. "Dublin tech firm Movidius to power Google's new virtual reality headset". Independent.ie. Retrieved 15 March 2016. 
[6] https://devblogs.nvidia.com/jetson-nano-ai-computing/ 
[7] https://devblogs.nvidia.com/nvidia-jetson-agx-xavier-32-teraops-ai-robotics/ 
[8] https://youtu.be/n90W5AcCk34 
[9] 이용주, 문용혁, 박준용, 민옥기, “경량 딥러닝 기술 동향”, 전자통신동향분석, 제32권, 제2호, 2019년 4월. 
[10] https://blog.raccoons.be/coral-tpu-jetson-nano-performance 
[11] Chun, Chanjun, et al. "Drone noise reduction using deep convolutional autoencoder for UAV acoustic sensor networks." 2019 IEEE 16th International Conference on Mobile Ad Hoc and Sensor Systems Workshops (MASSW). IEEE, 2019. 
[11] Jeon, Kwang Myung, et al. "Lightweight U-Net Based Monaural Speech Source Separation for Edge Computing Device." 2020 IEEE International Conference on Consumer Electronics (ICCE). IEEE, 2020.

 


 

다음

[Vol.10 No.2] Life as a PostDoc from Iran
이전

[Vol.10 No.1] 2020년도 한국통신학회 박세웅 회장 인사말