도시바, 딥러닝 프로세싱 알고리즘 및 하드웨어 아키텍처 개발
2018-11-07 박종배 기자, jbpark@elec4.co.kr
기존의 제품에 비해 4배나 높은 에너지 효율 나타내
도시바 메모리 코퍼레이션(Toshiba Memory Corporation, 이하 ‘도시바 메모리’)이 인식 정확성의 저하 없이 고속, 고에너지 효율 딥러닝(deep learning) 프로세싱 알고리즘 및 하드웨어 아키텍처를 개발했다고 발표했다.
FPGA 상에서 수행되는 이 새로운 딥러닝 프로세서는 기존의 제품에 비해 4배나 높은 에너지 효율을 자랑한다. 이번의 기술 개발 뉴스는 11월 6일 대만에서 열린 2018년도 IEEE 아시아 고체회로 컨퍼런스(IEEE Asian Solid-State Circuits Conference 2018, A-SSCC 2018)에서 발표됐다.
딥러닝 계산은 많은 경우 방대한 분량의 곱셉누산(MAC) 연산을 필요로 하며 이로 인해 상당한 연산 시간과 대량의 에너지 소비를 요한다. 매개변수(비트 정확성)를 대표하는 비트 숫자를 줄이는 기법은 총 연산시간을 줄이기 위해 전부터 제안된 바 있으나 지금까지 제안된 알고리즘 중 하나는 비트 정확성을 하나 또는 두 개의 비트로 줄이므로 일종의 인식 정확성 면에서 저하를 초래한다. 도시바 메모리는 신경망 상의 각 층위에서 개별 필터에 대한 MAC 연산의 비트 정확성을 최적화함으로써 MAC 연산을 줄이는 새로운 알고리즘을 개발해냈다. 이 새로운 알고리즘을 통해 MAC 연산은 인식 정확성 저하를 가져오지 않으면서도 줄어들 수 있게 됐다.
이에 더해 도시바 메모리는 상이한 비트 정확성을 갖는 MAC 연산에 적합한 비트-패럴랠 방법(bit-parallel method)이라고 불리는 새로운 하드웨어 아키텍처도 개발했다. 이 방법은 각 비트 정확성을 하나하나 나눠서 다양한 MAC 단위에서 한 비트씩 병렬처리 하는 방식을 채택한다. 이로써 직렬로 처리하는 기존의 MAC 아키텍처에 비해 프로세서 내의 MAC 단위의 사용효율을 크게 향상시킬 수 있게 됐다.
도시바 메모리는 딥 신경망인 ResNet50을 다양한 비트 정확성과 비트 병렬 MAC 아키텍처를 활용하여 FPGA 상에서 처리할 수 있게 됐다. 이미지네트(ImageNet)의 이미지 데이터 유형에 대한 이미지 인식의 경우 위의 기법은 이미지 데이터를 인식하는 데 따른 작동 시간과 에너지 소비량 면에서 기존의 기법과 비교할 때 인식 정확성 면의 저하를 초래하지 않으면서도 25% 정도 절약을 해주는 것으로 나타났다.
향후 AI는 다양한 기기 상에서 구현될 수 있을 것으로 기대되고 있다. 딥러닝 프로세서와 관련하여 고속, 고에너지 효율 기술은 낮은 에너지 소비량이 매우 중요한 요건이 되는 스마트폰과 HMD 등 에지 디바이스와 데이터센터에서 많이 활용될 것으로 보인다. GPU 같은 고성능 프로세서는 AI의 고속 작동에 매우 중요한 기기가 될 것이다. 한편 메모리와 저장 공간도 빅데이터를 활용하는 AI에 있어서 매우 중요한 기기로 떠오를 가능성이 크다. 도시바 메모리는 AI 기술과 관련하여 부단한 R&D 활동을 지속하고 있으며 데이터 기반 컴퓨팅 시대를 앞두고 메모리와 저장 공간 분야에서도 이노베이션을 가속화하고 있다.
도시바 메모리 코퍼레이션(Toshiba Memory Corporation, 이하 ‘도시바 메모리’)이 인식 정확성의 저하 없이 고속, 고에너지 효율 딥러닝(deep learning) 프로세싱 알고리즘 및 하드웨어 아키텍처를 개발했다고 발표했다.
FPGA 상에서 수행되는 이 새로운 딥러닝 프로세서는 기존의 제품에 비해 4배나 높은 에너지 효율을 자랑한다. 이번의 기술 개발 뉴스는 11월 6일 대만에서 열린 2018년도 IEEE 아시아 고체회로 컨퍼런스(IEEE Asian Solid-State Circuits Conference 2018, A-SSCC 2018)에서 발표됐다.
딥러닝 계산은 많은 경우 방대한 분량의 곱셉누산(MAC) 연산을 필요로 하며 이로 인해 상당한 연산 시간과 대량의 에너지 소비를 요한다. 매개변수(비트 정확성)를 대표하는 비트 숫자를 줄이는 기법은 총 연산시간을 줄이기 위해 전부터 제안된 바 있으나 지금까지 제안된 알고리즘 중 하나는 비트 정확성을 하나 또는 두 개의 비트로 줄이므로 일종의 인식 정확성 면에서 저하를 초래한다. 도시바 메모리는 신경망 상의 각 층위에서 개별 필터에 대한 MAC 연산의 비트 정확성을 최적화함으로써 MAC 연산을 줄이는 새로운 알고리즘을 개발해냈다. 이 새로운 알고리즘을 통해 MAC 연산은 인식 정확성 저하를 가져오지 않으면서도 줄어들 수 있게 됐다.
이에 더해 도시바 메모리는 상이한 비트 정확성을 갖는 MAC 연산에 적합한 비트-패럴랠 방법(bit-parallel method)이라고 불리는 새로운 하드웨어 아키텍처도 개발했다. 이 방법은 각 비트 정확성을 하나하나 나눠서 다양한 MAC 단위에서 한 비트씩 병렬처리 하는 방식을 채택한다. 이로써 직렬로 처리하는 기존의 MAC 아키텍처에 비해 프로세서 내의 MAC 단위의 사용효율을 크게 향상시킬 수 있게 됐다.
도시바 메모리는 딥 신경망인 ResNet50을 다양한 비트 정확성과 비트 병렬 MAC 아키텍처를 활용하여 FPGA 상에서 처리할 수 있게 됐다. 이미지네트(ImageNet)의 이미지 데이터 유형에 대한 이미지 인식의 경우 위의 기법은 이미지 데이터를 인식하는 데 따른 작동 시간과 에너지 소비량 면에서 기존의 기법과 비교할 때 인식 정확성 면의 저하를 초래하지 않으면서도 25% 정도 절약을 해주는 것으로 나타났다.
향후 AI는 다양한 기기 상에서 구현될 수 있을 것으로 기대되고 있다. 딥러닝 프로세서와 관련하여 고속, 고에너지 효율 기술은 낮은 에너지 소비량이 매우 중요한 요건이 되는 스마트폰과 HMD 등 에지 디바이스와 데이터센터에서 많이 활용될 것으로 보인다. GPU 같은 고성능 프로세서는 AI의 고속 작동에 매우 중요한 기기가 될 것이다. 한편 메모리와 저장 공간도 빅데이터를 활용하는 AI에 있어서 매우 중요한 기기로 떠오를 가능성이 크다. 도시바 메모리는 AI 기술과 관련하여 부단한 R&D 활동을 지속하고 있으며 데이터 기반 컴퓨팅 시대를 앞두고 메모리와 저장 공간 분야에서도 이노베이션을 가속화하고 있다.
<저작권자(c)스마트앤컴퍼니. 무단전재-재배포금지>
100자평 쓰기
