보편적이고 설명 가능한 AI 컴퓨팅 하드웨어 설계는 EDA의 차세대 혁신 기술이 될 것입니다.

이 기사는 Lei Feng.com에서 복제되었습니다. 재인쇄가 필요한 경우 Lei Feng.com 공식 웹사이트로 이동하여 승인을 신청하세요.

Chen Yiran, Duke University 전기 및 컴퓨터 공학과 교수, NSF(National Science Foundation) 차세대 모바일 네트워크 및 Edge Computing Institute(Athena) 이사, NSF ASIC(New and Sustainable Computing) 학교 듀크대학교 IUCRC(협력 연구 센터)의 엔터프라이즈 디렉터이자 DCEI(계산 진화 지능 센터)의 공동 디렉터입니다.

Chen Yiran은 1994년 칭화대학교 전자학과 학부생입니다. 그녀는 2001년 칭화대학교에서 석사 학위를, 2005년에 퍼듀대학교에서 박사 학위를 받았습니다. 그의 연구 관심 분야에는 새로운 메모리 및 저장 시스템, 기계 학습, 뉴로모픽 컴퓨팅, 모바일 컴퓨팅 시스템이 포함됩니다. 그는 500편 이상의 논문과 1편의 논문을 출판했으며, 다양한 학회에서 여러 최우수 논문상을 수상했습니다. 그의 영예로는 IEEE 컴퓨터 협회 Edward J. McCluskey 기술 공로상, ACM SIGDA 서비스 상 등이 있으며, 비휘발성 메모리 기술에 대한 공헌으로 ACM 펠로우로 지명되었습니다. 그는 또한 ACM 설계 자동화 특별 관심 그룹(SIGDA)의 회장이기도 합니다.

최근 Chen Yiran 교수는 ACM과 인터뷰를 갖고 새로운 컴퓨팅 아키텍처, AI 컴퓨팅 에너지 효율성, NSF AI Edge Computing Center, Electronic Design Automation 및 ACM Design Automation Branch와 미래 기술 동향에 대한 견해를 공유했습니다.

AI Technology Review는 원래 의미를 바꾸지 않고 인터뷰 원본을 편집했습니다.

ACM: 메모리 및 스토리지 시스템 분야에 입문한 이후 이 분야의 발전에 대해 가장 놀랐던 점은 무엇인가요?

첸 이란: 제 생각에는 지난 15~20년 동안? 오늘날 메모리 및 스토리지 시스템 분야에서 가장 흥미로운 일은 컴퓨팅과 스토리지 사이의 경계가 모호해지고 있다는 것입니다.

최근 현대 컴퓨팅 패러다임의 혁명은 빅데이터 처리의 필요성에서 시작되었으며, 이로 인해 대용량 저장 장치에 대한 수요가 증가했습니다. 컴퓨팅 장치와 저장 장치 사이의 제한된 대역폭으로 인해 병목 현상이 빠르게 나타났습니다(종종 "폰 노이만 병목 현상"이라고도 함). 메모리 및 스토리지 시스템을 보다 "지능적"으로 만드는 것은 메모리 대역폭에 대한 시스템의 의존성을 완화하고 근거리 메모리 컴퓨팅 및 인메모리 컴퓨팅과 같은 데이터 처리 속도를 높이는 인기 있는 솔루션이 되었습니다.

이것은 대상 응용 프로그램의 전환(예: 과학 컴퓨팅에서 데이터 중심 컴퓨팅으로)이 컴퓨터 아키텍처의 디자인 철학을 어떻게 변화시켰는지 보여주는 훌륭한 예입니다. 이러한 철학의 변화는 스마트 솔리드 스테이트 드라이브(SSD), 동적 랜덤 액세스 메모리(DRAM) 및 데이터 처리 장치(DPU)와 같은 다양한 새로운 컴퓨팅 제품뿐만 아니라 3D Xpoint와 같은 많은 새로운 메모리 기술에 영감을 주었습니다. 메모리(Intel 및 Micron).

또한 계산을 컴퓨팅 하드웨어의 토폴로지에 직접 매핑하여 벡터 행렬 곱셈을 수행하는 크로스바 기반 내적 엔진과 같은 폰 노이만이 아닌 새로운 아키텍처의 출현으로 이어졌습니다.

ACM: 가장 많이 인용되는 최근 논문 중 하나는 심층 신경망의 효율성 향상의 중요성을 설명하는 "Learning Structured Sparsity in Deep Neural Networks"입니다. 심층 신경망의 효율성을 향상시키는 것이 왜 중요한가요? 이 분야의 유망한 연구 방향은 무엇인가요?

논문 주소: https://dl.acm.org/doi/pdf/10.5555/3157096.3157329

첸 이란:모두가 알고 있듯이 현대 심층 신경망(DNN)의 높은 (추론) 정확도는 신경망의 깊이와 폭의 증가로 인해 더 높은 계산 비용을 동반합니다. 그러나 우리는 신경망의 연결 가중치가 신경망의 정확도에 동일한 영향을 미치지 않는다는 것도 알고 있습니다. 연결 가중치가 0에 가까우면 어떤 방식으로든 신경망의 정확도에 큰 영향을 주지 않고 연결을 잘라낼 수 있습니다(즉, 가중치가 0으로 설정됨). NeurIPS 2016에서 발표한 이 논문은 메모리에 저장된 0이 아닌 가중치 구조의 희소 신경망을 학습하면 우수한 데이터 위치성을 유지하고 캐시 실패율을 줄일 수 있음을 보여줍니다. 따라서 신경망의 계산 효율성이 크게 향상됩니다. 제안된 기술, 즉 구조화된 희소 학습(종종 구조화된 접합이라고도 함) 및 그 변형은 현대의 효율적인 DNN 모델 설계에 널리 사용되었으며 Intel Nervana 및 NVIDIA Ampere와 같은 많은 인공 지능(AI) 컴퓨팅 칩에서 지원됩니다.

DNN의 효율성을 향상시키는 것은 대규모 DNN 모델의 확장과 Edge 및 IoT 장비와 같이 컴퓨팅, 스토리지 리소스 및 전력 예산이 제한된 시스템에 대규모 모델을 배포하는 것을 크게 방해하므로 중요합니다. 이 분야의 최신 연구 동향은 베이지안 모델, 양자 유사 모델, 신경망 모델 등 새롭거나 개발되지 않은 인공 지능 모델을 가속화하기 위해 신흥 나노 장치를 기반으로 한 인공 지능 가속기 설계와 같은 알고리즘과 하드웨어 수준 혁신의 결합입니다. 상징적 모델 등

ACM: 최근 국립과학재단의 차세대 네트워크 및 엣지컴퓨팅 인공지능연구소의 아테나(Athena) 프로젝트(Athena)를 지휘할 예정이라고 발표되었습니다. Athena 프로젝트는 듀크 대학교, MIT, 프린스턴 대학교, 예일 대학교, 미시간 대학교, 위스콘신 대학교, 노스캐롤라이나 농업 및 기술 주립 대학교를 포함한 여러 기관이 참여하는 5년간 2,000만 달러 규모의 프로젝트입니다. Project Athena의 목표는 무엇인가요?

Yiran Chen: 국립과학재단과 미국 국토안보부가 후원하는 엣지 컴퓨팅 인공 지능을 위한 주력 연구소인 Project Athena의 설립을 매우 기쁘게 생각합니다. . Athena의 목표는 첨단 인공 지능 기술을 통해 복잡성과 비용을 제어하면서 전례 없는 성능을 제공하고 이전에는 불가능했던 서비스를 지원함으로써 미래 모바일 네트워크 시스템의 설계, 운영 및 서비스를 변화시키는 것입니다.

Athena의 연구 활동은 엣지 컴퓨팅 시스템, 컴퓨터 시스템, 네트워크 시스템, 서비스 및 애플리케이션이라는 네 가지 핵심 영역으로 나뉩니다. 우리가 개발하는 인공지능 기술은 미래 모바일 네트워크의 기능성, 이질성, 확장성 및 신뢰성에 대한 이론적, 기술적 기반도 제공할 것입니다.

커뮤니티 연결 지점으로서 Athena는 신흥 기술 생태계를 촉진하고 윤리적이고 공정한 가치를 지닌 다양한 차세대 기술 리더를 양성할 것입니다. 우리는 Athena의 성공이 모바일 네트워크 산업의 미래를 재편하고, 새로운 비즈니스 모델과 기업가적 기회를 창출하며, 미래 모바일 네트워크 연구 및 산업 애플리케이션을 변화시킬 것으로 기대합니다.

ACM: 설계 자동화 분야에서 가장 흥미로운 트렌드는 무엇입니까? ACM SIGDA(Special Interest Group on Design Automation) 의장으로서 이 조직이 이 분야에서 어떤 역할을 하고 있다고 보시나요?

Yiran Chen: 지난 10년 동안 설계 자동화에서 가장 흥미로운 추세는 전자 설계 자동화(EDA) 도구에 기계 학습 기술이 널리 채택되었다는 것입니다. 칩 설계의 품질은 칩 설계자의 경험에 크게 좌우되기 때문에 기존의 부피가 큰 모델을 다시 거치지 않고도 기존 설계에서 반도체 칩 설계 방법을 계승하는 방법을 직접 학습할 수 있는 지능형 EDA 도구를 개발하는 것은 자연스러운 생각입니다. . 다양한 기계 학습 모델이 최신 EDA 흐름에 내장되어 컴퓨팅 테스트 라우팅 및 배치, 전력 추정, 타이밍 분석, 매개변수 조정, 신호 무결성 등을 가속화합니다. 칩의 런타임 전력 소비를 모니터링하고 예측하기 위해 칩의 하드웨어 모듈에도 기계 학습 알고리즘이 구현되었습니다. 예를 들어 APOLLO 프레임워크(MICRO 2021 Best Paper Award 수상)가 있습니다.

문서 주소: https://dl.acm.org/doi/pdf/10.1145/3466752.3480064

최대 규모의 EDA 전문 협회 중 하나인 SIGDA는 EDA 전문가와 학생들을 주변에서 홍보하는 데 최선을 다하고 있습니다. 세계의 기술과 지식. SIGDA는 매년 30개 이상의 국제 및 지역 컨퍼런스를 후원 및 조직하고, 여러 저널과 뉴스레터를 편집 및 지원하며, 워크숍, 튜토리얼, 웹 세미나, 대회, 연구 포럼 및 대학 프레젠테이션을 포함하여 12개 이상의 교육 및 기술 이벤트를 주최합니다. 업계 파트너와 협력하여 SIGDA는 어린 학생, 교사 및 전문가에게 여행비를 제공하여 컨퍼런스 참여를 지원합니다. 우리는 또한 지역사회의 뛰어난 연구자와 자원봉사자에게 다양한 상을 수여합니다.

ACM: 귀하의 분야에서 향후 몇 년 동안 특히 영향을 미칠 연구 방법의 예는 무엇입니까?

Chen Yiran: 저는 보편적이고 설명 가능한 AI 컴퓨팅 하드웨어 설계 프로세스가 EDA 및 컴퓨팅 시스템 연구에서 차세대 혁명적인 기술이 될 것이라고 믿습니다.

지난 10년 동안 인공지능 모델의 계산을 가속화하기 위해 다양한 하드웨어 설계가 제안되었습니다. 그러나 끊임없이 변화하는 모델의 고유한 구조를 수용하려면 많은 하드웨어 사용자 정의가 필요하기 때문에 설계자는 항상 설계 다양성과 효율성 사이에서 고민합니다. 반면, 설명 가능성은 AI 모델의 견고성을 보장하고 모델 설계를 일반화하는 데 있어 장기적인 과제였습니다.

미래의 AI 컴퓨팅 하드웨어 설계는 해당 알고리즘에 해당하는 다양한 해석 가능한 하드웨어 모듈로 구성될 수 있습니다. AI 컴퓨팅 하드웨어의 성능은 공통 설계 프로세스를 통해 보장됩니다. 한 가지 가능한 해결책은 신경 기호 방법을 사용하여 구성 가능한 AI 모델을 구축하고 기호 알고리즘 모듈에 해당하는 하드웨어 모듈을 구현하는 것입니다. 그런 다음 확장된 AutoML 흐름을 사용하여 대상 AI 컴퓨팅 하드웨어의 설계를 자동화하여 일반화 가능성과 해석 가능성을 보장하면서 원하는 성능을 얻을 수 있습니다.

위 내용은 보편적이고 설명 가능한 AI 컴퓨팅 하드웨어 설계는 EDA의 차세대 혁신 기술이 될 것입니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!