컴퓨터 비전 기술은 곧 큰 변화를 겪을 것입니다

컴퓨터 비전이 다시 재창조될까요?

피츠버그 대학교 안과 교수이자 CMU Robotics Institute의 겸임 교수인 Ryad Benosman은 이것이 사실이라고 생각합니다. 이벤트 기반 비전 기술의 창시자 중 한 명인 Benosman은 뉴로모픽 비전(이벤트 기반 카메라 기반 컴퓨터 비전)이 컴퓨터 비전의 다음 방향이 될 것으로 기대합니다.

"컴퓨터 비전은 여러 번 재창조되었습니다."라고 Benosman은 말했습니다. "적어도 두 번 이상 재창조되는 것을 보았습니다."

Benosman은 1990년대 약간의 사진 측량을 사용한 이미지 처리에서 기하학 기반 방법으로의 전환과 오늘날의 기계 학습의 급속한 발전을 언급했습니다. 이러한 변화에도 불구하고 최신 컴퓨터 비전 기술은 여전히 ​​주로 인간의 눈으로 보는 것과 유사한 이미지를 생성하는 카메라인 이미지 센서를 기반으로 합니다.

Benosman에 따르면 이미지 감지 패러다임은 더 이상 유용하지 않을 때까지 대체 기술의 혁신을 방해할 것입니다. 고성능 프로세서(예: GPU)의 개발로 인해 대체 솔루션을 찾는 필요성이 지연되어 이러한 영향이 길어집니다.

"컴퓨터 비전에 이미지를 사용하는 이유는 무엇입니까? 그것이 백만 달러짜리 질문입니다."라고 그는 말했습니다. "우리는 이미지를 사용할 이유가 없습니다. 그것은 단지 역사적 추진력 때문입니다. 카메라가 있기 전에도 이미지에는 추진력이 있었습니다."

이미지 카메라

이미지 카메라는 기원전 5세기 핀홀 카메라가 출현한 이후로 존재해 왔습니다. 1500년대에 예술가들은 방 크기의 장치를 사용하여 방 밖의 사람이나 풍경의 이미지를 캔버스에 추적했습니다. 수년에 걸쳐 그림은 이미지를 기록하기 위해 필름으로 대체되었습니다. 디지털 사진과 같은 혁신으로 인해 이미지 카메라가 현대 컴퓨터 비전 기술의 기초가 되는 것이 쉬워졌습니다.

그러나 베노스만은 이미지 카메라를 기반으로 한 컴퓨터 비전 기술은 극히 비효율적이라고 생각합니다. 그의 비유는 중세 성의 방어 시스템이었습니다. 벽 주위에 배치된 경비원은 다가오는 적을 둘러보았습니다. 드러머는 꾸준하게 박자를 쳤고, 박자마다 각 경비원은 자신이 본 것을 소리 쳤습니다. 모든 소란 속에서 경비병이 먼 숲 가장자리에서 적을 발견하는 것을 우연히 듣는 것이 얼마나 쉬운가요?

드럼 비트에 해당하는 21세기 하드웨어는 전자시계 신호이고, 가드는 픽셀입니다. 대량의 데이터가 생성되어 매 클록 주기마다 확인해야 하므로 중복된 정보가 많아 불필요한 계산이 많이 필요합니다.

"사람들은 너무 많은 에너지를 소비하고 있습니다. 자신을 보호하기 위해 성의 전체 컴퓨팅 성능을 차지하고 있습니다."라고 Benosman은 말했습니다. 흥미로운 사건이 발견되면(이 비유에서 적으로 표현됨) "쓸데없는 정보를 수집하기 위해 이리저리 돌아다녀야 하고, 사람들이 사방에서 비명을 지르고 있기 때문에 대역폭이 많이 있습니다... 이제 복잡한 성이 있다고 상상해 보십시오. 이 사람들은 모두 모두 들어야 합니다.”

뉴로모픽 비전에 입장하세요. 기본 아이디어는 전체 장면을 지속적으로 분석하기보다는 장면 역학의 변화를 감지하는 생물학적 시스템의 작동 방식에서 영감을 받았습니다. 성에 비유하면 경비원이 흥미로운 것을 볼 때까지 조용히 유지한 다음 위치를 불러 경보를 울리는 것을 의미합니다. 전자 형식에서 이는 개별 픽셀이 관련성을 확인하는지 여부를 결정하도록 하는 것을 의미합니다.

"픽셀은 어떤 메시지를 보내야 할지 스스로 결정할 수 있습니다."라고 Benosman은 말했습니다.

"시스템 정보를 얻는 대신 의미 있는 정보인 기능을 찾을 수 있습니다. 그것이 차이를 만드는 것입니다."

Prophesee DVS 센서 평가 키트는 Sony와 협력하여 개발되었습니다. Benosman은 Prophesee의 공동 창립자입니다.

이 이벤트 기반 접근 방식은 고정 주파수 시스템 획득에 비해 많은 전력을 절약하고 대기 시간을 줄일 수 있습니다.

"당신은 좀 더 적응력 있는 것을 원하며, 이것이 바로 적응형 획득 빈도라는 상대적인 변화(이벤트 기반 비전)가 제공하는 것입니다."라고 그는 말했습니다. "진폭 변화를 볼 때 무언가가 매우 빠르게 움직이면 우리는 많은 샘플을 얻게 될 것입니다. 무언가가 변하지 않으면 거의 0이 될 것이므로 다음을 기반으로 획득 주파수를 조정합니다. 그래서 좋은 디자인인 거죠."

베노스만은 이미지가 올바른 접근 방식이 아니기 때문에 첨단 컴퓨터 비전은 결코 작동하지 않을 것이라는 믿음으로 2000년 뉴로모픽 비전 분야에 입문했습니다.

“가장 큰 변화는 회색조나 이미지 없이 볼 수 있다는 점입니다. 이는 2000년대 후반에는 이단적이었습니다. 완전히 이단적이었습니다.”라고 그는 말했습니다.

현재 이벤트 기반 센싱의 기반이 되는 Benosman이 제안한 기술은 당시 가장 중요한 IEEE 컴퓨터 비전 저널에 제출된 논문이 검토 없이 거부될 정도로 달랐습니다. 실제로 이 기술이 탄력을 받기 시작한 것은 2008년 DVS(Dynamic Vision Sensor)가 개발된 이후였습니다.

Neuroscience Inspired

Neuromorphic 기술은 최고의 컴퓨터인 뇌와 뉴런 또는 계산 요소를 포함한 생물학적 시스템에서 영감을 받은 기술입니다. 문제는 뉴런이 어떻게 작동하는지 완전히 이해하는 사람이 아무도 없다는 것입니다. 우리는 뉴런이 스파이크라고 불리는 들어오는 전기 신호에 반응한다는 것을 알고 있지만, 최근까지 연구자들은 뉴런이 스파이크의 수만 중요하다고 가정하여 다소 성급한 것으로 묘사했습니다. 이 가설은 수십 년 동안 지속되었지만 최근 연구에 따르면 이러한 스파이크의 타이밍이 절대적으로 중요하며 뇌는 정보를 인코딩하기 위해 이러한 스파이크에 지연을 생성하도록 구조화되어 있음이 입증되었습니다.

오늘날의 스파이크 신경망은 뇌에서 보이는 스파이크를 시뮬레이션하고 실제의 단순화된 버전입니다. 종종 스파이크의 이진 표현입니다. "나는 1을 받고, 깨어나고, 계산하고, 잠을 잔다"고 Benosman은 설명했다. 현실은 훨씬 더 복잡합니다. 스파이크가 도착하면 뉴런은 시간이 지남에 따라 스파이크의 값을 통합하기 시작합니다. 즉, 결과가 동적임을 의미합니다. 또한 50가지의 서로 다른 통합 프로필을 가진 약 50가지 유형의 뉴런이 있습니다.

현재 전자 버전에는 통합된 동적 경로, 뉴런 간의 연결성, 다양한 가중치 및 지연이 부족합니다. "문제는 작동하는 제품을 만들기 위해 우리가 그것을 이해하지 못하기 때문에 모든 복잡성을 [모방]할 수 없다는 것입니다."라고 그는 말했습니다. "뇌에 대한 좋은 이론이 있다면 우리는 그것을 해결할 것입니다. 문제는 우리가 모른다는 것입니다."

Bensoman은 새로운 창조를 목표로 대뇌 피질 계산의 이면에 있는 수학을 이해하는 데 전념하는 독특한 실험실을 운영하고 있습니다. 수학적 모델을 만들고 이를 실리콘 장치에 복제합니다. 여기에는 실제 망막의 스파이크를 직접 모니터링하는 작업이 포함됩니다.

현재 Bensoman은 생물학적 뉴런의 충실한 복제에 반대하며 이러한 접근 방식이 구식이라고 말합니다.

“실리콘에 뉴런을 복제한다는 아이디어는 사람들이 트랜지스터를 보고 실제 뉴런처럼 보이는 메커니즘을 봤기 때문에 처음부터 어떤 생각이 있었던 것 같아요.” "우리는 셀이 없습니다. 실리콘이 있습니다. 컴퓨팅 기판을 조정해야 합니다. 그 반대가 아닙니다. 내가 무엇을 컴퓨팅하고 있는지 알고 칩이 있다면 이 방정식을 최적화하여 수행할 수 있습니다.

처리 능력

뉴런의 정확한 복제가 필요하지 않다는 인식과 DVS 카메라의 개발이 오늘날 비전 시스템을 뒷받침하는 원동력입니다. 시스템은 이미 상업적으로 이용 가능하지만 완전히 인간과 유사한 시각을 상업적으로 사용하려면 진전이 필요합니다.

Benosman은 포토다이오드 자체를 둘러싼 구성 요소가 채우기 비율을 크게 줄였기 때문에 원래 DVS 카메라가 "크고 두꺼운 픽셀"을 가졌다고 말합니다. 이러한 카메라 개발에 대한 투자로 기술이 가속화되는 동안 Benosman은 오늘날의 사고 카메라가 2000년에 개발된 원래 연구 장비의 개선일 뿐이라는 점을 분명히 했습니다. Sony, Samsung 및 Omnivision의 최첨단 DVS 카메라에는 3D 스태킹과 같은 고급 기술을 통합하고 소음을 줄이는 작은 픽셀이 있습니다. Benosman의 관심사는 오늘날 사용되는 센서 유형이 성공적으로 확장될 수 있는지 여부입니다.

“문제는 픽셀 수를 늘리면 여전히 매우 빠르기 때문에 많은 데이터를 얻을 수 있다는 것입니다.”라고 그는 말했습니다. "실시간으로 처리할 수는 있지만 너무 많은 픽셀로 인해 상대적인 변화가 너무 많이 발생하게 됩니다. 잠재력을 보았지만 이를 지원할 적절한 프로세서가 없기 때문에 지금은 모두가 죽고 있습니다."

이 Prophesee 고객 적용 사례는 이미지 카메라(각 상자의 왼쪽 상단)와 DVS 센서 출력의 차이를 보여줍니다.

범용 뉴로모픽 프로세서는 DVS 카메라 프로세서보다 뒤떨어집니다. 업계 최대 기업(IBM Truenorth, Intel Loihi)의 노력은 여전히 ​​진행 중입니다. 올바른 프로세서와 올바른 센서는 탁월한 조합이 될 것이라고 Benosman은 말했습니다.

"[오늘날의 DVS] 센서는 매우 빠르고 대역폭이 매우 낮으며 동적 범위가 높아 실내와 실외를 모두 볼 수 있습니다."라고 Benosman은 말했습니다. "이것이 미래입니다. 도약할 수 있을까요? 당연합니다."

"거기서 프로세서를 배치하고 전체 스택을 제공할 수 있는 사람이 승리합니다. 왜냐하면 무적이기 때문입니다."라고 그는 덧붙였습니다.

위 내용은 컴퓨터 비전 기술은 곧 큰 변화를 겪을 것입니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!