인류는 실리콘 컴퓨팅 아키텍처의 상한선에 도달했습니다! 2030년까지 AI가 전 세계 전력 공급량의 50%를 소비할 것으로 예상

우리는 실리콘 컴퓨팅 경험의 상한선에 도달한 느낌을 경험하기 시작했습니다. 향후 10년 안에 심각한 컴퓨팅 성능 격차가 발생할 것이며 기존 기술 기업이나 정부 모두 이 문제를 해결하지 못했습니다.

요즘 우리는 컴퓨팅이 점점 더 저렴해지는 것에 너무 익숙해져서 언젠가는 그것을 감당하지 못할 수도 있다는 사실을 결코 의심하지 않습니다.

이제 스타트업의 CEO인 Rodolfo Rosini는 우리 모두에게 충격을 주는 질문을 합니다. 우리 경제가 값싼 컴퓨팅에 의존하는 것처럼 우리가 기존 컴퓨팅 모델의 근본적인 물리적 한계에 도달하면 어떻게 될까요?

대규모 컴퓨팅의 정체

지금 미국은 기술 혁신의 부재로 정체기에 접어들었습니다.

라이트의 법칙은 많은 산업 분야에서 적용됩니다. 제조 공정이 약 20% 향상될 때마다 생산성은 두 배로 늘어납니다.

기술에서는 무어의 법칙으로 나타납니다.

1960년대 인텔 공동 창립자인 고든 무어는 집적 회로의 트랜지스터 수가 전년 대비 두 배로 늘어난 것 같다는 사실을 발견하고 무어의 법칙을 제안했습니다.

그 이후로 이 법칙은 마케팅과 엔지니어링 간의 계약의 기초가 되었으며, 과도한 컴퓨팅 능력과 축소된 크기를 활용하여 컴퓨팅 스택에서 제품 구성을 주도했습니다.

당시에는 더 빠르고 저렴한 프로세서를 사용하면 컴퓨팅 성능이 시간이 지남에 따라 기하급수적으로 향상될 것이라는 기대가 있었습니다.

그러나 무어의 법칙을 구성하는 다양한 힘이 바뀌었습니다.

수십년 동안 무어의 법칙을 뒷받침하는 원동력은 데나드의 확장 법칙이었습니다. 트랜지스터 크기와 전력 소비는 동시에 절반으로 줄어들어 에너지 단위당 계산량이 두 배로 늘어납니다(후자는 Koomey의 법칙Koomey의 법칙이라고도 함).

50년간의 마이크로프로세서 동향 데이터

2005년에 전류 누출로 인해 칩이 과열되고 이로 인해 단일 처리 코어가 있는 칩의 성능이 정체되면서 이러한 스케일링이 무너지기 시작했습니다.

컴퓨팅 성장 궤적을 유지하기 위해 칩 산업은 다중 코어 아키텍처로 전환했습니다. 즉, 여러 마이크로프로세서가 서로 "접속"되었습니다. 이는 트랜지스터 밀도 측면에서 무어의 법칙을 확장할 수 있지만 전체 컴퓨팅 스택의 복잡성을 증가시킵니다.

기계 학습이나 컴퓨터 그래픽과 같은 특정 유형의 컴퓨팅 작업의 경우 성능이 향상됩니다. 그러나 잘 병렬화되지 않은 많은 범용 컴퓨팅 작업의 경우 멀티 코어 아키텍처는 무력합니다.

요컨대, 많은 작업에 대한 컴퓨팅 성능은 더 이상 기하급수적으로 증가하지 않습니다.

멀티코어 슈퍼컴퓨터의 성능 측면에서도 TOP500(세계에서 가장 빠른 슈퍼컴퓨터 순위)으로 보면 2010년쯤에 뚜렷한 변곡점이 있었습니다.

이 둔화의 영향은 무엇입니까? 다양한 산업 분야에서 컴퓨팅의 역할이 커지고 있다는 것은 그 영향이 즉각적이며 무어의 법칙이 더욱 흔들릴수록 더욱 중요해질 것임을 보여줍니다.

두 가지 극단적인 예를 들어보겠습니다. 향상된 컴퓨팅 성능과 비용 절감으로 인해 에너지 산업에서는 석유 탐사 생산성이 49% 증가했고, 생명공학 산업에서는 단백질 접힘 예측이 94% 증가했습니다.

즉, 컴퓨팅 속도의 영향은 기술 산업에만 국한되지 않고 지난 50년 동안의 경제 성장의 대부분은 무어의 법칙에 따른 2차 효과였으며, 이것이 없으면 세계 경제는 성장을 멈출 수 있습니다.

더 많은 컴퓨팅 성능이 필요한 또 다른 중요한 이유는 인공 지능의 등장입니다. 오늘날 대규모 언어 모델(LLM)을 훈련하는 데는 수백만 달러의 비용이 들고 몇 주가 걸릴 수 있습니다.

머신러닝이 약속하는 미래는 숫자 처리 및 데이터 확장의 지속적인 증가 없이는 실현될 수 없습니다.

머신 러닝 모델이 소비자 기술에서 더욱 보편화되면서 다른 산업 분야의 컴퓨팅에 대한 거대하고 과장된 수요가 예고됨에 따라 저렴한 처리가 생산성의 초석이 되고 있습니다.

무어의 법칙이 무너지면 컴퓨팅에 큰 침체가 발생할 수 있습니다. AGI를 달성하는 데 필요할 수 있는 다중 모드 신경망과 비교할 때 오늘날의 LLM은 여전히 ​​상대적으로 작고 훈련하기 쉽습니다. 미래의 GPT와 경쟁업체는 개선하고 최적화하기 위해 특히 강력한 고성능 컴퓨터가 필요할 것입니다.

아마 많은 분들이 의구심을 느끼실 텐데요. 결국 무어의 법칙은 종말을 맞이할 것이라는 예견이 여러 번 있었습니다. 왜 지금이어야 합니까?

역사적으로 이러한 예측 중 상당수는 엔지니어링 문제에서 비롯되었습니다. 인간의 독창성은 이전에도 이러한 장애물을 몇 번이고 극복해 왔습니다.

이제 차이점은 우리가 더 이상 공학 및 지능 문제에 직면하지 않고 오히려 물리학에 의해 부과되는 한계에 직면하고 있다는 것입니다.

MIT Technology Review는 2월 24일에 우리가 무어의 법칙의 종말에 준비가 되어 있지 않다는 기사를 게재했습니다

과열로 인해 처리할 수 없음

컴퓨터는 정보를 처리하여 작동합니다.

정보를 처리할 때 마이크로프로세서가 계산 분기를 병합하거나 레지스트리를 덮어쓰면서 정보 중 일부가 삭제됩니다. 그것은 무료가 아닙니다.

열역학 법칙은 특정 프로세스의 효율성에 엄격한 제한을 가하며 증기 엔진과 마찬가지로 계산에도 적용됩니다. 이 비용을 Landauer의 한계라고 합니다.

각 계산 작업 중에 방출되는 아주 작은 양의 열입니다(비트당 약 10^-21줄).

이 열이 너무 작기 때문에 Landauer 한계는 오랫동안 무시할 수 있는 것으로 간주되었습니다.

그러나 현재 누출과 같은 기타 오버헤드로 인해 실제 한계가 Landauer 한계보다 10~100배 더 큰 것으로 추정되기 때문에 엔지니어링 능력은 이제 이러한 에너지 규모를 달성할 수 있는 지점까지 발전했습니다. 칩에는 초당 수십억 번 작동하는 수천억 개의 트랜지스터가 있습니다.

이 숫자를 더하면 아마도 무어의 법칙이 열 장벽에 도달하기 전에 성장할 수 있는 크기가 여전히 남아 있을 것입니다.

이 시점에서 기존 트랜지스터 아키텍처는 에너지 효율을 더 이상 향상시킬 수 없으며 발생된 열로 인해 트랜지스터가 더 촘촘하게 포장되지 않습니다.

이를 파악하지 못하면 업계 가치가 어떻게 변할지 명확하게 볼 수 없습니다.

마이크로프로세서는 제약을 받게 될 것이며 업계는 한계 에너지 효율성에 대한 더 낮은 보상을 위해 경쟁하게 될 것입니다.

칩 크기가 확장됩니다. Nvidia의 4000 시리즈 GPU 카드를 살펴보십시오. 더 높은 밀도의 프로세스를 사용했음에도 불구하고 이 카드는 작은 개 정도의 크기이며 무려 650W의 전력을 담고 있습니다.

이로 인해 NVIDIA CEO Jensen Huang은 2022년 말에 "무어의 법칙은 죽었다"고 선언했습니다. 이 진술은 대부분 사실이지만 다른 반도체 회사에서는 이를 거부했습니다.

IEEE는 매년 반도체 로드맵을 발표하는데, 최근 평가에 따르면 2D 스케일링은 2028년에 완료되고, 3D 스케일링은 2031년에 본격 출시될 예정입니다.

3D 스케일링(칩이 서로 쌓이는 방식)은 이미 일반화되어 있지만 마이크로프로세서가 아닌 컴퓨터 메모리에 있습니다.

이것은 메모리의 열 방출이 훨씬 낮기 때문입니다. 그러나 3D 아키텍처에서는 열 방출이 복잡하므로 활성 메모리 냉각이 중요해집니다.

256개 레이어의 메모리가 출시되고 2030년에는 1,000개 레이어에 도달할 것으로 예상됩니다.

마이크로프로세서로 돌아가서, 상용 표준이 되고 있는 다중 게이트 장치 아키텍처(예: FinFET 및 만능 게이트)는 앞으로도 무어의 법칙을 계속 따를 것입니다.

그러나 본질적인 열 문제로 인해 1930년대 이후에는 진정한 수직 확장이 불가능했습니다.

실제로 현재 칩셋은 단일 평면에서도 과열을 방지하기 위해 언제든지 프로세서의 어느 부분이 활성화되는지 주의 깊게 모니터링합니다.

2030 위기?

100년 전, 미국 시인 로버트 프로스트는 이렇게 물었습니다. 세상은 서리로 끝날 것인가, 불로 끝날 것인가?

대답이 불이라면 이는 거의 컴퓨팅의 종말을 예고하는 것입니다.

또는 전력 사용량이 증가하고 마이크로프로세서 제조 규모가 확대될 것이라는 사실을 받아들이세요.

이를 위해 인간은 지구 에너지의 많은 부분을 소비했습니다.

아마도 또 다른 옵션은 증가된 전력 사용량을 단순히 수용하고 마이크로프로세서 제조 규모를 확대하는 것입니다. 우리는 이미 이 목적을 위해 지구 에너지 공급의 상당 부분을 사용하고 있습니다.

아일랜드에서는 단 70개의 데이터 센터가 국가 에너지의 14%를 소비합니다. 2030년대에는 전 세계적으로 생산되는 전기의 30~50%가 컴퓨팅 및 냉각에 사용될 것으로 예상됩니다.

(흥미롭게도 3월 19일 블로그 게시물이 게시된 후 저자는 이 예측을 삭제했습니다. 그의 설명은 이것이 명확성과 정확성을 위해 네이처 논문의 최악의 추론에 기반을 두고 있다는 것입니다. 인수는 현재 삭제됨)

현재 에너지 생산 규모 조정 속도는 무어의 법칙 규모 조정 비용을 약간 증가시킬 것입니다.

설계(에너지 효율성) 및 구현 수준(여전히 사용 중인 기존 설계를 최신 기술로 교체)에서 일련의 일회성 최적화 조치를 통해 인도와 같은 개발 도상국이 세계 전체 생산성을 따라잡을 수 있습니다.

무어의 법칙이 끝난 후 인류는 마이크로프로세서 칩 제조가 한계에 도달하기 전에 에너지가 고갈될 것이며 컴퓨팅 비용 감소 속도는 정체될 것입니다.

양자 컴퓨팅은 무어의 법칙을 능가하는 효과적인 방법으로 선전되지만 아직 알려지지 않은 것이 너무 많고 적어도 향후 20~30년 동안은 상용화되려면 아직 수십 년이 걸리므로 유용하지 않을 것입니다.

분명히 향후 10년 안에 심각한 컴퓨팅 성능 격차가 있을 것이며 기존의 어떤 기술 회사, 투자자 또는 정부 기관도 이를 해결할 수 없을 것입니다.

무어의 법칙과 란다우어의 한계의 충돌은 수십 년 동안 지속되어 왔으며, 이는 2030년대의 가장 중요하고 결정적인 사건 중 하나라고 할 수 있습니다.

그런데 지금은 이 사실을 아는 사람이 많지 않은 것 같아요.

위 내용은 인류는 실리콘 컴퓨팅 아키텍처의 상한선에 도달했습니다! 2030년까지 AI가 전 세계 전력 공급량의 50%를 소비할 것으로 예상의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!