미국 언론의 주목: ChatGPT를 훈련하는 데 얼마나 많은 전기가 필요합니까?

3월 10일 뉴스 AI가 다시 한번 기술 산업에서 화두가 되었고, 소매업부터 의료까지 수조 달러 규모의 산업에 혁명을 일으킬 것으로 예상됩니다. 그러나 각각의 새로운 챗봇이나 이미지 생성기를 만드는 데는 엄청난 양의 전력이 필요합니다. 이는 해당 기술이 대량의 온실가스를 방출하여 지구 온난화를 악화시킬 수 있음을 의미합니다.

Microsoft, Google 및 ChatGPT 제조업체인 OpenAI는 모두 전 세계 대규모 데이터 센터에 있는 서버에 있는 수천 개의 칩을 사용하여 모델이라는 AI 알고리즘을 훈련하고 데이터를 분석하여 이러한 알고리즘을 지원하는 클라우드 컴퓨팅을 사용합니다." 일. ChatGPT의 성공으로 인해 다른 회사들은 자체 AI 시스템과 챗봇을 출시하거나 대규모 AI 모델을 사용하는 제품을 개발하기 위해 경쟁하게 되었습니다.

AI는 다른 형태의 컴퓨팅보다 더 많은 에너지를 사용합니다. 단일 모델을 훈련하면 미국 100가구 이상이 1년 동안 사용하는 것보다 더 많은 전력을 소비합니다. 그러나 AI 산업이 매우 빠르게 성장하고 있음에도 불구하고 AI의 전체 전력 소비량과 탄소 배출량을 정확히 아는 사람은 아무도 없을 정도로 투명하지 않습니다. 탄소 배출량은 전기를 공급하는 발전소의 유형에 따라 크게 달라질 수 있습니다. 석탄이나 천연가스로 구동되는 데이터 센터는 태양열이나 풍력으로 구동되는 데이터 센터보다 탄소 배출량이 훨씬 더 높습니다.

연구원들이 단일 모델을 생성하여 발생하는 탄소 배출량을 집계하고 일부 회사에서는 에너지 사용에 대한 데이터를 제공했지만 해당 기술의 총 전기 사용량에 대한 전반적인 추정치는 제공하지 않았습니다. AI 회사인 Huging Face의 연구원인 Sasha Luccioni는 OpenAI 모델 GPT-3의 경쟁사인 자신의 회사인 Bloom의 탄소 배출량을 정량화하는 논문을 작성했습니다. Lucioni는 또한 제한된 공개 데이터 세트를 기반으로 OpenAI 챗봇 ChatGPT의 탄소 배출량을 평가하려고 시도했습니다.

투명성 향상

Lucioni와 같은 연구원들은 AI 모델의 전력 사용 및 방출과 관련하여 더 큰 투명성이 필요하다고 말합니다. 이러한 정보를 바탕으로 정부와 기업은 암 치료를 연구하거나 원주민 언어를 보호하기 위해 GPT-3 또는 기타 대규모 모델을 사용할 가치가 있는지 결정할 수 있습니다.

투명성이 높아지면 조사도 강화될 수 있으며 암호화폐 산업은 과거로부터 교훈을 얻을 수 있습니다. 케임브리지 비트코인 ​​전력 소비 지수(Cambridge Bitcoin Electricity Consumption Index)에 따르면 비트코인은 아르헨티나만큼 연간 전력을 소비하는 과도한 전력 소비로 비판을 받아왔습니다. 이러한 엄청난 전기 수요로 인해 뉴욕주는 화석 연료로 생성된 전기로 구동되는 암호화폐 채굴자에 대한 라이센스 발급에 대한 2년 유예 조치를 통과시켰습니다.

GPT-3은 언어를 생성할 수 있고 다양한 용도로 사용할 수 있는 단일 기능을 갖춘 범용 AI 프로그램입니다. 2021년 발표된 연구 논문에 따르면 GPT-3 훈련에는 1.287기가와트시(Gigawatt hour)의 전력이 소비되는 것으로 나타났는데, 이는 미국 120가구가 1년 동안 소비하는 전력량과 맞먹는 수준이다. 동시에 이러한 훈련으로 인해 502톤의 탄소가 배출되었는데, 이는 미국 자동차 110대의 연간 배출량에 해당합니다. 더욱이 이러한 종류의 교육은 하나의 프로그램, 즉 "모델"에만 적용됩니다.

AI 모델을 훈련하는 데 드는 초기 전력 비용은 엄청나지만, 연구원들은 어떤 경우에는 이것이 실제 사용 시 모델이 소비하는 전력의 약 40%에 불과하다는 사실을 발견했습니다. 게다가 AI 모델도 점점 더 커지고 있다. OpenAI의 GPT-3는 1,750억 개의 매개변수 또는 변수를 사용하는 반면, 이전 버전은 15억 개의 매개변수만 사용했습니다.

OpenAI는 이미 GPT-4를 연구하고 있으며, 시사에 대한 지식을 유지하려면 모델을 정기적으로 재교육해야 합니다. AI의 에너지 문제를 연구한 최초의 연구자 중 한 명인 카네기 멜론 대학의 엠마 스트루벨(Emma Strubell) 교수는 "모델을 재교육하지 않으면 모델은 코로나19가 무엇인지조차 모를 수도 있다"고 말했습니다. 상대적인 측정은 구글에서 나왔는데, 연구자들은 AI 훈련이 2021년 회사의 총 전력 사용량(18.3테라와트시)의 10~15%를 차지한다는 사실을 발견했습니다. 이는 구글의 AI가 연간 2.3테라와트시의 전력을 소비한다는 의미이며, 이는 애틀랜타 전체 가구의 연간 전력 소비량과 거의 맞먹는다.

Tech Giants Make Net Zero Commitments

많은 경우 AI 모델이 점점 커지고 있지만 AI 회사도 보다 효율적인 방식으로 실행하기 위해 지속적으로 개선하고 있습니다. Microsoft, Google, Amazon을 포함한 미국 최대 클라우드 컴퓨팅 회사는 모두 탄소 감축 또는 순제로(net-zero) 약속을 했습니다. 구글은 성명을 통해 사무실과 데이터 센터를 전적으로 무탄소 에너지로 운영한다는 목표를 가지고 2030년까지 모든 운영에서 순 제로 배출을 달성할 것이라고 밝혔습니다. 구글은 AI를 활용해 데이터센터의 에너지 효율성을 높이는 등 시설 내 냉각 시스템을 직접 제어하는 ​​기술도 활용하고 있다.

OpenAI는 또한 ChatGPT 애플리케이션 프로그래밍 인터페이스의 효율성을 개선하여 고객이 전력 사용량과 가격을 낮추도록 돕기 위해 회사가 수행한 작업을 인용했습니다. OpenAI 대변인은 "우리는 기후 변화를 막고 역전시키는 책임을 매우 중요하게 생각하며 컴퓨팅 성능을 극대화하는 방법에 대해 많은 생각을 했습니다. OpenAI는 Azure에서 실행되며 Microsoft 팀과 긴밀히 협력하여 대규모 운영의 효율성을 높입니다. 언어 모델을 만들고 탄소 배출을 줄입니다.”

Microsoft는 회사가 2030년까지 순 제로 배출 달성이라는 이전에 발표한 목표를 달성하기 위해 재생 가능 에너지를 구매하고 다른 조치를 취하고 있다고 언급했습니다. 마이크로소프트는 성명을 통해 “보다 지속 가능한 미래를 만들기 위한 노력의 일환으로 마이크로소프트는 AI의 에너지 사용과 탄소 영향을 측정하기 위한 연구에 투자하는 동시에 교육 및 응용 분야에서 대규모 시스템의 효율성을 향상시키기 위해 노력하고 있다”고 밝혔다. ”

예루살렘 히브리 대학교 교수인 Roy Schwartz는 Microsoft 팀과 협력하여 대규모 AI 모델의 탄소 배출량을 측정했습니다. 그는 "분명히 이들 기업은 어떤 모델을 사용하고 있는지, 얼마나 많은 탄소를 배출하는지 공개하려고 하지 않습니다."라고 말했습니다.

AI를 더 효율적으로 실행하는 방법이 있습니다. 에너지 컨설팅 회사인 Wood Mackenzie의 Ben Hertz-Shargel은 AI 훈련은 언제든지 이루어질 수 있기 때문에 개발자나 데이터 센터는 전기가 더 저렴하거나 잉여되는 시간에 훈련을 예약할 수 있어 운영이 보다 환경 친화적일 수 있다고 말했습니다. AI 회사는 전력이 과잉일 때 모델을 교육한 다음 이를 마케팅의 셀링 포인트로 사용하여 환경을 고려하고 있음을 보여줍니다.

칩 작동에는 엄청난 양의 전력이 소비됩니다.

대부분의 데이터 센터는 그래픽 처리 장치(GPU)를 사용하여 AI 모델을 교육하며, 이러한 구성 요소는 칩 업계에서 제조한 가장 전력 소모가 큰 구성 요소 중 하나입니다. 이달 초 Morgan Stanley 분석가가 발표한 보고서에 따르면 대형 모델에는 수만 개의 GPU가 필요하며 훈련 주기는 몇 주에서 몇 달까지 걸릴 수 있습니다.

AI 분야에서 가장 큰 미스터리 중 하나는 사용된 칩과 관련된 총 탄소 발자국입니다. 최대 GPU 제조업체인 Nvidia는 AI 작업과 관련하여 자사 칩이 작업을 더 빠르게 완료하고 전반적으로 더 효율적일 수 있다고 말합니다.

Nvidia는 성명에서 "GPU를 사용하여 AI를 가속화하는 것은 CPU를 사용하는 것보다 더 빠르고 효율적입니다. 일부 AI 워크로드의 경우 에너지 효율성을 20배까지 향상할 수 있는 경우가 있는데, 이는 생성적 인공 지능에 필수적입니다."라고 밝혔습니다. 규모의 언어 모델을 사용하면 에너지 효율을 300배 향상시킬 수 있습니다.”

Luccioni는 Nvidia가 에너지와 관련된 직간접 배출량 데이터를 공개했지만 자세한 내용은 공개하지 않았다고 말했습니다. 그녀는 Nvidia가 이 정보를 공유하면 GPU가 "사람들을 미치게 만들 수 있는" 작은 국가와 거의 같은 양의 전력을 소비한다는 것을 알 수 있다고 믿습니다! (샤오샤오)

위 내용은 미국 언론의 주목: ChatGPT를 훈련하는 데 얼마나 많은 전기가 필요합니까?의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!