기계

이전 이미지 다음 이미지

ChatGPT는 사용자의 몇 가지 프롬프트를 기반으로 에세이, 이메일 및 컴퓨터 코드를 작성하는 기능으로 전 세계 헤드라인을 장식했습니다. 이제 MIT가 이끄는 팀은 ChatGPT 뒤에 있는 것보다 몇 배 더 강력한 기계 학습 프로그램으로 이어질 수 있는 시스템을 보고합니다. 그들이 개발한 시스템은 오늘날의 기계 학습 모델을 뒷받침하는 최첨단 슈퍼컴퓨터보다 몇 배나 적은 에너지를 사용할 수도 있습니다.

Nature Photonics 7월 17일호에서 연구진은 수백 마이크론 규모의 레이저를 사용하여 전자가 아닌 빛의 움직임을 기반으로 계산을 수행하는 새로운 시스템에 대한 최초의 실험적 시연을 보고했습니다. 새로운 시스템을 통해 팀은 기계 학습을 위한 최첨단 디지털 컴퓨터에 비해 에너지 효율성이 100배 이상 향상되고 시스템 성능의 척도인 컴퓨팅 밀도가 25배 향상되었다고 보고합니다. .

미래를 향해

이 논문에서 팀은 "향후 개선을 위해 실질적으로 몇 배 더 많은 규모"를 언급했습니다. 결과적으로 저자는 이 기술이 "데이터 센터에서 분산형 엣지 장치에 이르기까지 기계 학습 작업을 가속화할 수 있는 대규모 광전자 프로세서의 길을 열어줍니다"라고 말합니다. 즉, 휴대폰과 기타 소형 장치는 현재 대규모 데이터 센터에서만 계산할 수 있는 프로그램을 실행할 수 있게 될 수 있습니다.

또한, 시스템의 구성 요소는 현재 이미 사용 중인 제조 공정을 사용하여 생성할 수 있기 때문에 “우리는 몇 년 안에 상업적 용도로 확장될 수 있을 것으로 기대합니다. 예를 들어, 관련된 레이저 어레이는 휴대폰 얼굴 ID 및 데이터 통신에 널리 사용됩니다.”라고 MIT 전자 연구소(RLE)의 박사후 과정 동안 이 작업을 수행했으며 현재는 서던캘리포니아대학교 조교수.

MIT 전기 공학 및 컴퓨터 과학과의 부교수이자 해당 작업의 리더인 Dirk Englund는 이렇게 말합니다. “ChatGPT는 오늘날 슈퍼컴퓨터의 성능으로 인해 그 규모가 제한되어 있습니다. 훨씬 더 큰 모델을 훈련시키는 것은 경제적으로 실행 가능하지 않습니다. 우리의 신기술을 사용하면 가까운 미래에 도달할 수 없는 머신러닝 모델로 도약하는 것이 가능해집니다.”

그는 계속해서 "차세대 ChatGPT가 100배 더 강력하다면 어떤 기능을 갖게 될지 알 수 없지만 이것이 바로 이러한 종류의 기술이 허용할 수 있는 발견 체제입니다."라고 말합니다. Englund는 또한 MIT 양자 포토닉스 연구소(Quantum Photonics Laboratory)의 리더이며 RLE 및 재료 연구소(Materials Research Laboratory)에 소속되어 있습니다.

진보의 북소리

현재 작업은 Englund와 많은 동료들이 지난 몇 년 동안 진행한 북소리의 최신 성과입니다. 예를 들어, 2019년 Englund 팀은 현재 시연으로 이어진 이론적 작업을 보고했습니다. 해당 논문의 첫 번째 저자이자 현재 RLE 및 NTT Research Inc.의 Ryan Hamerly도 현재 논문의 저자입니다.

현재 Nature Photonics 논문의 추가 공동저자는 RLE의 Alexander Sludds, Ronald Davis, Ian Christen, Liane Bernstein 및 Lamia Ateshian입니다. 베를린 공대(Technische Universitat Berlin)의 Tobias Heuser, Niels Heermeier, James A. Lott, Stephan Reitzensttein 등이 있습니다.

ChatGPT 뒤에 있는 것과 같은 심층 신경망(DNN)은 뇌가 정보를 처리하는 방식을 시뮬레이션하는 거대한 기계 학습 모델을 기반으로 합니다. 그러나 오늘날의 DNN을 뒷받침하는 디지털 기술은 기계 학습 분야가 성장함에도 불구하고 한계에 도달하고 있습니다. 게다가 엄청난 양의 에너지가 필요하며 대부분 대규모 데이터 센터에 국한되어 있습니다. 이는 새로운 컴퓨팅 패러다임의 개발에 동기를 부여하고 있습니다.

DNN 계산을 실행하기 위해 전자 대신 빛을 사용하면 현재의 병목 현상을 해결할 가능성이 있습니다. 예를 들어 광학을 사용한 계산은 전자 장치를 기반으로 한 계산보다 훨씬 적은 에너지를 사용할 수 있습니다. 또한 광학을 사용하면 "훨씬 더 큰 대역폭, 즉 컴퓨팅 밀도를 가질 수 있습니다"라고 Chen은 말합니다. 빛은 훨씬 더 작은 영역에 훨씬 더 많은 정보를 전달할 수 있습니다.