Lightelligence 허밍버드 로우

Aug 13, 2023

Hot Chips 2023에서 Lightelligence는 Hummingbird 저지연 광 연결 엔진을 선보였습니다. 우리는 표지 이미지를 위한 스냅샷을 찍기 위해 강당 밖에서 한 곳을 찾았습니다.

그래도 실시간으로 작성중이라 오타가 있는 점 양해 부탁드립니다.

이것은 AI 컴퓨팅 수요가 트랜지스터 확장을 훨씬 앞지르는 것을 보여주는 또 다른 표입니다.

Lightelligence는 컴퓨팅의 광학적 향상에 중점을 두고 있습니다. 오늘 회사는 Optical NOC에 대해 이야기하고 있습니다. 이는 외부에서 본 테스트 칩과 카드를 사용하고 있지만 이는 회사 포트폴리오의 일부일 뿐입니다.

회사는 특정 숫자 형식, 수학 및 병렬성을 처리하기 위해 도메인별 아키텍처를 만드는 것이 성능 향상의 한 영역이라고 말합니다.

성능 향상을 위한 또 다른 영역은 패키지에 더 많은 실리콘을 추가하는 것입니다.

전기 신호를 사용하는 상호 연결은 비효율적인 것으로 보입니다.

여기서 Lightelligence는 광 네트워크 온 칩(oNOC)에 대해 이야기합니다. 아이디어는 효율성을 높이기 위해 패키지의 전기 신호 대신 빛을 사용하는 것입니다.

또한 광 도파관이 더 먼 거리에 걸쳐 있을 수 있으므로 다양한 유형의 토폴로지를 허용합니다.

칩렛 사이의 거리가 증가함에 따라 더 나은 스케일링이 가능합니다. 칩렛은 제조 비용이 저렴할 수 있지만 패키지에 연결되어야 하기 때문에 이는 중요합니다.

Hummingbird는 oNOC를 사용한 예입니다. FPGA, 외부 레이저 및 타사 SiP가 카드에 패키지되어 있습니다. oNOC는 전체 방송과 같은 기능을 허용합니다.

Hummingbird는 전자 실리콘 칩과 함께 광자 집적 회로(PIC)를 사용하여 패키지에 광 연결을 제공하는 데 중점을 두고 있습니다.

인터포저는 칩에 전원을 공급합니다. 하단 PIC는 광학 부품입니다. EIC가 다시 상위권에 올랐습니다. 해당 SiP는 8개 코어 클러스터가 있는 맞춤형 ISA를 갖춘 SIMD 아키텍처입니다.

가장 큰 차이점은 U자형 구조의 광방송망이다. 이를 사용하면 모든 코어는 다른 모든 코어를 업데이트할 수 있으며 PIC에 도파관 교차가 없습니다.

다음은 코어의 마이크로 아키텍처입니다. AI DSA 추론 코어입니다. 다른 모든 코어는 oNOC 수신을 통해 데이터를 보낼 수 있으며, 각 코어는 oNOC 양자화 및 전송을 통해 데이터를 보낼 수 있습니다.

Hummingbird에 대한 측정항목은 다음과 같습니다.

다음은 PCIe GPU 섀시에 Hummingbird가 포함된 시스템입니다.

성능 지표는 다음과 같습니다.

Lightelligence는 다양한 크기의 칩을 스티칭할 수 있다고 말합니다. NVIDIA H100과 같은 직사각형 제한 칩을 넘어서는 무언가를 만드는 데 초점을 맞춘 것 같습니다.

해결 방법은 다음과 같습니다.

3D 패키징을 활용하면 이 기술이 더욱 흥미로워질 것입니다. 물론 다음 질문은 다른 회사들이 칩 간 통신을 위해 이것을 찾을 것인지, 아니면 다른 유형의 기술이 대신할 것인지입니다. 이것은 흥미로운 기술이지만 많은 대형 벤더들도 광학 기술을 검토하고 있습니다.

향후 Hot Chips에서 업데이트를 받을 수 있기를 바랍니다.