Samsung telah membangun superkomputer pertama dari jenisnya yang diklaim berisi GPU pusat data AMD yang ditempelkan dengan chip pemrosesan-dalam-memorinya, yang menurut perusahaan dapat secara signifikan meningkatkan kinerja dan efisiensi energi untuk melatih model AI besar.
Superkomputer tersebut, diungkapkan pada hari Selasa di sebuah acara industri di Korea Selatan, termasuk 96 GPU AMD Instinct MI100, yang masing-masing dimuat dengan chip processing-in-memory (PIM), jenis baru dari teknologi memori yang mengurangi jumlah data yang perlu berpindah antara CPU dan DRAM.
Choi Chang-kyu, kepala Pusat Penelitian AI di Samsung Electronics Advanced Institute of Technology, kabarnya mengatakan klaster tersebut mampu melatih model bahasa Text-to-Test Transfer Transformer (T5) yang dikembangkan oleh Google 2,5 kali lebih cepat dengan menggunakan daya 2,7 kali lebih sedikit dibandingkan dengan konfigurasi klaster yang sama yang tidak menggunakan chip PIM.
“Ini adalah satu-satunya dari jenisnya di dunia,” kata Choi.
Samsung telah berkata bahwa teknologi PIM-nya memiliki implikasi besar untuk konsumsi energi dan lingkungan, mengurangi penggunaan energi tahunan sebuah cluster sebesar 2.100 Gigawatt jam dan, akibatnya, mengurangi 960.000 ton emisi karbon.
Seperti biasa, kami harus mencadangkan penilaian sampai klaim ini dapat diuji dan diverifikasi secara independen, tetapi perusahaan mengatakan pengurangan daya seperti itu sama dengan jumlah karbon yang dibutuhkan 16 miliar pohon perkotaan untuk diserap selama satu dekade.
Salah satu alasan besar mengapa superkomputer bertenaga PIM memiliki begitu banyak tenaga kuda adalah karena setiap chip PIM menggunakan memori bandwidth tinggi (HBM), yang semakin banyak digunakan industri untuk menangani komputasi performa tinggi dan beban kerja AI. Nvidia dan AMD telah menggunakan HBM dalam GPU pusat data selama beberapa generasi sekarang, dan Intel berencana untuk memperkenalkan HBM dalam varian prosesor server yang akan datang bermerek Xeon Max dan GPU pusat data kelas atas.
Apa yang membuat chip Samsung HBM-PIM berbeda dari implementasi HBM oleh perusahaan lain adalah bahwa setiap bank memori pada chip PIM menyertakan unit pemrosesan di dalamnya. Ini, menurut raksasa elektronik Korea Selatan, mengurangi kemacetan yang terkait dengan pemindahan data antara CPU dan memori dengan menggeser beberapa perhitungan di dalam memori itu sendiri.
Samsung berharap dapat memacu adopsi chip PIM-nya di industri dengan menciptakan perangkat lunak yang memungkinkan organisasi menggunakan teknologi tersebut dalam lingkungan perangkat lunak terintegrasi. Untuk melakukan ini, itu mengandalkan SYCLlapisan abstraksi pemrograman lintas-arsitektur bebas royalti yang terjadi untuk mendukung implementasi C++ Intel untuk model pemrograman paralel oneAPI-nya.
Perusahaan telah meningkatkan PIM selama hampir tiga tahun sekarang, dan salah satu cara lain yang direncanakan untuk membawa teknologi ke pasar adalah melalui apa yang disebut AXDIMM, kependekan dari DIMM yang dipercepat.
Kami akan tahu apakah Samsung akhirnya membuat terobosan jika PIM mulai muncul di superkomputer baru yang dibuat oleh laboratorium penelitian, lembaga akademik, dan organisasi lain selama beberapa tahun ke depan. ®