Kita semua terbiasa berurusan dengan memori sistem dalam faktor delapan yang rapi. Saat kapasitas meningkat, ini mengikuti skala biner yang dapat diprediksi yang berlipat ganda dari 8GB ke 16GB ke 32GB dan seterusnya. Namun dengan diperkenalkannya DDR5 dan memori non-biner di pusat data, semua itu berubah.
Alih-alih melompat langsung dari DIMM 32GB ke DIMM 64GB, DDR5, untuk pertama kalinya, memungkinkan setengah langkah dalam kepadatan memori. Kamu sekarang dapat memiliki DIMM dengan kapasitas 24GB, 48GB, 96GB, atau lebih.
Fleksibilitas tambahan yang ditawarkan oleh DIMM ini dapat menurunkan biaya sistem, karena pelanggan tidak lagi dipaksa untuk membeli lebih banyak memori daripada yang mereka butuhkan hanya untuk menjaga agar beban kerja mereka tetap menyenangkan.
Apa sih memori non-biner itu?
Memori non-biner sebenarnya tidak terlalu istimewa. Apa yang membuat memori non-biner berbeda dari DDR5 standar terletak pada chip yang digunakan untuk membuat DIMM.
Alih-alih modul 16Gb — gigabit — yang ditemukan di sebagian besar memori DDR5 saat ini, DIMM non-biner menggunakan chip DRAM 24Gb. Ambil 20 chip ini dan masukkan ke dalam DIMM, dan tersisa 48 GB memori yang dapat digunakan setelah Kamu memperhitungkan penyimpanan ECC dan metadata.
Menurut Brian Drake, manajer pengembangan bisnis senior di Micron, Kamu biasanya dapat memperoleh sekitar 96GB memori pada DIMM sebelum Kamu biasanya terpaksa menggunakan teknik pengemasan tingkat lanjut.
Menggunakan through-silicon via (TSV) atau kemasan dual-die, vendor memori DRAM dapat mencapai kepadatan yang jauh lebih tinggi. Menggunakan Samsung delapan lapis Proses TSV, misalnya, pembuat chip dapat mencapai kepadatan setinggi 24GB per modul DRAM untuk 768GB per DIMM.
Hingga saat ini, semua vendor memori utama, termasuk Samsung, SK-Hynix, dan Micron, telah mengumumkan modul 24Gb untuk digunakan dalam DIMM non-biner.
Masalah biaya
Bisa dibilang titik penjualan terbesar di balik memori non-biner adalah biaya dan fleksibilitas.
“Untuk pusat data tipikal, biaya memori sangat signifikan dan bahkan bisa lebih tinggi daripada biaya komputasi,” kata analis CCS Insights, Wayne Lam. Pendaftaran.
Sebagai situs saudara kami The Next Platform dilaporkan awal tahun ini, memori dapat mencapai 14 persen dari biaya server. Dan di cloud, beberapa pakar industri menyebutkan angka itu mendekati 50 persen.
“Penggandaan kapasitas DRAM — 32GB ke 64GB ke 128GB — sekarang menghasilkan langkah besar dalam biaya. Biaya per bit cukup konstan, oleh karena itu, jika Kamu terus menggandakan, kenaikan biaya menjadi sangat mahal,” jelas Lam. “Pergi dari 32GB ke 48GB ke 64GB dan 96GB menawarkan kenaikan harga yang lebih lembut.”
Ambil eksperimen pemikiran ini sebagai contoh:
Katakanlah beban kerja Kamu mendapat manfaat dari memiliki 3GB/thread. Menggunakan sistem berbasis AMD Epyc 4 96-core dengan satu DIMM per saluran, Kamu membutuhkan setidaknya 576GB memori. Namun, DIMM 32 GB akan membuat Kamu kekurangan 192 GB, sedangkan DIMM 64 GB akan membuat Kamu kelebihan. Kamu bisa drop down ke 10 saluran dan lebih dekat ke target Kamu, tapi kemudian Kamu akan terkena bandwidth memori dan membayar ekstra untuk hak istimewa. Dan masalah ini semakin memburuk saat Kamu meningkatkannya.
Dalam konfigurasi dua-DIMM-per-saluran – sesuatu yang kami perhatikan AMD tidak mendukung pada Epyc 4 saat peluncuran – Kamu dapat menggunakan DIMM kapasitas campuran untuk mempersempit rasio memori-ke-inti yang ideal, tetapi seperti poin Drake keluar, ini bukan solusi sempurna.
“Mungkin sistem harus menghentikan solusi dua-DIMM-per-saluran itu, sehingga tidak dapat menjalankan kecepatan data maksimum. Atau mungkin ada implikasi kinerja karena peringkat yang tidak merata di setiap saluran,” katanya.
Sebagai perbandingan, DIMM 48 GB hampir pasti harganya lebih murah, sekaligus memungkinkan Kamu mencapai rasio memori-ke-inti yang ideal tanpa mengorbankan bandwidth. Dan seperti yang telah kita bicarakan di masa lalu, bandwidth memori sangat penting, karena pembuat chip terus mendorong jumlah inti chip mereka semakin tinggi.
Kalkulus akan terlihat berbeda tergantung pada kebutuhan Kamu, tetapi pada akhirnya, memori non-biner menawarkan fleksibilitas yang lebih besar untuk menyeimbangkan biaya, kapasitas, dan lebar pita.
Dan sebenarnya tidak ada kerugian untuk menggunakan DIMM non-biner, kata Drake, menambahkan bahwa, dalam situasi tertentu, mereka mungkin benar-benar bekerja lebih baik.
Bagaimana dengan CXL?
Tentu saja memori non-biner bukan satu-satunya cara untuk mengatasi masalah rasio memori-inti.
“Teknologi seperti kapasitas non-biner sangat membantu, tetapi begitu juga perpindahan ke memori CXL – memori sistem bersama – dan memori bandwidth tinggi on-chip,” kata Lam.
Dengan peluncuran prosesor AMD Epyc 4 pada musim gugur yang lalu dan prosesor Intel Sapphire Rapids yang akan datang bulan depan, pelanggan akan segera memiliki opsi lain untuk menambah kapasitas memori dan bandwidth ke sistem mereka. Samsung dan Astera Labs sama-sama memamerkan modul ekspansi memori, dan Marvell berencana menawarkan pengontrol untuk produk serupa di masa mendatang.
Namun, mereka bukan merupakan alternatif untuk memori non-biner dan lebih merupakan pelengkap bagi mereka. Faktanya, modul ekspansi Astera Lab seharusnya bekerja dengan baik dengan DIMM non-biner 48GB, 96GB, atau lebih besar. ®