Infra
Oracle heeft zijn OCI AI Infrastructure aanbod uitgebreid
De twee nieuwe vormen die Oracle aankondigt zijn:
- BM.GPU.L40S.4, “L40S Bare Metal:” ter ondersteuning van maximaal 3.840 GPU’s in een OCI Supercluster, met 1.466 TFLOPS per NVIDIA L40S GPU .
- VM.GPU.A100.1 en VM.GPU.H100.1, respectievelijk “A100 VM” en “H100 VM”: ter ondersteuning van één GPU in een VM-vormfactor voor maximaal 3.958 TFLOPS per NVIDIA H100 GPU .
Oracle meldt: ‘De BM.GPU.L40S.4 bare metal compute shape bevat vier NVIDIA L40S GPU’s, elk met 48 GB GDDR6-geheugen. Deze shape bevat lokale NVMe-schijven met een capaciteit van 7,38 TB, 4e generatie Intel Xeon CPU’s met 112 cores en 1 TB systeemgeheugen. Met deze toevoeging biedt OCI de meeste opties voor bare metal shapes onder publieke cloud hyperscalers. Deze shapes elimineren de overhead van elke virtualisatie voor high-throughput en latentiegevoelige AI/ML-workloads. De accelerated compute shape bevat NVIDIA Bluefield-3 DPU’s voor verbeterde serverefficiëntie, waarbij datacentertaken van CPU’s worden ontlast om netwerk-, opslag- en beveiligingsworkloads te versnellen. Het gebruik van NVIDIA Bluefield-3 DPU’s ondersteunt OCI’s strategie van off-box virtualisatie over zijn gehele vloot.
OCI Supercluster’s ultralage latentienetwerken worden gecombineerd met NVIDIA L40S voor training en inferencing van LLM’s op midrange schaalbaarheid. OCI’s clusternetwerk gebruikt RDMA over Converged Ethernet Version 2 (RoCE v2) bovenop NVIDIA ConnectX RDMA NIC’s om workloads met hoge doorvoer en latentiegevoeligheid te ondersteunen. De BM.GPU.L40S.4-instantie kan ook worden gebruikt als een zelfstandig virtueel werkstation met vier NVIDIA L40S GPU’s. Deze midrange clusters worden ondersteund met 800 Gb/sec aan internodebandbreedte.’
VM.GPU.H100.1
Oracle zegt verder binnenkort een compute virtual machine shape aanbieden met een enkele NVIDIA H100 GPU met 80 GB HBM3-geheugen en NVIDIA A100 GPU met 40 GB/80 GB HBM2e-geheugen: ‘De VM.GPU.H100.1 shape bevat ook 2×3,84 TB NVMe-schijfcapaciteit, 13 cores van 4e generatie Intel Xeon-processors en 246 GB systeemgeheugen, waardoor deze zeer geschikt is voor een reeks AI-taken.
Dit nieuwe aanbod biedt een effectief platform voor kleinere workloads en LLM-inferentie. Dankzij de Transformer Engine en FP8-ondersteuning van de NVIDIA H100 GPU kunnen grote modellen worden gekwantificeerd en efficiënt worden uitgevoerd op één GPU.’