cinta-news.com – Perusahaan keamanan siber dan cloud computing, Akamai, memperkenalkan layanan baru bernama Akamai Cloud Inference.
Layanan ini membawa proses inferensi kecerdasan buatan (AI) lebih dekat ke pengguna melalui edge computing.
Inferensi dalam AI adalah proses menjalankan model untuk menghasilkan output dari input baru. Kini waktunya mengaplikasikan pengetahuan, bukan sekadar mempelajarinya.
Solusi dari Akamai ini memenuhi kebutuhan perusahaan yang ingin menjalankan model AI, seperti large language model.
model (LLM) di luar tahap pelatihan, yang selama ini bergantung pada data center berukuran besar.
Cara Cek Tilang Elektronik via Situs dan Aplikasi Resmi
“Mendekatkan data AI ke pengguna dan perangkat itu sulit, dan di situlah tantangan yang dihadapi platform cloud lama,” kata Adam Karon,
Chief Operating Officer Akamai menyampaikan keterangan resmi, Rabu (28/5/2025).
Karon mengatakan bahwa proses inferensi, yakni penerapan model AI dalam pengambilan keputusan secara langsung, semakin menuntut
Arsitektur cloud tradisional sulit mencapai efisiensi dan kecepatan respons ini.
Namun, Karon menegaskan bahwa pelatihan LLM tetap berjalan di data center besar, sementara inferensi semakin bergeser ke edge.
Rentenir Berkedok Koperasi di Purworejo
Ia menilai platform edge menjadi kunci dalam mendukung kebutuhan AI modern dan membedakan mereka dari penyedia cloud lainnya.
Akamai Cloud Inference menyediakan pondasi infrastruktur yang mendukung pengembangan dan penerapan beban kerja AI langsung dari sisi pengguna akhir.
Solusi baru Akamai ini mengklaim mampu memberikan throughput 3x lebih baik, mengurangi latensi hingga 2,5x, dan menghemat biaya hingga
86 persen dibandingkan infrastruktur hyperscaler tradisional.
Sistem ini menawarkan berbagai jenis kemampuan komputasi, mulai dari CPU dan GPU hingga VPU (Visual Processing Unit)
Berkat AI, Pria yang Tewas 4 Tahun Lalu Bisa “Hadir” di Pengadilan
yang dirancang khusus untuk kebutuhan inferensi AI.
Layanan ini juga terintegrasi dengan ekosistem perangkat lunak dari Nvidia, termasuk Triton Inference Server, TAO Toolkit, TensorRT,
dan NVFlare, yang dapat membantu mengoptimalkan performa inferensi berbasis GPU.
Di sisi pengelolaan data, Akamai bekerja sama dengan VAST Data untuk memberikan akses data secara real-time.
Sistem ini juga menawarkan penyimpanan objek berskala besar serta mendukung berbagai integrasi
Kevin Mitnick: Buronan Siber Pertama di Dunia
dengan database vektor, seperti Aiven dan Milvus.
Kombinasi ini mendukung implementasi Retrieval-Augmented Generation (RAG), teknologi yang kini populer di aplikasi LLM.
Sistem ini menawarkan berbagai jenis kemampuan komputasi, mulai dari CPU dan GPU hingga VPU (Visual Processing Unit)
yang dirancang khusus untuk kebutuhan inferensi AI.
Layanan ini juga terintegrasi dengan ekosistem perangkat lunak dari Nvidia, termasuk Triton Inference Server, TAO Toolkit,
TensorRT, dan NVFlare, yang dapat membantu mengoptimalkan performa inferensi berbasis GPU.
Di sisi pengelolaan data, Akamai bekerja sama dengan VAST Data untuk memberikan akses data secara real-time.
Sistem ini juga dilengkapi penyimpanan obyek yang dapat diskalakan secara besar-besaran, serta mendukung integrasi dengan
database vektor, seperti Aiven dan Milvus.
Kepuasan Publik ke Kepolisian dalam Berantas Premanisme
Dengan kombinasi ini, developer dapat menerapkan Retrieval-Augmented Generation (RAG) yang kini populer di aplikasi LLM.
Untuk mempermudah manajemen dan skalabilitas, platform ini menyediakan sistem kontainerisasi dengan dukungan dari Linode Kubernetes
Engine (LKE) Enterprise, versi skala besar dari sistem orkestrasi Akamai.
Akamai juga mendukung integrasi dengan proyek open source, seperti KServe, Kubeflow, dan SpinKube, yang dapat menyederhanakan proses deployment model AI.
Dukungan komputasi edge
Salah satu aspek yang turut diperkuat oleh Akamai adalah komputasi edge. Dalam skenario ini, proses inferensi tidak lagi bergantung pada server sentral melainkan dapat dilakukan dari aplikasi ringan, termasuk aplikasi tanpa server yang berjalan langsung di perangkat pengguna.
Fitur ini menggunakan teknologi WebAssembly (WASM) melalui kemitraan dengan penyedia seperti Fermyon.
Jumlah Penumpang Whoosh Naik 3 Kali Lipat
Teknologi ini memungkinkan pengembang untuk menjalankan inferensi AI secara lokal, misalnya untuk skenario, seperti asisten suara di kendaraan atau analisis masukan dari pelanggan secara real-time.
Akamai menyebut bahwa arsitektur terdistribusi mereka memungkinkan pengiriman data hingga lebih dari satu petabyte per detik, melalui lebih dari 4.200 titik kehadiran di 1.200 jaringan yang tersebar di 130 negara.
Infrastruktur ini memungkinkan pengiriman data dalam skala petabyte per detik, yang mendukung operasional sistem AI dengan kebutuhan data intensif.
Peluncuran Akamai Cloud Inference menunjukkan perubahan fokus industri AI, dari sekadar membangun LLM ke pemanfaatan konkret model tersebut.
Akamai menyatakan bahwa perusahaan-perusahaan kini lebih berfokus pada nilai penerapan AI yang langsung menyelesaikan masalah bisnis spesifik.
Contoh penerapan awal termasuk deskripsi otomatis produk di marketplace, visualisasi interaktif dalam pengalaman belanja online, analisis hasil medis berbasis AI, dan asisten suara yang berjalan langsung di perangkat.
“Melatih LLM seperti membuat peta. Pekerjaan ini lambat dan memerlukan banyak sumber daya. Inferensi AI itu seperti menggunakan GPS, langsung menerapkan pengetahuan itu, menghitung ulang secara real-time, dan beradaptasi dengan perubahan untuk membawa ke tempat yang Anda tuju,” ujar Karon.