Dilihat dari konferensi Hot Chips minggu ini di Universitas Stanford, ilmu pengetahuan dan teknik pembuatan chip yang dirancang untuk menangani kecerdasan buatan masih terus berkembang.
Pertunjukan Hot Chips, yang kini memasuki tahun ke-36, menarik 1.500 peserta, lebih dari separuhnya hadir melalui siaran langsung online dan sisanya di Auditorium Memorial Universitas Stanford. Selama beberapa dekade, acara ini telah menjadi tempat diskusi mengenai chip paling mutakhir dari Intel, AMD, IBM dan banyak vendor lainnya, dan perusahaan tersebut sering menggunakan acara tersebut untuk memperkenalkan produk-produk baru.
Plus: Linus Torvalds berbicara tentang kecerdasan buatan, adopsi Rust, dan mengapa inti Linux adalah “satu-satunya hal yang penting”
Konferensi tahun ini menerima lebih dari seratus masukan dari seluruh dunia. Pada akhirnya diterima 24 pembicaraan, jumlah yang dapat diakomodasi dalam format konferensi dua hari tersebut. Dua sesi tutorial diadakan pada hari Minggu, dan presentasi utama diadakan pada hari Senin dan Selasa. Juga akan ada tiga belas sesi poster.
Pembicaraan teknis dan presentasi poster di atas panggung sangat teknis dan ditujukan untuk para insinyur. Audiens cenderung menyebarkan laptop dan beberapa layar seolah-olah mereka sedang mengadakan rapat di kantor pribadinya.
Pada konferensi Senin pagi, Qualcomm memperkenalkan prosesor Oryon untuk pusat data dan prosesor Intel Lunar Lake, menarik banyak audiens dan memicu banyak pertanyaan dari audiens.
Dalam beberapa tahun terakhir, terdapat fokus pada chip yang dirancang untuk menjalankan kecerdasan buatan dalam bentuk jaringan saraf dengan lebih baik. Pada konferensi tahun ini, direktur perangkat keras OpenAI Trevor Cai menyampaikan pidato utama tentang “Penskalaan dan Infrastruktur yang Dapat Diprediksi.”
Cai, yang telah menghabiskan banyak waktu untuk mengintegrasikan infrastruktur komputasi OpenAI, mengatakan ChatGPT adalah hasil dari perusahaan yang “menghabiskan waktu bertahun-tahun dan miliaran dolar untuk memprediksi kata berikutnya dengan lebih baik.” Hal ini mengarah pada kemampuan berkelanjutan seperti “pembelajaran zero-shot”.
“Bagaimana kita tahu ini akan berhasil?” Cai bertanya secara retoris. Karena terdapat “scaling law” yang menyatakan bahwa kapabilitas dapat meningkat secara diprediksi dengan adanya “power law” dari perhitungan yang digunakan. Dia menjelaskan bahwa setiap kali jumlah perhitungan berlipat ganda, akurasinya mendekati entropi yang “tidak dapat direduksi”.
Plus: Apa yang diharapkan dari Meta Connect 2024: Quest yang lebih terjangkau, kacamata AR, dan banyak lagi
“Hal ini memungkinkan kami berinvestasi dan membangun klaster komputer berskala besar,” kata Tsai. Tsai mengatakan ada “perlawanan besar” untuk melanjutkan kurva penskalaan. OpenAI harus menghadapi inovasi algoritma yang menantang, katanya.
Untuk perangkat keras, “bahkan bagi perusahaan dengan arus kas bebas tertinggi, biaya dolar dan energi dari klaster berskala besar ini menjadi sangat tinggi,” kata Cai.
Konferensi berlanjut pada hari Selasa, dengan presentasi dari perusahaan termasuk Advanced Micro Devices dan startup Cerebras Systems.