, Jakarta - Model bahasa besar (Large Language Model, LLM), seperti GPT-3 dari OpenAI, telah memikat para peneliti dengan kemampuannya untuk menghasilkan teks yang mirip dengan manusia dalam berbagai bentuk, mulai dari puisi hingga kode pemrograman.
Jaringan saraf tiruan (artificial neural network, ANN), yang dilatih dengan sekumpulan data, mampu memprediksi teks yang mengikuti input yang diberikan.
Baca Juga
Namun, pada dasarnya terobosan terbaru dalam bidang machine learning lebih dari itu. Itu adalah fenomena in-context learning, di mana model bahasa besar dapat belajar untuk menyelesaikan tugas baru tanpa memperbarui parameternya.
Advertisement
In-context learning, yang merupakan terobosan di bidang machine learning, memungkinkan model bahasa besar untuk mempelajari tugas baru tanpa menjalani proses latih ulang. Sebaliknya, mereka mempelajari tugas dengan menggunakan informasi yang terkandung dalam model besar itu sendiri.
Model bahasa besar pada ChatGPT ini kemudian dapat menerapkan algoritme pembelajaran sederhana untuk melatih model linear yang lebih kecil, yang terkandung di dalam dirinya sendiri, untuk menyelesaikan tugas baru.
Di sisi lain, parameter model yang lebih besar tetap seperti aslinya, yang membuat proses pembelajaran ini menjadi sangat efisien.
Ekin Akyürek, mahasiswa pascasarjana ilmu komputer dan penulis utama makalah bertajuk "What Learning Algorithm Is In-Context Learning? Investigations with Linear Models" mengeksplorasi fenomena ini, bersama dengan para peneliti dari Massachusetts Institute of Technology (MIT), Google Research, dan Stanford University.
* Follow Official WhatsApp Channel untuk mendapatkan berita-berita terkini dengan mengklik tautan ini.
Proses Latih Model
Mereka menyoroti pentingnya memahami in-context learning dan meyakini bahwa pemahaman yang lebih baik tentang in-context learning dapat membuat model mampu menyelesaikan tugas-tugas baru tanpa perlu latih ulang, yang sering kali merupakan proses yang mahal.
Alasan mengapa model bahasa besar dapat melakukan in-context learning terletak pada bagaimana mereka dilatih. GPT-3, misalnya, memiliki ratusan miliar parameter dan dilatih dengan membaca sejumlah besar teks dari miliaran situs web di internet.
Itu menyebabkan model mengulangi pola yang telah dia lihat selama proses latih, alih-alih belajar untuk melakukan tugas-tugas baru. Akyürek dan rekan-rekannya percaya bahwa in-context learning tidak hanya mencocokkan pola yang telah model lihat sebelumnya, tetapi juga belajar untuk melakukan tugas-tugas baru.
Advertisement
Transformator
Untuk menguji hipotesis ini, para peneliti menggunakan model jaringan saraf yang dikenal sebagai transformator, yang memiliki arsitektur serupa dengan GPT-3, tetapi telah dilatih secara khusus untuk in-context learning.
Evaluasi teoretis terhadap arsitektur transformator menunjukkan bahwa transformator dapat menulis model linier dalam keadaan tersembunyi, yaitu lapisan antara lapisan input dan output.
Transformator kemudian dapat melakukan pembaruan model linier itu dengan menerapkan algoritma pembelajaran yang lebih sederhana, membuat simulasi dan melatih versi yang lebih kecil dari dirinya sendiri.
Eksperimen probing dilakukan untuk mencoba dan memulihkan solusi model linier di dalam lapisan tersembunyi transformator. Hasilnya, terungkap bahwa parameter tersebut memang ditulis dalam keadaan tersembunyi.
Menjanjikan
Pekerjaan teoretis di bidang ini dapat mengarah pada pengembangan transformator yang mampu melakukan in-context learning dengan menambahkan hanya dua lapisan ke jaringan saraf.
Para peneliti menilai, in-context learning memiliki potensi besar untuk machine learning karena ia mampu membuat proses pembelajaran menjadi lebih efisien dan hemat biaya. Masa depan penelitian ini dapat mengarah pada eksplorasi lebih lanjut ke dalam algoritma pembelajaran yang dapat diterapkan oleh model-model besar.
Dengan kata lain, fenomena in-context learning dalam model bahasa besar, seperti GPT-3, sangat menjanjikan untuk masa depan machine learning.
Dengan pemahaman yang lebih baik tentang proses ini, para peneliti dapat memungkinkan model untuk menyelesaikan tugas-tugas baru tanpa perlu pelatihan ulang, sehingga proses pembelajaran menjadi lebih efisien dan hemat biaya.
Advertisement
Infografis Era Teknologi 5G di Indonesia (/Triyasni)
Terkini Lainnya
Twilio Luncurkan Dua Fitur Baru untuk Dorong Pemasaran dengan AI
Lenovo Luncurkan Yoga Slim 7x dan ThinkPad T14s Gen 6: Laptop AI untuk Kreator dan Profesional
Intel Umumkan Prosesor AI Lunar Lake, Siap Rilis Akhir Tahun 2024
Proses Latih Model
Transformator
Menjanjikan
Infografis Era Teknologi 5G di Indonesia (Liputan6.com/Triyasni)
Google
Tech News
sainstek
GPT-3
ChatGPT
Model Bahasa Besar
Large Language Model
Machine Learning
OpenAI
Massachusetts Institute of Technology
LLM
MIT
Rekomendasi
Lenovo Luncurkan Yoga Slim 7x dan ThinkPad T14s Gen 6: Laptop AI untuk Kreator dan Profesional
Intel Umumkan Prosesor AI Lunar Lake, Siap Rilis Akhir Tahun 2024
Euro 2024
Jadwal Lengkap Pertandingan 8 Besar Euro 2024
Terkesan Penampilannya di Euro 2024, Real Madrid Ingin Datangkan Rekan Setim Jude Bellingham
Top 3: Pola Makan Nabati Bisa Perlambat Perkembangan Kanker Prostat
Top 3 Berita Bola: Timnas Belanda Lolos ke Perempat Final Euro 2024, Ronald Koeman Malah Menyesal
Swiss Percaya Diri Jinakkan Tim Tiga Singa Inggris
Infografis Jadwal Euro 2024 dan Copa America 2024 Fase Final: Perempat Final, Semifinal, Final
Copa America 2024
Timnas Ekuador Siap Berjuang Mati-matian di Perempat Final Copa America 2024
Copa America 2024 Argentina Vs Ekuador: Tim Tanggo Didukung Rekor Apik
Infografis Jadwal Euro 2024 dan Copa America 2024 Fase Final: Perempat Final, Semifinal, Final
Jadwal Lengkap Copa America 2024, Hasil, Klasemen Grup A, B, C, D Cek di Sini
HEADLINE: Rivalitas Ronaldo vs Messi di Fase Final Euro 2024 dan Copa America 2024, Siapa Unggul di Usia Senja?
Copa America 2024: Laga Brasil Melawan Kolombia Berakhir Tanpa Pemenang
Timnas Indonesia U-16
Timnas Indonesia Rebut Perunggu Piala AFF U-16 2024, Erick Thohir: Lebih Baik di Kualifikasi Piala Asia U-17 2025
Jadwal Lengkap, Hasil, dan Klasemen Piala AFF U-16 2024: Timnas Indonesia Bidik Gelar Ketiga
Timnas U-16 Kalahkan Vietnam 5-0, Nova Arianto Minta Skuad Garuda Muda Tak Euforia
Hasil Piala AFF U-16 Vietnam vs Indonesia: Cetak 5 Gol Tanpa Balas, Garuda Nusantara Amankan Peringkat 3
Hasil Piala AFF U-16 Vietnam vs Indonesia: Cetak Gol Telat, Garuda Nusantara Unggul 2-0 di Babak Pertama
Link Live Streaming Piala AFF U-16 2024 Vietnam vs Indonesia, Sebentar Lagi Mulai di Vidio
Pilkada 2024
Survei Indikator: Ridwan Kamil Ungguli Dedi Mulyadi dan Ilham Habibie di Pilkada Jabar
Kader Gerindra di Kampar Siap Alokasikan APBD Dukung Program Susu Gratis Prabowo Subianto
Lewat Relawan Rindu, Milenial Indramayu Punya Wadah Sampaikan Aspirasi Jelang Pilkada 2024
Jelang Pilkada 2024, Bacagub NTB Lalu Muhamad Iqbal Bertemu Kaesang
Kinerja Pj Walikota Pekanbaru Muflihun Dinilai Jadi Tolak Ukur di Pilkada 2024
Komisi II DPR Pastikan Pemberhentian Ketua KPU Hasyim Asy'ari Tak Ganggu Proses Pilkada
TOPIK POPULER
TIPS TEKNO
3 Rekomendasi Gadget untuk yang Doyan Traveler, Apa Saja?
HP Xiaomi Lemot setelah Update ke HyperOS? Matikan Fitur ini Sekarang
Cara Bikin CV Anti Gagal dalam Hitungan Menit Pakai ChatGPT, Biar Gampang Cari Kerjaan
Populer
Jepang Akhirnya Setop Penggunaan Disket Setelah Lebih dari 20 Tahun
Tiga Produk Apple Kini Dianggap Kuno, Ada iPhone X!
Good Bye Jebakan Badman Customer Service Palsu! Begini Langkah Jitu Antisipasinya
Devoteam G Cloud Unjuk Kemampuan AI, Solusi Tingkatkan Produktivitas
FFWS ID 2024 Fall Dimulai, 18 Tim Berebut Juara dan Tiket FFWS SEA
Kolaborasi Qualcomm-Manchester United, Snapdragon Hiasi Seragam Baru Setan Merah
File PDNS yang Dikunci Ransomware Brain Cipher Berhasil Dibuka, Pemulihan Data Terus Berlanjut
Dirjen Aptika Kominfo Semuel Abrijani Mundur Buntut Serangan Ransomware Brain Cipher ke PDNS
Poco Boyong Flagship Poco F6 ke Indonesia, Harga Mulai Rp 4,8 Jutaan
Prudential Financial Akui Lebih dari 2,5 Juta Data Nasabah dan Karyawan Disusupi Hacker
Ketua KPU
Gantikan Hasyim Asy'ari, Afifuddin: Jadi Ketua dan Anggota KPU Sangat Berat
Profil Ketua KPU RI Hasyim Asy’ari yang Tersandung Kasus Asusila
Gaji Ketua KPU Ternyata Lebih Besar dari Presiden, Simak Faktanya
Ketua DPR Sayangkan Sikap Amoral Hasyim Asy'ari, Proses Seleksi Komisioner KPU Perlu Evaluasi
Harta Kekayaan Ketua KPU Hasyim Asy'ari, Dipecat Usai Kasus Tindak Asusila Terbongkar
Berita Terkini
China Dukung Kazakhstan Bergabung dengan BRICS
Dewan Pers Sebut KPI Produk Politik, Tak Tepat Urus Sengketa Jurnalistik
Station Wagon Listrik Neta S Mulai Menggoda, Sudah Dilengkapi ADAS
May I Help You (2022) adalah Drakor Horor dan Komedi, Beda Kasus Tiap Episode
Profil Budi Santoso, Dekan Unair yang Dicopot karena Menolak Program Dokter Asing di Indonesia
Terinspirasi David Beckham, Raja Charles III Jual Madu Organik dari Peternakan Lebah Kerajaan Inggris
Anak Gaza Korban Serangan Israel Dijadikan Bahan Hoaks, Simak Daftarnya
Jokowi Naikkan Gaji Kepala Ombudsman di Daerah Jadi Rp 18,5 Juta, Simak Rinciannya
Rencana Manchester United Rekrut Bek Bayern Munchen Ditentang Ribuan Fans, Apa Alasannya?
Daftar 10 Hewan Gurun yang Dapat Hidup dan Bertumbuh di Gurun Gersang
6 Tokoh Penting The Exorcism 2024, Russell Crowe Jadi Aktor Film Horor Apes Malah Kerasukan Setan
Gantikan Hasyim Asy'ari, Afifuddin: Jadi Ketua dan Anggota KPU Sangat Berat
10 Potret Jeremy dan Ina Thomas Jalani Operasi Plastik di Korea, Jadi Sorotan
Polisi Geledah Kantor Ditjen Energi Terbarukan ESDM Terkait Kasus Dugaan Korupsi Pengadaan PJUTS