Tinjauan Perkembangan Kecerdasan Buatan Berbasis Arsitektur Transformer

Abstrak

Teknologi kecerdasan buatan khususnya teknik berbasis pembelajaran mesin menggunakan arsitektur transformer telah mengalami kemajuan pesat. Arsitektur transformer pertama kali diperkenalkan pada 2017 dan membangun pondasi pengembangan model yang lebih besar dan lebih akurat dalam masalah NLP, beberapa diantaranya menggunakan BERT dan GPT. Tinjauan ini mengkaji lima penelitian yang berkontribusi signifikan dalam perkembangan arsitektur transformer, antara lain penelitian oleh Vaswani, Devlin, Brown, dan Dai. Hasil kajian ini menunjukkan bahwa arsitektur transformer mampu meningkatkan efisiensi pelatihan, akurasi, serta pemahaman konteks panjang pada berbagai tugas NLP. Namun, masih ada beberapa permasalahan dengan teknologi ini yang perlu diatasi lebih lanjut.