Tinjauan Arsitektur Transformer Dan Penerapannya Pada Pemrosesan Bahasa Alami

Abstrak

Perkembangan pesat dalam bidang pemrosesan bahasa alami (PBA) tidak terlepas dari kemunculan arsitektur Transformer yang pertama kali diperkenalkan pada tahun 2017. Arsitektur ini mengandalkan mekanisme self-attention yang memungkinkan model memproses seluruh token dalam satu waktu, berbeda dengan pendekatan sekuensial pada RNN atau LSTM. Artikel ini menyajikan tinjauan literatur mengenai arsitektur Transformer, komponen utamanya seperti multi-head attention, positional encoding, dan feed-forward network, serta berbagai penerapannya dalam tugas-tugas PBA seperti terjemahan mesin, analisis sentimen, dan pembuatan teks. Selain itu, dibahas pula kelebihan dan keterbatasan Transformer dibandingkan arsitektur sebelumnya, serta tantangan seperti kebutuhan komputasi yang tinggi dan konsumsi memori yang besar. Tinjauan ini diharapkan dapat memberikan pemahaman dasar yang komprehensif mengenai Transformer bagi peneliti dan praktisi di bidang machine learning.