Scribd
Unggah
41 tayangan

Modul 1 Natural Language Processing Dengan Python Dan Jupyter

Diunggah oleh

Yunita Anggeraini
Hak Cipta
© © All Rights Reserved
Kami menangani hak cipta konten dengan serius. Jika Anda merasa konten ini milik Anda, ajukan klaim di sini.
Format Tersedia
Unduh sebagai PDF, TXT atau baca online di Scribd
41 tayangan

Modul 1 Natural Language Processing Dengan Python Dan Jupyter

Diunggah oleh

Yunita Anggeraini
Hak Cipta
© © All Rights Reserved
Kami menangani hak cipta konten dengan serius. Jika Anda merasa konten ini milik Anda, ajukan klaim di sini.
Format Tersedia
Unduh sebagai PDF, TXT atau baca online di Scribd
Anda di halaman 1/ 8

Modul I

Kecerdasan Buatan
Natural Language Processing dengan Python dan Jupyter
A. Tujuan
1. Mahasiswa mengetahui apa itu Natural Language Processing
2. Mahasiswa mampu melakukan pemrograman dasar pada Natural Language Processing
dengan menggunakan Python dan Jupyter

B. Teori Dasar

Natual Language Processing (NLP) atau Pengolahan Bahasa Alami (PBA) merupakan salah
satu bidang ilmu kecerdasan buatan (artificial intelligence) yang mempelajari komunikasi antara
manusia dengan komputer. Natural Languange adalah sebuah bahasa yang diucapkan, ditulis oleh
manusia untuk berkomunikasi. Bahasa adalah sebuah sistem yang terdiri atas kumpulan simbol dan
aturan (grammar). NLP mencakup semua yang diperlukan komputer untuk mengerti Bahasa Alami baik
yang ditulis maupun diucapkan dan menghasilkan sebuah bahasa alami. NLP terdiri terdiri dari dua
yaitu:

1. Natural Language Understanding (NLU).


Tugas NLU adalah memahami input (bahasa alami).
2. Natural Language Generation (NLG)
NLG adalah salah satu bagian dari NLP, NLG sering juga disebut text generation.

Gambar 1. Natural Language Processing

Berikut ini dijelaskan bidang-bidang pengetahuan yang berhubungan dengan NLP:

• Fonetik dan fonologi: berhubungan dengan suara yang menghasilkan kata yang dapat dikenali.
Bidang ini menjadi penting dalam proses aplikasi yang memakai metoda speech based system.
• Morfologi: yaitu pengetahuan tentang kata dan bentuknya dimanfaatkan untuk membedakan satu
kata dengan lainnya. Pada tingkat ini juga dapat dipisahkan antara kata dan elemen lain seperti
tanda baca.
• Sintaksis: yaitu pemahaman tentang urutan kata dalam pembentukan kalimat dan hubungan antar
kata tersebut dalam proses perubahan bentuk dari kalimat menjadi bentuk yang sistematis.
• Semantik: yaitu pemetaan bentuk struktur sintaksis dengan memanfaatkan tiap kata ke dalam
bentuk yang lebih mendasar dan tidak tergantung struktur kalimat. Semantik mempelajari arti
suatu kata dan bagaimana dari arti kata tersebut membentuk suatu arti dari kalimat yang utuh.
Dalam tingkatan ini belum tercakup konteks dari kalimat tersebut.
• Pragmatik: pengetahuan pada tingkatan ini berkaitan dengan masing-masing konteks yang
berbeda tergantung pada situasi dan tujuan pembuatan sistem.
• Discourse Knowledge: melakukan pengenalan apakah suatu kalimat yang sudah dibaca dan
dikenali sebelumnya akan mempengaruhi arti dari kalimat selanjutnya. Informasi ini penting
diketahui untuk melakukan pengolahan arti terhadap kata ganti orang dan untuk mengartikan
aspek sementara dari informasi.
• World Knowledge: mencakup arti sebuah kata secara umum dan apakah ada arti khusus bagi
suatu kata dalam suatu percakapan dengan konteks tertentu.

C. Praktikum
Sebelum memulai coding pastikan sudah terinstal python dan Jupyter di laptop anda.
1. Memulai Jupyter
Buka jupyter anda seperti berikut, kemudian klik Jupyter Notebook

Maka akan tampil halaman seperti berikut di browser anda


2. Memulai coding dengan Jupyter
Maka akan terbuka file python di tab baru seperti berikut

Klik Untitled kemudian ubah title file menjadi Proyek 1 NLP seperti berikut

3. Latihan Tokenisasi
Untuk memulai coding klik tanda plus seperti pada gambar dibawah

Ketikkan codingnya seperti berikut. Dengan menggunakan paragraf pertama pada


dummy text Lorem Ipsum seperti pada gambar dibawah.
Sebelum bisa membuat regex di Python terlebih dahulu kita import modul re atau
regular expression (regex). Regex adalah deretan karakter yang digunakan untuk pencarian
string atau teks dengan menggunakan pola (pattern).
Kemudian untuk melihat apakah varibel text sudah berjalan dengan benar maka kita
panggil variabel text di line selanjutnya seperti berikut kemudian klik Cell – Run All.

Maka hasilnya akan terlihat seperti gambar dibawah. Hasil Out[14] menunjukkan
bahwa variabel text sudah terbaca.

Kemudian selanjutnya ketikkan kode pada input line 15 yaitu :

Kemudian klik Cell – Run All untuk melihat hasilnya


Penjelasan:
Line 1 pada In 15 yaitu kode untuk mengecilkan semua huruf yang ada pada text.
Line 2 pada In 15 yaitu kode untuk memfilter text agar yang tampil hanya A-Z, a-z, 0-9, serta
titik pada text.
Line 3 pada In 15 yaitu kode untuk memisahkan tiap kata berdasarkan spasi
Line 4 pada In 15 yaitu kode untuk memanggil variabel token
4. Menghitung Frekuensi Kata pada Text
Ketikkan kode pada In 19 seperti digambar. Tujuannya adalah untuk melihat berapa
banyak frekuensi keluarnya setiap huruf pada text yang kita punya.

klik Cell – Run All


Maka hasil yang keluar seperti pada gambar dibawah.

Selamat Mencoba
Terima Kasih

Anda mungkin juga menyukai