Tampilkan postingan dengan label NLP. Tampilkan semua postingan
Tampilkan postingan dengan label NLP. Tampilkan semua postingan

Cara Convert Pdf to Text pada Python dengan Library pdfminer

Add Comment
Cara Convert Pdf to Text dengan Library pdfminer Python - Bismillahirahmanirahin, alhamdulillah akhirnya bisa kembali mengupdate blog ini dengan konten yang insya Allah bermanfaat. Kali ini penulis akan berbagi bagaimana memperoleh data teks yang terdapat dalam suatu file pdf dengan menggunakan pemrograman dalam bahasa python dengan library pdfminer. 

Sebelumnya mungkin teman-teman pasti telah mengetahui bahwa ada library dalam bahasa pemrograman python yang dapat digunakan untuk mengkonversi data file pdf untuk diambil teksnya saja atau convert pdf to text on python seperti library PyPDF2, PyMuPDF, tika package, pdfminer dan lain sebagainya. Kemudian teman-teman pasti mencari contoh kodingannya, tapi ternyata tidak menemukan satupun yang berjalan atau menemukan akan tetapi teman-teman bingung karena dituliskan penjelasannya dalam bahasa inggris? Nah kali ini akan dibagikan contoh kodingnya, semoga bermanfaat yaa hehe

Artikel sebelumnya Biterm Topic Model untuk Pemodelan Topik pada Teks Pendek

Baiklah langsung saja berikut adalah kodingannya, akan tetapi penulis membuatnya di colaboratory google sehingga tidak perlu menginstall sendiri pada perangkat PC penulis, karena google colaboratory merupakan cloud Jupyter notebook gratis yang disediakan oleh google.

Pertama-tama, karena menggunakan google colaboratory maka silakan anda masuk kedalam google drive anda lalu kemudian buat colaboratory baru, lebih lengkap cara membuat file colaboratory digoogle drive silakan baca artikel ini

File pdf yang akan penulis ambil teksnya terdapat dalam Google Drive penulis dengan nama kbbi.pdf dan kira-kira isinya seperti gambar dibawah ini.




Berikutnya karena dicolaboratory tidak ada modul atau library pdfminer, maka kita harus menginstallnya terlebih dahulu dengan pip install ya. Dan karena menggunakan python 3 maka gunakan kode pip seperti berikut ini.
!pip install pdfminer.six
Selanjutnya tuliskan kode untuk mengautentikasi akun gdrive teman-teman agar teman-teman dapat me load file pdf yang terdapat dalam drive teman-teman.
from google.colab import drive
drive.mount('/content/drive')
Kunjungi link yang muncul kemudian ikuti alurnya hingga teman-teman mendapatkan token untuk autentifikasi akun google drive anda. Selanjutnya silakan teman-teman berpindah pada direktori tempat teman-teman menyimpan file pdf nya, contohnya seperti dibawah ini. Jangan lupa juga untuk mengecek isi dari direktori tersebut dengan ls
%cd /content/drive/'My Drive'/'Pindahan Skripsi'
!ls 
Berikutnya silakan akses library pdfminer dengan menuliskan kode dibawah ini dalam code cell google colaboratory.
import io
from pdfminer.converter import TextConverter
from pdfminer.pdfinterp import PDFPageInterpreter
from pdfminer.pdfinterp import PDFResourceManager
from pdfminer.pdfpage import PDFPage 
Buat fungsi untuk mengkonversi pdf menjadi teks dengan kode seperti yang ada dibawah ini.
def extract_text_from_pdf(pdf_path):
    resource_manager = PDFResourceManager()
    fake_file_handle = io.StringIO()
    converter = TextConverter(resource_manager, fake_file_handle)
    page_interpreter = PDFPageInterpreter(resource_manager, converter)
    with open(pdf_path, 'rb') as fh:
        for page in PDFPage.get_pages(fh,
                                      caching=True,
                                      check_extractable=True):
            page_interpreter.process_page(page)
        text = fake_file_handle.getvalue()
    # close open handles
    converter.close()
    fake_file_handle.close()
    if text:
        return text
Terakhir akses fungsi tersebut untuk file pdf yang ingin anda ambil data teksnya, gunakan kode seperti dibawah ini. Disini penulis ingin mengambil teks yang ada dalam file pdf bernama kbbi
pdftotext = extract_text_from_pdf('kbbi.pdf')
print(pdftotext)
 Hasil yang didapat dari proses diatas adalah seperti pada gambar dibawah ini


Demikianlah how to convert pdf to text in python with pdfminer, semoga bermanfaat. Bagi teman-teman yang ingin melihat code pada google colaboratory silakan kunjugi link berikut ini dan untuk githubnya berikut ini

Biterm Topic Model untuk Pemodelan Topik pada Teks Pendek

2 Comments
Biterm Topic Model untuk Pemodelan Topik pada Teks Pendek - Selamat sore kali ini semangat27.com akan mencoba menjelaskan tentang pemodelan topik dengan menggunakan BTM (Biterm Topic Model) untuk dokumen kecil atau teks pendek. Jadi kenapa alasan penulis membuat artikel ini adalah untuk mendokumentasikan hasil bacaan penulis agar tidak lupa hehe. Baiklah langsung saja berikut sedikit banyak tentang BTM Biterm Topic Model untuk Pemodelan Topik pada Teks Pendek.

Sebelum itu penulis akan mecoba menarasikan apa yang dialami penulis. Next saja jika tidak penting ya hehe

Jadi dalam penelitian yang lalu yakni pemodelan topik menggunakan LDA pada google play, diakhir sang peneliti menjelaskan bahwa untuk mendapatkan hasil yang baik dalam future work dapat digunakan pemodelan topik yang khusus untuk dokumen yang pendek atau teks yang pendek. Sebagai contoh yakni ada BTM Topic Model yang memperluas LDA dengan memasukan statistik bigram kedalam pemodelan topik nya. Kemudian karena kata yang ada dalam dokumen yang pendek tersebut memiliki banyak slang word dan typo jadi kita diminta juga untuk memberikan perhatian lebih dalam melakukan normalisasi pada saat proses preprocessing data, sebab hal seperti ini dapat berpengaruh juga pada pembentukan modelnya. Dalam sidang yang lalu sudah diberikan solusi untuk slang word dan typo menggunakan spelling correction dan ditambahkan dengan dictionary kata karena pada saat proses spelling masih terdapat kata yang tidak sesuai pembenaran spelling nya. Namun masih belum pada saat sidang dikatakan bahwa yang dilakukan tersebut belum sesuai dengan standar S1 Ilmu Komputer, disarankan agar mengimprove metode yang ada yakni LDA.

Nah untuk membedakan dengan penelitian yang sebelumnya yakni sebelumnya menggunakan LDA, kali ini penulis mengganti metode dengan mencoba mempelajari lebih jauh tentang BTM.

BTM atau Biterm Topic Model pada Pemodelan Topil sendiri seperti yang diterangkan pada bagian future work penelitian yang lalu menjelaskan bahwa BTM dapat memperluas LDA dengan memasukan statistik bigram kedalam pemodelan topiknya, untuk memahami kata-kata ini kemudian penulis mencoba untuk mempelajari paper berikut ini yang sebelumnya ada juga pada artikel yang telah penulis tulis dengan judul Metode Pemodelan Topik yang Bagus untuk Teks Pendek seperti Tweet.

Baiklah karena paper tersebut berbahasa inggris jadi penulis harus berhati-hati dalam mempelajarinya karena kemampuan berbahasa inggris penulis sendiri sangat minim, jadi penulis terjemahkan dengan bantuan google terjemahan dan mendapatkan pemahaman berikut ini.

Paper tersebut berjudul A Biterm Topic Model for Short Texts dan disusun oleh Xiaohui Yan, Jiafeng Guo, Yanyan Lan, Xueqi Cheng dari Institute of Computing Technology, Chinese Academy of Sciences

Untuk Latar Belakang dari paper tersebut adalah memahami topik yang ada dalam teks pendek juga sangat penting untuk beberapa hal seperti:
  • content characterizing (karakterisasi konten)
  • content recomendation (rekomendasi konten)
  • user interest profiling (profil minat pengguna)
  • emerging topic detecting (pendeteksian topik baru)
  • semantic analysis (analisis semantik)
Berikutnya dalam BTM tersebut juga dijelaskan sedikit tentang topic models dari Blei


yakni mengenerate model dari dokumen dengan melihat struktur topik yang laten (tersembunyi) dengan beberapa komponen diantaranya
  • Topik : distribusi probabilitas atas kata-kata
  • Dokumen : Campuran dari berbagai topik
  • Kata : Sample yang diambil dari suatu topik
Pada penelitian yang sebelum-sebelumnya berkenaan dengan pemodelan topik hanya berfokus pada teks normal.

PROBLEM
Kemudian untuk penelitian BTM ini, Masalah yang ada dalam dokumen atau teks yang kecil yakni Data Sparsity (Data yang Jarang sehingga informasinya tidak lengkap)
Jumlah Kata Penyusun Topik
Dokumen Normal : Kata-kata pembentuk topik kemunculannya sering (lebih dari sekali)
Dokumen Pendek : Kebanyakan kata hanya muncul sekali
Konteks kata
Dokumen Normal : Kaya akan Konteks Kata, sehingga banyak kata yang berhubungan dengan topik
Dokumen Pendek : Konteks Kata Langka, hanya ada beberapa kata saja yang berhubungan dengan topik

PREVIOUS APPROACHES
-LDA dengan document aggregation (menggabungkan dokumen). contoh tweet dengan menggabungkan tweet dari satu user menjadi satu dokumen. Kekurangan : heuristic, not general
-Mixture of Unigrams, bahwa setiap dokumen hanya memiliki satu topik. Kekurangan : asumsi menjadi terlalu sempit
-Sparse topic models, tetap mempertahankan kondisi sparse dokumen dan fokus kepada pembentukan topik model. Kekurangan : Terlalu kompleks dan mudah overfitting.

KEY IDEAS
-Topik pada dasarnya adalah kelompok kata-kata yang berkorelasi dan korelasi terungkap oleh pola co-occurrence kata dalam dokumen. Cooccurrence mengacu pada frekuensi kejadian di atas terjadinya dua istilah dari corpus teks dalam urutan tertentu (kedekatan semantik)
Mengapa tidak secara langsung memodelkan kata co-occurrence  untuk pembelajaran topik?

-Model topik pada teks pendek memilik masalah pola sparse yang parah dalam dokumen pendek 
mengapa tidak menggunakan pola co-occurrence kata global untuk topik pengungkapan yang lebih baik?

Selanjutnya kita akan masuk pada pembahasan Biterm Topic Model, akan tetapi akan penulis lanjut pada artikel berikutnya karena penulis ingin memahami contoh kodingannya terlebih dahulu, semoga besok paham yak hehe.

Metode Pemodelan Topik yang Bagus untuk Teks Pendek seperti Tweet

Add Comment
Metode Pemodelan Topik yang Bagus untuk Teks Pendek seperti Tweet - Selamat pagi teman-teman para pengunjung Semangat27.com, kali ini penulis akan memberikan informasi dalam artikel sekarang mengenai pemodelan topik. Berhubung tugas akhir penulis tentang metode yang satu ini jadi penulis sekalia saja menuliskan dalam blog ini untuk membantu mengingatnya.

Baca juga artikel sebelumnya Pengalaman Terkena Herpes Parah sampai Sembuh Total

Dua minggu yang lalu tepatnya penulis telah menjalani sidang proposal, mungkin ditempat lain menyebutnya seminar proposal atau sempro, jadi satu tahap sebelum skripsi atau tugas akhir. Penulis sudah dinyatakan lulus akan tetapi dari apa yang disampaikan penguji dan pembimbing pada saat sidang, terdapat banyak sekali revisi dalam berkas proposal yang penulis ajukan. So sekarang penulis sedang menjalani masa revisi sekitar satu bulan dan sekarang tersisa dua minggu. Di dua minggu ini penulis mungkin akan sering menuliskan terkait revisi penulis semangat27.com ini. Semoga semuanya dapat bermanfaat ya, baik bagi penulis sebagai dokumentasi pribadi maupun bagi kalian semua pembaca setia semangat27.com


Baiklah langsung saja untuk jawaban dari judul artikel ini yakni pemodelan topik yang pas untuk teks pendek semcam tweet pada twitter atau komentar-komentar pada web, review apps digoogle play dan lain sebagainya yang memiliki kriteria dokumen yang pendek.

Sebelumnya penulis sudah mencarinya dan mendapatkan jawabannya disuatu forum tanya jawab yakni Quora, dimana didalamnya terdapat seseorang yang bertanya tentang paper atau jurnal yang bagus yang membahas tentang pemodelan topik untuk teks pendek semacam tweet, jika teman-teman ingin melihat halamannya silakan lihat dibagian referensi yang ada dibawah ya.

Nah dalam forum tanya jawab tersebut didapatkan beberapa jawaban alternatif pemodelan topik untuk teks pendek seperti  :

  • Menggunakan Latent Feature Word Representations untuk mengimprove pemodelan topik yang terdapat dalam jurnal TACL, Volume 3, Tahun 2015. [Paper/Jurnal] [Koding Java nya]
  • Menggunakan Dirichlet Multinomial Mixture Model untuk Clustering Teks Pendek. Jurnal KDD, Tahun 2014 [Paper/Jurnal] [Koding Java nya]
  • Menggunakan Biterm Topic Model untuk Pemodelan Topik. Jurnal WWW, Tahun 2013 [Paper/Jurnal] [Koding Python nya]
  • Menggunakan Latent Dirichlet Allocation untuk Pemodelan Topic Jurnal ECIR, Tahun 2011. [Paper/Jurnal] [Koding Python nya]
  • Menggunakan Dynamic Multi-Faceted Topic untuk Pemodelan Topic. Sumber Paper/Jurnal
  • Dengan Mentransfer Pengetahuan dari Auxiliary Teks Panjang untuk Teks Pendek. Jurnal CIKM, tahun 2011 Sumber Paper/Jurnal
  • Ada juga yang menggunakan LSI Latent Semantic Index
Jika diatas menggunakan solusi metode yang berbeda-beda untuk pemodelan topik pada teks pendek, maka dalam forum tanya jawab dituliskan solusi lain dengan menggabungkan terlebih dahulu teks pendek tersebut kedalam pseudo-teks sebelum akhirnya dilakukan training dengan menggunakan model LDA


Untuk lebih jelasnya silakan teman teman bisa mengunjungi langsung referensi dari tulisan kali ini. Dan untuk penjelasan detail masing-masing metode Insya Allah akan penulis tuliskan pada artikel selanjutnya akan tetapi hanya untuk metode yang penulis ambil untuk skrip si yak, metode yang lain paling hanya sekedar intinya saja. Baiklah demikian untuk artikel kali ini semoga bermanfaat.

silakan untuk lebih lengkapnya teman-teman lihat sumber berikut ini