scraping

Web scraping adalah proses pengambilan data dari halaman web secara otomatis menggunakan kode atau perintah tertentu. Data yang diambil dapat berupa teks, gambar, atau format data lainnya. Web scraping dapat digunakan untuk berbagai tujuan, seperti mengumpulkan data untuk penelitian, analisis, atau pengembangan produk. Teknik web scraping yang paling sering digunakan adalah dengan memanfaatkan HTML parser untuk mengakses dan memanipulasi DOM (Document Object Model) dari halaman HTML. DOM adalah representasi abstrak dari halaman HTML dalam bentuk objek....

Artikel ini merupakan lanjutan dari artikel sebelumnya berjudul Web Scraping dengan R dan rvest. Silakan membaca artikel tersebut terlebih dahulu jika baru memulai mempelajari web scraping dengan rvest. Salah satu favorit saya dalam package rvest adalah fungsi html_table. Sesuai dengan namanya, html_table berfungsi untuk parsing tabel HTML. Maksudnya, jika data yang akan di-scrape merupakan tabel dalam suatu halaman website HTML, fungsi ini secara “ajaib” akan mengubah tabel tersebut menjadi data frame....

Di era digital sekarang ini, berbagai data dapat ditemukan dengan mudah di internet. Sebagai seorang data analis dan scientist, hal ini tentu menjadi kabar baik karena dapat meningkatkan kualitas model dan mempertajam hasil analisis. Tapi bagaimana jika data tersebut tersedia dalam website yang diperuntukan untuk dibaca melalui browser? Beberapa website memang menyediakan fasilitas untuk menyimpan data (seperti Twitter melalui API public), tapi sayangnya sebagian besar tidak. Salah satu cara yang umum dilakukan adalah dengan membuka satu-per-satu halaman web lalu “copy-paste” data secara manual - tentunya akan menyita banyak waktu jika data sangat banyak....