Introduction to Web Scraping¶
Web scraping adalah suatu teknik yang bertujuan untuk mengotomasi ekstraksi data dari berbagai sumber daring, mulai dari wikipedia, artikel, website, e-commerce, dan lainnya. Lalu, kenapa teknik ini penting untuk kita pelajari? Apa manfaat yang bisa diambil dengan web scraping di dunia kerja nanti?
Pemahaman Bisnis¶
Dari segi bisnis, suatu perusahaan mungkin membutuhkan sebuah scraper untuk:
Mengumpulkan data dari kompetitor, seperti harga untuk suatu produk yang mirip, untuk menyesuaikan harga yang masih bersaing
Mengumpulkan ulasan, komentar, dari pengguna melalui media sosial untuk mengetahui opini terhadap perusahaan atau produk secara umum
Dan lainnya
Personal Project¶
Jika kamu masih belum tergugah, coba bayangkan ini sebagai personal project yang bisa kamu pakai pamerkan. Selain itu, kamu bisa membuat scraper sebebas mungkin, misalkan:
Mencari meme favorit kamu
Mencari topik-topik berita yang sedang populer sekarang
Mengumpulkan resep-resep masakan favorit kamu, sehingga saat memasak tidak perlu repot browsing
Dan lainnya
Warning
Beberapa hal yang perlu diperhatikan dalam mengumpulkan data menggunakan scraper adalah apakah situs yang di-scrape mengizinkan scraper untuk mengakses secara bebas, beberapa halaman tertentu, atau bahkan tidak diizinkan sama sekali. Informasi ini bisa kita lihat dalam robots.txt dalam setiap situs.