Webscraping bildiğiniz üzere butonlara tıklama, yönetme gibi işlemler yaparak kullanıcıyı simüle ederek verileri aldığımız ardından bunları aktardığımız bir yapıdır. Ancak çoğunlukla görüyorum ki bu işlerde selenium oldukça sık kullanılıyor.
Auto clicker programlarının temel sorunları
En başında, Selenium bir test kütüphanesidir. Dolayısıyla amacınız web kazımadan çok butonların çalışıp çalışmadığı kontrolünü yapmaktır. Webscraping için hız, performans ve düşük bellek harcamak oldukça önemlidir.
Selenium, bir webscraping işlemi için Chrome (ya da başka bir tarayıcı) açarak içerisinde buton tıklamaları yapar fakat bundan daha iyi bir çözüm vardır. Request!
Butona tıklamayı simüle etmek yerine butona tıklandıktan sonra olacak olan istekleri simüle edersek performans anlamında minimum kaynak harcayarak maksimum hıza ulaşırız. Ayrıca kaynak kullanımı az olduğundan bu projeyi 10 20 defa art arda veya aynı anda çalıştırabiliriz. Seleniumda 10 20 projeyi çalıştırmak istesek işler biraz… karışık olurdu.
Ne zaman selenium kullanılmalı?
Selenium genelde bir web sitesini test etmek amacıyla kullanılır. Dolayısıyla en iyi kullanım yeri testtir, onun dışında eğer request ile çok fazla uğraşmıyor, web kazıma ve rest api hakkında acemi bir durumda iseniz Selenium kullanılabilir.