Home-theater-designers
Vous voulez apprendre le web scraping avec Python mais vous ne savez pas s'il faut utiliser Beautiful Soup, Selenium ou Scrapy pour votre prochain projet ? Bien que toutes ces bibliothèques et frameworks Python soient puissants en eux-mêmes, ils ne répondent pas à tous les besoins de scraping Web, et par conséquent, il est important de savoir quel outil vous devez utiliser pour un travail particulier.
UTILISEZ LA VIDÉO DU JOUR
Jetons un coup d'œil aux différences entre Beautiful Soup, Scrapy et Selenium, afin que vous puissiez prendre une décision judicieuse avant de commencer votre prochain projet de grattage Web Python.
1. Facilité d'utilisation
Si vous êtes débutant, votre première exigence serait une bibliothèque facile à apprendre et à utiliser. Beautiful Soup vous offre tous les outils rudimentaires dont vous avez besoin pour gratter le Web, et il est particulièrement utile pour les personnes qui ont une expérience minimale de Python mais qui souhaitent démarrer avec le grattage Web.
La seule mise en garde est qu'en raison de sa simplicité, Beautiful Soup n'est pas aussi puissant que Scrapy ou Selenium. Les programmeurs expérimentés en développement peuvent facilement maîtriser Scrapy et Selenium, mais pour les débutants, le premier projet peut prendre beaucoup de temps à construire s'ils choisissent d'utiliser ces frameworks au lieu de Beautiful Soup.
Pour récupérer le contenu de la balise de titre sur example.com à l'aide de Beautiful Soup, vous devez utiliser le code suivant :
url = "https://example.com/"
res = requests.get(url).text
soup = BeautifulSoup(res, 'html.parser')
title = soup.find("title").text
print(title)Pour obtenir des résultats similaires en utilisant Selenium, vous écrivez :
url = "https://example.com"
driver = webdriver.Chrome("path/to/chromedriver")
driver.get(url)
title = driver.find_element(By.TAG_NAME, "title").get_attribute('text')
print(title)La structure de fichiers d'un projet Scrapy se compose de plusieurs fichiers, ce qui ajoute à sa complexité. Le code suivant extrait le titre de example.com :
import scrapy
class TitleSpider(scrapy.Spider):
name = 'title'
start_urls = ['https://example.com']
def parse(self, response):
yield {
'name': response.css('title'),
}Si vous souhaitez extraire des données d'un service qui propose une API officielle, il peut être judicieux de utiliser l'API au lieu de développer un web scraper .
2. Vitesse de grattage et parallélisation
Sur les trois, Scrapy est le grand gagnant en matière de vitesse. En effet, il prend en charge la parallélisation par défaut. En utilisant Scrapy, vous pouvez envoyer plusieurs requêtes HTTP à la fois, et lorsque le script a téléchargé le code HTML pour le premier ensemble de requêtes, il est prêt à envoyer un autre lot.
Avec Beautiful Soup, vous pouvez utiliser la bibliothèque de threads pour envoyer des requêtes HTTP simultanées, mais ce n'est pas pratique et vous devrez apprendre le multithreading pour le faire. Sur Selenium, il est impossible de réaliser la parallélisation sans lancer plusieurs instances de navigateur.
Si vous deviez classer ces trois outils de grattage Web en termes de vitesse, Scrapy est le plus rapide, suivi de Beautiful Soup et Selenium.
3. Utilisation de la mémoire
Selenium est une API d'automatisation de navigateur, qui a trouvé ses applications dans le domaine du web scraping . Lorsque vous utilisez Selenium pour gratter un site Web, il génère une instance de navigateur sans tête qui s'exécute en arrière-plan. Cela fait de Selenium un outil gourmand en ressources par rapport à Beautiful Soup et Scrapy.
Comme ces derniers fonctionnent entièrement en ligne de commande, ils utilisent moins de ressources système et offrent de meilleures performances que Selenium.
4. Exigences en matière de dépendance
Beautiful Soup est une collection d'outils d'analyse qui vous aide à extraire des données à partir de fichiers HTML et XML. Il est livré avec rien d'autre. Vous devez utiliser des bibliothèques comme demandes ou en hurlant pour effectuer des requêtes HTTP, des analyseurs intégrés pour analyser le HTML/XML et des bibliothèques supplémentaires pour implémenter des proxies ou la prise en charge de bases de données.
Scrapy, d'autre part, est livré avec tout le tralala. Vous obtenez des outils pour envoyer des requêtes, analyser le code téléchargé, effectuer des opérations sur les données extraites et stocker les informations récupérées. Vous pouvez ajouter d'autres fonctionnalités à Scrapy en utilisant des extensions et des intergiciels, mais cela viendrait plus tard.
Avec Selenium, vous téléchargez un pilote Web pour le navigateur que vous souhaitez automatiser. Pour implémenter d'autres fonctionnalités telles que le stockage de données et la prise en charge de proxy, vous aurez besoin de modules tiers.
5. Qualité des documents
Dans l'ensemble, chaque documentation du projet est bien structurée et décrit chaque méthode à l'aide d'exemples. Mais l'efficacité de la documentation d'un projet dépend aussi fortement du lecteur.
La documentation de Beautiful Soup est bien meilleure pour les débutants qui débutent avec le web scraping. Selenium et Scrapy ont une documentation détaillée, sans aucun doute, mais le jargon technique peut prendre de nombreux nouveaux arrivants au dépourvu.
Si vous avez de l'expérience avec les concepts de programmation et les terminologies, alors l'une ou l'autre des trois documentations serait un jeu d'enfant à lire.
6. Prise en charge des extensions et du middleware
Scrapy est le framework Python de scraping Web le plus extensible, point final. Il prend en charge les intergiciels, les extensions, les proxies, etc., et vous aide à développer un robot d'exploration pour les projets à grande échelle.
Vous pouvez écrire des robots d'exploration infaillibles et efficaces en implémentant des middlewares dans Scrapy, qui sont essentiellement des crochets qui ajoutent des fonctionnalités personnalisées au mécanisme par défaut du framework. Par exemple, le HttpErrorMiddleware s'occupe des erreurs HTTP afin que les spiders n'aient pas à les traiter lors du traitement des requêtes.
meilleurs sites d'achat en ligne pour l'électronique
Le middleware et les extensions sont exclusifs à Scrapy, mais vous pouvez obtenir des résultats similaires avec Beautiful Soup et Selenium en utilisant des bibliothèques Python supplémentaires.
7. Rendu JavaScript
Selenium a un cas d'utilisation où il surpasse les autres bibliothèques de grattage Web, à savoir le grattage de sites Web compatibles JavaScript. Bien que vous puissiez récupérer des éléments JavaScript à l'aide des middlewares Scrapy, le flux de travail Selenium est le plus simple et le plus pratique de tous.
Vous utilisez un navigateur pour charger un site Web, interagir avec lui en cliquant et en appuyant sur des boutons, et lorsque vous avez le contenu dont vous avez besoin pour gratter à l'écran, extrayez-le à l'aide des sélecteurs CSS et XPath de Selenium.
Beautiful Soup peut sélectionner des éléments HTML à l'aide de sélecteurs XPath ou CSS. Cependant, il n'offre pas de fonctionnalité pour récupérer les éléments rendus par JavaScript sur une page Web.
Le scraping Web simplifié avec Python
Internet regorge de données brutes. Le scraping Web aide à convertir ces données en informations significatives qui peuvent être utilisées à bon escient. Le sélénium est probablement votre pari le plus sûr si vous souhaitez gratter un site Web avec JavaScript ou si vous avez besoin de déclencher certains éléments à l'écran avant d'extraire les données.
Scrapy est un cadre de grattage Web à part entière pour tous vos besoins, que vous souhaitiez écrire un petit robot ou un grattoir à grande échelle qui explore à plusieurs reprises Internet pour des données mises à jour.
Vous pouvez utiliser Beautiful Soup si vous êtes débutant ou si vous avez besoin de développer rapidement un grattoir. Quel que soit le framework ou la bibliothèque que vous utilisez, il est facile de commencer à apprendre le web scraping avec Python.