@Apify, #scrape, #crawler
Apify (anciennement apifier.com) est une solution online pour crawler / scraper un site web.
Vous coder en JS, faite un RUN, puis obtenez une extraction de vos données.
Apify c’est quoi ?
Apify est un Web Scrapeur qui extrait des données structurées d’un sites Web. Par exemple, imaginez que vous avez trouvé un site de vente de chaussures et que vous souhaitez obtenir un tableur avec toutes les tailles de chaussures, les couleurs, les prix, etc… Mais le site ne rend pas cette information accessible sous forme de tableau. Vous pouvez certainement créer une telle feuille de calcul manuellement à l’aide de copier et coller, mais cela prendrait beaucoup de temps. Ou vous pouvez configurer Apify pour faire cela pour vous en quelques secondes.
Exemple de scrape via APIFY :
Allez plus loin dans le Scrape :
- Apify dispose d’une documentation en ligne bien conçu, vous permettant de mettre en place rapidement vos Scrapes (Voir la doc).
- Ex : Utiliser des regexp dans vos urls, utiliser Puppeteer, jQuery, underscoreJS, …
- Une API est également disponible. Vous pouvez créer votre script de scrape sur APIFY, puis envoyer le résultat (json, xml, html, csv, rss) sur un webhook, traiter le résultat et insérer ce dernier dans votre bdd.
Apify propose une offre gratuite (pour tester la bête avant de se lancer sur du lourd).
Vous pouvez donc obtenir 10k pages / mois, 1 lancement de script à la fois, 7 jours de données sauvegardés, …
Bref un outil à essayer le dimanche pour s’amuser, en écoutant du bon son sur soundcloud.com 🙂
Source : apify.com