Scrapy
2 minuty czytania
Scrapy to framework open source napisany w języku Python, służący do przetwarzania danych z witryn internetowych. Jest to narzędzie przeznaczone dla web scraping, czyli automatyzowanego pobierania danych z witryn internetowych.
Często programując korzystamy z dostępnych API, które dostarczają nam potrzebne dane do naszej aplikacji. Przykładowo budując aplikację, która będzie nam ukazywać aktualną pogodę, musimy skądś te dane wziąć i najczęściej korzystamy z dostępnych API na rynku, ale co w przypadku kiedy nie znajdziemy interesującego nas API. Właśnie w takim przypadku warto rozważyć, scrapowanie stron. W tym artykule przedstawię właśnie narzędzie, które pomoże nam w scrapowaniu stron.
Czym jest scrapowanie stron?
Scrapowanie stron jest to nic innego niż wyciąganie jakiejś zawartości strony i zapisywanie tych danych w celu np. wykorzystania ich w swojej aplikacji. Scrapowanie stron wykorzystują takie serwisy jak np. ceneo, google, czy też portale zbierające oferty pracy z innych portali. Pamiętajmy, że to co robimy później z takimi danymi może być czasami nielegalne.
Co to jest Scrapy?
Scrapy jest frameworkiem do języka Python i jest on najpopularniejszym i najbardziej rozbudowanym narzędziem do scrapowania stron internetowych. Scrapy dostarcza wszystkie niezbędne narzędzia potrzebne do efektywnego wydobywania danych ze stron, przetwarzania ich i przechowywania w preferowanej strukturze i formacie. Scrapy jest łatwy do użycia, posiada obsługę żądań asynchronicznych, a ponadto automatycznie dostosowuje prędkość indeksowania za pomocą mechanizmu “Auto-throttling”.
Scrapy Spider
Najważniejszą częścią w Scrapy są klasy Spider. Scrapy używa ich do zbierania informacji ze strony internetowej. Definiują one w jaki sposób nasz Spider ma wydobywać dane ze strony.
Przykładowa klasa Spidera, która wydobywa cytaty ze strony.
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'https://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'author': quote.xpath('span/small/text()').get(),
'text': quote.css('span.text::text').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
Taki kod zapisujemy do pliku “quotes_spider.py” i odpalamy naszego bota do scrapowania komendą:
scrapy runspider quotes_spider.py -o quotes.jl
Kiedy nasz bot skończy swoją pracę powinniśmy otrzymać plik “quotes.jl”, który będzie zawierać listę cytatów zapisanych w formacie json.
{"author": "Jane Austen", "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"}
{"author": "Steve Martin", "text": "\u201cA day without sunshine is like, you know, night.\u201d"}
{"author": "Garrison Keillor", "text": "\u201cAnyone who thinks sitting in church can make you a Christian must also think that sitting in a garage can make you a car.\u201d"}
...
Nasza oferta
Web development
Dowiedz się więcejMobile development
Dowiedz się więcejE-commerce
Dowiedz się więcejProjektowanie UX/UI
Dowiedz się więcejOutsourcing
Dowiedz się więcejPowiązane artykuły
Frictionless Navigation: Co to jest i dlaczego jest kluczowe dla UX?
3 gru 2024
W dobie cyfryzacji, nawigacja na stronie internetowej stanowi kluczowy element user experience. To ona odpowiada za bezproblemowe poruszanie się po treściach witryny i przekierowywanie użytkownika do poszczególnych zakładek. Właściwie dostosowana nawigacja potrafi znacząco podnieść użyteczność strony. W naszym artykule dowiesz się więcej na ten temat.
Variable Fonts: Przewodnik po zmiennych czcionkach i ich znaczeniu w web designie
2 gru 2024
Zmienne czcionki rewolucjonizują świat web designu, zapewniając twórcom stron nieskończone możliwości dostosowywania typografii. W tym artykule poznasz zalety korzystania ze zmiennych czcionek, nauczysz się, jak je implementować i dowiesz się, jak mogą one wpłynąć na efektywność Twojego designu.
TMMi: Czym jest model dojrzałości testowania?
2 gru 2024
Zapraszam do zapoznania się z TMMi, czyli Test Maturity Model integration - modelem dojrzałości testowania, który zdobywa coraz więcej uznanie w świecie IT. Służy on do oceny efektywności procesów testowych, a przez to staje się narzędziem budowania przewagi konkurencyjnej. Czym tak naprawdę jest TMMi? Dlaczego jest tak ważny? Przyjrzyjmy się temu bliżej.
Pozycjonowanie sklepu internetowego
2 gru 2024
Pozycjonowanie stron internetowych jest kluczowym elementem osiągnięcia sukcesu w biznesie online. W szczególności sklepy internetowe mogą w znaczący sposób zwiększyć swoje zyski, poprawiając swoją widoczność w wynikach wyszukiwania. W tym artykule postaramy się odpowiedzieć na najczęstsze pytania dotyczące SEO sklepów internetowych.
Controlling w biznesie: Rola i kluczowe znaczenie dla sukcesu organizacji
1 gru 2024
Controling w biznesie to nieodzowny element zarządzania, stanowiący fundament sukcesu każdej organizacji. Ten dynamiczny proces, obejmujący przede wszystkim analizę, planowanie i kontrolę wyników, pozwala zidentyfikować problemy, możliwe ryzyka oraz koszty i przyczynia się do lepszego przewidywania przyszłości firmy.
Resilience testing: Czym jest testowanie odporności i dlaczego jest kluczowe dla współczesnych systemów?
1 gru 2024
W świecie IT, wymóg niezawodności i bezbłędnej pracy systemów jest coraz bardziej priorytetowy. Celem niniejszego artykułu jest zgłębienie tematu testowania odporności w IT. Omówimy podstawy tej dziedziny oraz jej znaczenie dla funkcjonowania nowoczesnych systemów.
Normalizacja baz danych: Co to jest i dlaczego jest niezbędna?
30 lis 2024
Normalizacja baz danych to fundamentalny proces, który zwiększa efektywność i integralność danych, minimalizując jednocześnie redundancję. Analizując, co to jest i dlaczego jest niezbędna, zrozumiesz, jak zasadnicze jest to narzędzie zarządzania danymi.
Zobacz wszystkie artykuły