Scrapy
3 minuty czytania
Scrapy to framework open source napisany w języku Python, służący do przetwarzania danych z witryn internetowych. Jest to narzędzie przeznaczone dla web scraping, czyli automatyzowanego pobierania danych z witryn internetowych.
Często programując korzystamy z dostępnych API, które dostarczają nam potrzebne dane do naszej aplikacji. Przykładowo budując aplikację, która będzie nam ukazywać aktualną pogodę, musimy skądś te dane wziąć i najczęściej korzystamy z dostępnych API na rynku, ale co w przypadku kiedy nie znajdziemy interesującego nas API. Właśnie w takim przypadku warto rozważyć, scrapowanie stron. W tym artykule przedstawię właśnie narzędzie, które pomoże nam w scrapowaniu stron.
Czym jest scrapowanie stron?
Scrapowanie stron jest to nic innego niż wyciąganie jakiejś zawartości strony i zapisywanie tych danych w celu np. wykorzystania ich w swojej aplikacji. Scrapowanie stron wykorzystują takie serwisy jak np. ceneo, google, czy też portale zbierające oferty pracy z innych portali. Pamiętajmy, że to co robimy później z takimi danymi może być czasami nielegalne.
Co to jest Scrapy?
Scrapy jest frameworkiem do języka Python i jest on najpopularniejszym i najbardziej rozbudowanym narzędziem do scrapowania stron internetowych. Scrapy dostarcza wszystkie niezbędne narzędzia potrzebne do efektywnego wydobywania danych ze stron, przetwarzania ich i przechowywania w preferowanej strukturze i formacie. Scrapy jest łatwy do użycia, posiada obsługę żądań asynchronicznych, a ponadto automatycznie dostosowuje prędkość indeksowania za pomocą mechanizmu “Auto-throttling”.
Scrapy Spider
Najważniejszą częścią w Scrapy są klasy Spider. Scrapy używa ich do zbierania informacji ze strony internetowej. Definiują one w jaki sposób nasz Spider ma wydobywać dane ze strony.
Przykładowa klasa Spidera, która wydobywa cytaty ze strony.
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'https://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'author': quote.xpath('span/small/text()').get(),
'text': quote.css('span.text::text').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
Taki kod zapisujemy do pliku “quotes_spider.py” i odpalamy naszego bota do scrapowania komendą:
scrapy runspider quotes_spider.py -o quotes.jl
Kiedy nasz bot skończy swoją pracę powinniśmy otrzymać plik “quotes.jl”, który będzie zawierać listę cytatów zapisanych w formacie json.
{"author": "Jane Austen", "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"}
{"author": "Steve Martin", "text": "\u201cA day without sunshine is like, you know, night.\u201d"}
{"author": "Garrison Keillor", "text": "\u201cAnyone who thinks sitting in church can make you a Christian must also think that sitting in a garage can make you a car.\u201d"}
...
Parse – jak przetwarzać dane?
Scrapy oferuje elastyczne metody przetwarzania danych pobranych z witryn internetowych. Kluczowym elementem tego procesu jest metoda parse, która analizuje odpowiedź zwróconą przez serwer i pozwala na wydobycie interesujących informacji. Scrapy automatycznie obsługuje żądania HTTP i przekazuje odpowiedź do tej metody, gdzie można ją przetwarzać według własnych potrzeb. Metoda parse pozwala na nawigowanie po strukturze strony oraz wybieranie konkretnych elementów za pomocą narzędzi takich jak XPath czy CSS Selectors. Możliwe jest także generowanie kolejnych żądań do innych podstron oraz przechowywanie danych w formatach takich jak JSON czy CSV. Dzięki temu Scrapy jest potężnym narzędziem do scrapowania i automatycznej ekstrakcji informacji z dużych zbiorów danych.
Zarządzanie sesjami i cookies
Podczas scrapowania stron internetowych często konieczne jest zarządzanie sesjami i plikami cookies, które pozwalają na utrzymanie stanu użytkownika. Wiele stron wymaga autoryzacji lub śledzi aktywność użytkownika za pomocą plików cookie, dlatego prawidłowa ich obsługa w Scrapy jest kluczowa.
Scrapy automatycznie przechowuje i przesyła pliki cookie dla każdej domeny, co ułatwia scrapowanie stron, które wymagają zalogowania lub utrzymania sesji. Możliwe jest także ręczne zarządzanie plikami cookie poprzez modyfikowanie nagłówków żądań, co daje większą kontrolę nad interakcją ze stroną. W bardziej zaawansowanych przypadkach można korzystać z pośredników (middleware), aby dostosować zachowanie frameworka do specyficznych wymagań serwera docelowego.
SPRAWDŹ SWOJĄ WIEDZE Z TEMATU scrapy
Pytanie
1/5
Scrapy i XPath – wydobywanie danych ze stron
XPath to jedno z najpotężniejszych narzędzi do nawigacji po strukturze stron HTML i XML. W Scrapy można go wykorzystać do precyzyjnego wydobywania danych, takich jak teksty, linki, obrazy czy atrybuty elementów. XPath pozwala na poruszanie się po drzewie DOM strony internetowej i selektywne wybieranie tylko tych fragmentów kodu, które są istotne dla analizy.
Dzięki XPath możliwe jest filtrowanie elementów na podstawie ich atrybutów, pozycji w strukturze dokumentu lub zawartości tekstowej. To szczególnie przydatne przy pracy ze stronami o skomplikowanej budowie, gdzie tradycyjne selektory CSS mogą nie być wystarczająco precyzyjne. W połączeniu z Scrapy, XPath pozwala na efektywne pobieranie danych z dynamicznych i statycznych stron internetowych, co czyni go niezwykle przydatnym narzędziem w procesie web scrapingu.
Nasza oferta
Web development
Dowiedz się więcejMobile development
Dowiedz się więcejE-commerce
Dowiedz się więcejProjektowanie UX/UI
Dowiedz się więcejOutsourcing
Dowiedz się więcejPowiązane artykuły
Web scraping - co to jest i jak działa?
23 maj 2023
Web scraping to technika pozyskiwania danych z stron internetowych. Polega na przeszukiwaniu kodu HTML i wyodrębnieniu żądanych informacji. Najczęściej stosuje się ją w celach badawczych lub biznesowych. Istnieją specjalne narzędzia ułatwiające tę pracę, ale proces może być też wykonany ręcznie.

Motion UX: Kluczowe znaczenie dynamiki w projektowaniu interfejsów użytkownika
13 cze 2025
W coraz bardziej zaawansowanym świecie cyfrowym, dynamika staje się nieodzownym elementem projektowania interfejsów użytkownika. Motion UX bierze tę koncepcję krok dalej, ułatwiając płynność ruchu i interakcji. Kluczowe znaczenie tej techniki polega na poprawie doświadczeń użytkowników, dzięki czemu interfejsy są bardziej intuicyjne i angażujące.
BitBar: Czym jest i jak on rewolucjonizuje kompleksowe testowanie aplikacji mobilnych w chmurze
12 cze 2025
W świecie dynamicznie rozwijających się aplikacji mobilnych, niezawodność i szybkość testowania stają się kluczowymi elementami sukcesu. BitBar to zaawansowane narzędzie do testowania aplikacji mobilnych w chmurze, które umożliwia przeprowadzanie testów na setkach rzeczywistych urządzeń w sposób zautomatyzowany i skalowalny.
Dwell Time: Klucz do zrozumienia i strategii zwiększania zaangażowania użytkowników
11 cze 2025
Zaangażowanie użytkowników to kluczowy element rozwoju każdego serwisu internetowego. Jednym z istotnych wskaźników jest 'Dwell Time', czyli czas spędzony przez użytkownika na stronie. Jak zrozumieć i skutecznie używać tego parametru do zwiększenia ekspozycji treści? O tym będziemy mówić w dzisiejszym artykule.
Jak działa zasada 60-30-10 i dlaczego jest tak skuteczna w projektowaniu?
4 cze 2025
Zasada 60-30-10 to strategiczne podejście do projektowania, które zyskało dużą popularność. Rozkładanie elementów projektu na trzy kategorie w podanych proporcjach, przynosi zaskakująco estetyczne i harmonijne rezultaty. W artykule omówimy, jak działa ten mechanizm i dlaczego jest kluczem do projektowego sukcesu.
Śledzenie Głębokości Przewijania (Scroll Depth Tracking): czym jest i jakie przynosi korzyści na stronie
3 cze 2025
Efektywne monitorowanie zachowań użytkowników na stronie internetowej to kluczowy element optymalizacji konwersji. Śledzenie głębokości przewijania, zwane także Scroll Depth Tracking, daje możliwość dokładnej analizy, jak głęboko odwiedzający przewijają Twoją stronę. To narzędzie otwiera nowe perspektywy dla właścicieli stron internetowych, umożliwiając precyzyjne mierzenie zaangażowania użytkowników i dostosowywanie treści do ich preferencji.
OpenAI Codex CLI: Programowanie z pomocą sztucznej inteligencji
2 cze 2025
Sztuczna inteligencja coraz śmielej wkracza w świat programowania, oferując nowe sposoby pracy z kodem. Jednym z najbardziej obiecujących narzędzi w tym obszarze jest OpenAI Codex CLI - interfejs wiersza poleceń, który pozwala tworzyć, analizować i modyfikować kod przy pomocy języka naturalnego.
Zobacz wszystkie artykuły