Scrapy
3 minuty czytania
Scrapy to framework open source napisany w języku Python, służący do przetwarzania danych z witryn internetowych. Jest to narzędzie przeznaczone dla web scraping, czyli automatyzowanego pobierania danych z witryn internetowych.
Często programując korzystamy z dostępnych API, które dostarczają nam potrzebne dane do naszej aplikacji. Przykładowo budując aplikację, która będzie nam ukazywać aktualną pogodę, musimy skądś te dane wziąć i najczęściej korzystamy z dostępnych API na rynku, ale co w przypadku kiedy nie znajdziemy interesującego nas API. Właśnie w takim przypadku warto rozważyć, scrapowanie stron. W tym artykule przedstawię właśnie narzędzie, które pomoże nam w scrapowaniu stron.
Czym jest scrapowanie stron?
Scrapowanie stron jest to nic innego niż wyciąganie jakiejś zawartości strony i zapisywanie tych danych w celu np. wykorzystania ich w swojej aplikacji. Scrapowanie stron wykorzystują takie serwisy jak np. ceneo, google, czy też portale zbierające oferty pracy z innych portali. Pamiętajmy, że to co robimy później z takimi danymi może być czasami nielegalne.
Co to jest Scrapy?
Scrapy jest frameworkiem do języka Python i jest on najpopularniejszym i najbardziej rozbudowanym narzędziem do scrapowania stron internetowych. Scrapy dostarcza wszystkie niezbędne narzędzia potrzebne do efektywnego wydobywania danych ze stron, przetwarzania ich i przechowywania w preferowanej strukturze i formacie. Scrapy jest łatwy do użycia, posiada obsługę żądań asynchronicznych, a ponadto automatycznie dostosowuje prędkość indeksowania za pomocą mechanizmu “Auto-throttling”.
Scrapy Spider
Najważniejszą częścią w Scrapy są klasy Spider. Scrapy używa ich do zbierania informacji ze strony internetowej. Definiują one w jaki sposób nasz Spider ma wydobywać dane ze strony.
Przykładowa klasa Spidera, która wydobywa cytaty ze strony.
import scrapy
class QuotesSpider(scrapy.Spider):
name = 'quotes'
start_urls = [
'https://quotes.toscrape.com/tag/humor/',
]
def parse(self, response):
for quote in response.css('div.quote'):
yield {
'author': quote.xpath('span/small/text()').get(),
'text': quote.css('span.text::text').get(),
}
next_page = response.css('li.next a::attr("href")').get()
if next_page is not None:
yield response.follow(next_page, self.parse)
Taki kod zapisujemy do pliku “quotes_spider.py” i odpalamy naszego bota do scrapowania komendą:
scrapy runspider quotes_spider.py -o quotes.jl
Kiedy nasz bot skończy swoją pracę powinniśmy otrzymać plik “quotes.jl”, który będzie zawierać listę cytatów zapisanych w formacie json.
{"author": "Jane Austen", "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"}
{"author": "Steve Martin", "text": "\u201cA day without sunshine is like, you know, night.\u201d"}
{"author": "Garrison Keillor", "text": "\u201cAnyone who thinks sitting in church can make you a Christian must also think that sitting in a garage can make you a car.\u201d"}
...
Parse – jak przetwarzać dane?
Scrapy oferuje elastyczne metody przetwarzania danych pobranych z witryn internetowych. Kluczowym elementem tego procesu jest metoda parse, która analizuje odpowiedź zwróconą przez serwer i pozwala na wydobycie interesujących informacji. Scrapy automatycznie obsługuje żądania HTTP i przekazuje odpowiedź do tej metody, gdzie można ją przetwarzać według własnych potrzeb. Metoda parse pozwala na nawigowanie po strukturze strony oraz wybieranie konkretnych elementów za pomocą narzędzi takich jak XPath czy CSS Selectors. Możliwe jest także generowanie kolejnych żądań do innych podstron oraz przechowywanie danych w formatach takich jak JSON czy CSV. Dzięki temu Scrapy jest potężnym narzędziem do scrapowania i automatycznej ekstrakcji informacji z dużych zbiorów danych.
Zarządzanie sesjami i cookies
Podczas scrapowania stron internetowych często konieczne jest zarządzanie sesjami i plikami cookies, które pozwalają na utrzymanie stanu użytkownika. Wiele stron wymaga autoryzacji lub śledzi aktywność użytkownika za pomocą plików cookie, dlatego prawidłowa ich obsługa w Scrapy jest kluczowa.
Scrapy automatycznie przechowuje i przesyła pliki cookie dla każdej domeny, co ułatwia scrapowanie stron, które wymagają zalogowania lub utrzymania sesji. Możliwe jest także ręczne zarządzanie plikami cookie poprzez modyfikowanie nagłówków żądań, co daje większą kontrolę nad interakcją ze stroną. W bardziej zaawansowanych przypadkach można korzystać z pośredników (middleware), aby dostosować zachowanie frameworka do specyficznych wymagań serwera docelowego.
SPRAWDŹ SWOJĄ WIEDZE Z TEMATU scrapy
Pytanie
1/5
Scrapy i XPath – wydobywanie danych ze stron
XPath to jedno z najpotężniejszych narzędzi do nawigacji po strukturze stron HTML i XML. W Scrapy można go wykorzystać do precyzyjnego wydobywania danych, takich jak teksty, linki, obrazy czy atrybuty elementów. XPath pozwala na poruszanie się po drzewie DOM strony internetowej i selektywne wybieranie tylko tych fragmentów kodu, które są istotne dla analizy.
Dzięki XPath możliwe jest filtrowanie elementów na podstawie ich atrybutów, pozycji w strukturze dokumentu lub zawartości tekstowej. To szczególnie przydatne przy pracy ze stronami o skomplikowanej budowie, gdzie tradycyjne selektory CSS mogą nie być wystarczająco precyzyjne. W połączeniu z Scrapy, XPath pozwala na efektywne pobieranie danych z dynamicznych i statycznych stron internetowych, co czyni go niezwykle przydatnym narzędziem w procesie web scrapingu.
Nasza oferta
Web development
Dowiedz się więcejMobile development
Dowiedz się więcejE-commerce
Dowiedz się więcejProjektowanie UX/UI
Dowiedz się więcejOutsourcing
Dowiedz się więcejPowiązane artykuły
Web scraping - co to jest i jak działa?
23 maj 2023
Web scraping to technika pozyskiwania danych z stron internetowych. Polega na przeszukiwaniu kodu HTML i wyodrębnieniu żądanych informacji. Najczęściej stosuje się ją w celach badawczych lub biznesowych. Istnieją specjalne narzędzia ułatwiające tę pracę, ale proces może być też wykonany ręcznie.

Branded residences – co to jest i jak technologia zmienia rynek luksusowych nieruchomości?
2 wrz 2025
Rynek nieruchomości luksusowych dynamicznie się rozwija, a jednym z najciekawszych trendów ostatnich lat są tzw. branded residences, czyli apartamenty i domy sygnowane przez prestiżowe marki. Łączą one komfort prywatnego życia z udogodnieniami charakterystycznymi dla pięciogwiazdkowych hoteli, odpowiadając na rosnące potrzeby najbardziej wymagających klientów. Kluczową rolę w ich rozwoju odgrywa również technologia – od inteligentnych systemów zarządzania budynkami, przez rozwiązania smart home, aż po cyfrowe usługi concierge.
Voiceboty w biznesie: jak automatyzacja rozmów zmienia obsługę klienta
1 wrz 2025
Ewolucja obsługi klienta w dzisiejszych czasach, przeradza się w coraz bardziej zaawansowane procesy. Kluczową rolę odgrywają w tym Voiceboty, które wprowadzają innowacyjny wymiar do automatyzacji biznesowej. Pozwalają one na usprawnienie komunikacji i oszczędzenie cennego czasu, stając się nieodłącznym elementem nowoczesnych firm.
Czym jest Google Meridian?
1 wrz 2025
W świecie marketingu precyzyjny pomiar skuteczności działań staje się coraz większym wyzwaniem. Zmiany w regulacjach prawnych, odchodzenie od plików cookies i rosnąca złożoność kanałów komunikacji sprawiają, że tradycyjne metody analizy przestają wystarczać. Odpowiedzią na te problemy jest Google Meridian – nowoczesne, otwartoźródłowe narzędzie do Marketing Mix Modeling (MMM), które łączy zaawansowaną analitykę z podejściem privacy-first.
Document Abstraction: co to jest i jak działa?
31 sie 2025
W dzisiejszym świecie zalewanym przez ogromne ilości danych coraz trudniej jest dotrzeć do naprawdę istotnych informacji. Długie raporty, obszerne dokumenty prawne czy złożone publikacje naukowe wymagają czasu i wysiłku, by je przeanalizować. Rozwiązaniem tego problemu staje się Document Abstraction, czyli inteligentne streszczanie i przekształcanie treści z użyciem sztucznej inteligencji.
Project Mariner – agent AI od Google, który przejmuje kontrolę nad Twoją przeglądarką
30 sie 2025
Sztuczna inteligencja coraz mocniej wkracza w nasze codzienne życie, a Google właśnie zapowiada projekt, który może całkowicie zmienić sposób korzystania z internetu. Project Mariner to agent AI wbudowany w przeglądarkę, zdolny do samodzielnego wykonywania wielu zadań, które do tej pory wymagały naszej uwagi. Od wyszukiwania informacji, przez zakupy online, aż po organizację pracy – Mariner ma działać jak inteligentny operator internetu. Czy to przełom, który odciąży użytkowników, czy też kolejny krok ku oddaniu zbyt dużej kontroli w ręce technologii?
Google Tag Gateway – czym jest i jak poprawia skuteczność śledzenia danych?
29 sie 2025
W świecie marketingu internetowego coraz trudniej jest zbierać pełne i wiarygodne dane o użytkownikach. Coraz więcej przeglądarek i rozszerzeń blokuje standardowe tagi analityczne oraz reklamowe, co prowadzi do zaniżonych raportów i utraty części konwersji. Google, chcąc odpowiedzieć na te wyzwania, wprowadziło rozwiązanie o nazwie Google Tag Gateway. To prosta w implementacji technologia, która pozwala serwować tagi z własnej domeny i dzięki temu zwiększać skuteczność śledzenia bez kosztownych wdrożeń serwerowych.
Zobacz wszystkie artykuły