logo
  • Proces
  • Case studies
  • Blog
  • O nas
Napisz do nas
  1. Strona główna

  2. /

    Blog

  3. /

    Scrapy

Scrapy

3 minuty czytania

Tomasz Kozon

Scrapy to framework open source napisany w języku Python, służący do przetwarzania danych z witryn internetowych. Jest to narzędzie przeznaczone dla web scraping, czyli automatyzowanego pobierania danych z witryn internetowych.

Spis treści

Czym jest scrapowanie stron?

Co to jest Scrapy?

Scrapy Spider

Parse – jak przetwarzać dane?

Zarządzanie sesjami i cookies

Scrapy i XPath – wydobywanie danych ze stron

Scrapy ikona

Często programując korzystamy z dostępnych API, które dostarczają nam potrzebne dane do naszej aplikacji. Przykładowo budując aplikację, która będzie nam ukazywać aktualną pogodę, musimy skądś te dane wziąć i najczęściej korzystamy z dostępnych API na rynku, ale co w przypadku kiedy nie znajdziemy interesującego nas API. Właśnie w takim przypadku warto rozważyć, scrapowanie stron. W tym artykule przedstawię właśnie narzędzie, które pomoże nam w scrapowaniu stron.

scrapy

Czym jest scrapowanie stron?

Scrapowanie stron jest to nic innego niż wyciąganie jakiejś zawartości strony i zapisywanie tych danych w celu np. wykorzystania ich w swojej aplikacji. Scrapowanie stron wykorzystują takie serwisy jak np. ceneo, google, czy też portale zbierające oferty pracy z innych portali. Pamiętajmy, że to co robimy później z takimi danymi może być czasami nielegalne.

 

Czy szukasz wykonawcy Scrapy ?
logo
Sprawdź case studies

Co to jest Scrapy?

Scrapy jest frameworkiem do języka Python i jest on najpopularniejszym i najbardziej rozbudowanym narzędziem do scrapowania stron internetowych. Scrapy dostarcza wszystkie niezbędne narzędzia potrzebne do efektywnego wydobywania danych ze stron, przetwarzania ich i przechowywania w preferowanej strukturze i formacie. Scrapy jest łatwy do użycia, posiada obsługę żądań asynchronicznych, a ponadto automatycznie dostosowuje prędkość indeksowania za pomocą mechanizmu “Auto-throttling”.

 

Scrapy Spider

Najważniejszą częścią w Scrapy są klasy Spider. Scrapy używa ich do zbierania informacji ze strony internetowej. Definiują one w jaki sposób nasz Spider ma wydobywać dane ze strony.

 

Przykładowa klasa Spidera, która wydobywa cytaty ze strony.

 

import scrapy
class QuotesSpider(scrapy.Spider):
    name = 'quotes'
    start_urls = [
        'https://quotes.toscrape.com/tag/humor/',
    ]
    def parse(self, response):
        for quote in response.css('div.quote'):
            yield {
                'author': quote.xpath('span/small/text()').get(),
                'text': quote.css('span.text::text').get(),
            }
        next_page = response.css('li.next a::attr("href")').get()
        if next_page is not None:
            yield response.follow(next_page, self.parse)

 

Taki kod zapisujemy do pliku “quotes_spider.py” i odpalamy naszego bota do scrapowania komendą:

 

scrapy runspider quotes_spider.py -o quotes.jl

 

Kiedy nasz bot skończy swoją pracę powinniśmy otrzymać plik “quotes.jl”, który będzie zawierać listę cytatów zapisanych w formacie json.

 

{"author": "Jane Austen", "text": "\u201cThe person, be it gentleman or lady, who has not pleasure in a good novel, must be intolerably stupid.\u201d"}
{"author": "Steve Martin", "text": "\u201cA day without sunshine is like, you know, night.\u201d"}
{"author": "Garrison Keillor", "text": "\u201cAnyone who thinks sitting in church can make you a Christian must also think that sitting in a garage can make you a car.\u201d"}
...

 

Parse – jak przetwarzać dane?

Scrapy oferuje elastyczne metody przetwarzania danych pobranych z witryn internetowych. Kluczowym elementem tego procesu jest metoda parse, która analizuje odpowiedź zwróconą przez serwer i pozwala na wydobycie interesujących informacji. Scrapy automatycznie obsługuje żądania HTTP i przekazuje odpowiedź do tej metody, gdzie można ją przetwarzać według własnych potrzeb. Metoda parse pozwala na nawigowanie po strukturze strony oraz wybieranie konkretnych elementów za pomocą narzędzi takich jak XPath czy CSS Selectors. Możliwe jest także generowanie kolejnych żądań do innych podstron oraz przechowywanie danych w formatach takich jak JSON czy CSV. Dzięki temu Scrapy jest potężnym narzędziem do scrapowania i automatycznej ekstrakcji informacji z dużych zbiorów danych.

 

Zarządzanie sesjami i cookies

Podczas scrapowania stron internetowych często konieczne jest zarządzanie sesjami i plikami cookies, które pozwalają na utrzymanie stanu użytkownika. Wiele stron wymaga autoryzacji lub śledzi aktywność użytkownika za pomocą plików cookie, dlatego prawidłowa ich obsługa w Scrapy jest kluczowa.

 

Scrapy automatycznie przechowuje i przesyła pliki cookie dla każdej domeny, co ułatwia scrapowanie stron, które wymagają zalogowania lub utrzymania sesji. Możliwe jest także ręczne zarządzanie plikami cookie poprzez modyfikowanie nagłówków żądań, co daje większą kontrolę nad interakcją ze stroną. W bardziej zaawansowanych przypadkach można korzystać z pośredników (middleware), aby dostosować zachowanie frameworka do specyficznych wymagań serwera docelowego.

SPRAWDŹ SWOJĄ WIEDZE Z TEMATU scrapy

Pytanie

 1/5

Jakiej klasy należy użyć jako podstawy podczas definiowania nowej pająkowej klasy w Scrapy?

Jakiej metody należy użyć do zdefiniowania, jakie żądania HTTP powinny zostać wysłane przez pająka Scrapy?

Jaką klasę powinno się użyć, aby zdefiniować niestandardowy element środkowy (middleware) w Scrapy?

Jaka metoda Scrapy służy do wyodrębniania danych z odpowiedzi HTTP i przekazania ich do potoku?

Jak nazywa się wbudowany selektor CSS w Scrapy, który ułatwia wyodrębnianie danych z dokumentów HTML?

Scrapy i XPath – wydobywanie danych ze stron

XPath to jedno z najpotężniejszych narzędzi do nawigacji po strukturze stron HTML i XML. W Scrapy można go wykorzystać do precyzyjnego wydobywania danych, takich jak teksty, linki, obrazy czy atrybuty elementów. XPath pozwala na poruszanie się po drzewie DOM strony internetowej i selektywne wybieranie tylko tych fragmentów kodu, które są istotne dla analizy.

 

Dzięki XPath możliwe jest filtrowanie elementów na podstawie ich atrybutów, pozycji w strukturze dokumentu lub zawartości tekstowej. To szczególnie przydatne przy pracy ze stronami o skomplikowanej budowie, gdzie tradycyjne selektory CSS mogą nie być wystarczająco precyzyjne. W połączeniu z Scrapy, XPath pozwala na efektywne pobieranie danych z dynamicznych i statycznych stron internetowych, co czyni go niezwykle przydatnym narzędziem w procesie web scrapingu.

Nasza oferta

Web development

Dowiedz się więcej

Mobile development

Dowiedz się więcej

E-commerce

Dowiedz się więcej

Projektowanie UX/UI

Dowiedz się więcej

Outsourcing

Dowiedz się więcej

SEO

Dowiedz się więcej

Powiązane artykuły

Web scraping - co to jest i jak działa?

23 maj 2023

Web scraping to technika pozyskiwania danych z stron internetowych. Polega na przeszukiwaniu kodu HTML i wyodrębnieniu żądanych informacji. Najczęściej stosuje się ją w celach badawczych lub biznesowych. Istnieją specjalne narzędzia ułatwiające tę pracę, ale proces może być też wykonany ręcznie.

Tomasz Kozon
#bigdata
related-article-image-web scraping

AI Mode - nowa era inteligentnej automatyzacji

13 paź 2025

Sztuczna inteligencja przestaje być futurystycznym hasłem, a staje się realnym narzędziem, które rewolucjonizuje sposób, w jaki pracujemy, uczymy się i żyjemy. AI Mode to nowy etap tej transformacji - inteligentny tryb działania, który potrafi nie tylko wykonywać polecenia, ale też samodzielnie analizować dane, przewidywać potrzeby i wspierać użytkownika w podejmowaniu decyzji. Dzięki niemu technologia staje się partnerem, a nie tylko narzędziem, pomagając osiągać większą efektywność i kreatywność.

Tomasz Kozon
#ai

Jak Crashlytics pomaga utrzymać jakość aplikacji?

12 paź 2025

Utrzymanie wysokiej jakości aplikacji mobilnej to nie lada wyzwanie - nawet najlepiej zaprojektowany produkt może zawieść, jeśli pojawią się błędy, które frustrują użytkowników. Każdy crash to nie tylko problem techniczny, ale też ryzyko utraty zaufania i obniżenia ocen w sklepach z aplikacjami. Dlatego tak ważne jest, by zespół deweloperski mógł szybko wykrywać i analizować awarie w czasie rzeczywistym. Właśnie w tym pomaga Firebase Crashlytics - potężne narzędzie od Google, które pozwala kontrolować stabilność aplikacji i skutecznie dbać o jej jakość na każdym etapie rozwoju.

Tomasz Kozon
#testing

Bento grid: prosty sposób na czytelny i nowoczesny layout

11 paź 2025

W świecie projektowania cyfrowego coraz większą popularność zdobywa Bento grid – nowoczesny sposób prezentowania treści inspirowany japońskim pudełkiem bento. Dzięki modularnemu układowi, strony i aplikacje stają się bardziej czytelne, estetyczne i intuicyjne w obsłudze. To rozwiązanie pozwala uporządkować informacje w atrakcyjny wizualnie sposób, jednocześnie podkreślając najważniejsze elementy.

Tomasz Kozon
#web-design

Medusa.js – elastyczna alternatywa dla Shopify i innych e-commerce

10 paź 2025

E-commerce rozwija się w błyskawicznym tempie, a firmy coraz częściej poszukują rozwiązań, które dadzą im większą elastyczność niż klasyczne platformy SaaS. Shopify czy WooCommerce świetnie sprawdzają się na starcie, ale szybko okazuje się, że mają swoje ograniczenia – zarówno kosztowe, jak i technologiczne. W odpowiedzi na te wyzwania powstała Medusa.js – nowoczesny framework open-source, który łączy zalety architektury headless z pełną kontrolą nad kodem i danymi. To alternatywa, która daje biznesom możliwość tworzenia skalowalnych, spersonalizowanych sklepów dopasowanych do indywidualnych potrzeb.

Tomasz Kozon
#fullstack

Conversion Rate Optimization – sztuka optymalizowania doświadczeń użytkownika

9 paź 2025

W świecie marketingu cyfrowego każda sekunda uwagi użytkownika ma znaczenie, a każda interakcja może zadecydować o sukcesie lub porażce marki. Conversion Rate Optimization (CRO) to sztuka i nauka jednocześnie - proces, który łączy analizę danych, psychologię użytkownika i projektowanie doświadczeń, aby maksymalnie wykorzystać potencjał ruchu na stronie. Nie chodzi jedynie o zwiększanie liczby kliknięć czy zakupów, ale o tworzenie takich doświadczeń, które są intuicyjne, angażujące i wiarygodne.

Tomasz Kozon
#marketing

Perceptual Design: Jak projektować z myślą o ludzkich zmysłach

8 paź 2025

W świecie przeładowanym bodźcami wizualnymi i informacyjnymi to, co naprawdę przyciąga uwagę, to doświadczenie, które czujemy. Perceptual Design to podejście do projektowania, które wychodzi poza estetykę i funkcjonalność, skupiając się na tym, jak człowiek postrzega świat poprzez swoje zmysły. Łączy wiedzę z psychologii, neuronauki i sztuki, by tworzyć produkty, które są naturalne, intuicyjne i emocjonalnie angażujące. To sposób projektowania, który nie tylko wygląda dobrze - ale odpowiada temu, jak naprawdę działa ludzki mózg.

Tomasz Kozon
#web-design

Zobacz wszystkie artykuły

Boring Owl Logo

Napisz do nas

Zadzwoń

+48 509 280 539

Oferta

  • Web Development

  • Mobile Development

  • UI/UX Design

  • E-commerce

  • Outsourcing

  • SEO

Menu

  • O nas

  • Case studies

  • FAQ

  • Blog

  • Kariera

  • Kontakt

Software House

  • Software House Warszawa

  • Software House Katowice

  • Software House Lublin

  • Software House Kraków

  • Software House Wrocław

  • Software House Łódź

 

  • Software House Poznań

  • Software House Gdańsk

  • Software House Białystok

  • Software House Gliwice

  • Software House Trójmiasto

Agencje SEO

  • Agencja SEO Warszawa

  • Agencja SEO Kraków

  • Agencja SEO Wrocław

  • Agencja SEO Poznań

  • Agencja SEO Gdańsk

  • Agencja SEO Toruń

© 2025 – Boring Owl – Software House Warszawa

  • adobexd logo
    adobexd
  • algolia logo
    algolia
  • amazon-s3 logo
    amazon-s3
  • android logo
    android
  • angular logo
    angular
  • api logo
    api
  • apscheduler logo
    apscheduler
  • argocd logo
    argocd
  • astro logo
    astro
  • aws-amplify logo
    aws-amplify
  • aws-cloudfront logo
    aws-cloudfront
  • aws-lambda logo
    aws-lambda
  • axios logo
    axios
  • azure logo
    azure
  • bash logo
    bash
  • bootstrap logo
    bootstrap
  • bulma logo
    bulma
  • cakephp logo
    cakephp
  • celery logo
    celery
  • chartjs logo
    chartjs
  • clojure logo
    clojure
  • cloudflare logo
    cloudflare
  • cloudinary logo
    cloudinary
  • cms logo
    cms
  • cobol logo
    cobol
  • contentful logo
    contentful
  • coolify logo
    coolify
  • cpython logo
    cpython
  • css3 logo
    css3
  • django logo
    django
  • django-rest logo
    django-rest
  • docker logo
    docker
  • drupal logo
    drupal
  • dynamodb logo
    dynamodb
  • elasticsearch logo
    elasticsearch
  • electron logo
    electron
  • expo-io logo
    expo-io
  • express-js logo
    express-js
  • fakerjs logo
    fakerjs
  • fastapi logo
    fastapi
  • fastify logo
    fastify
  • figma logo
    figma
  • firebase logo
    firebase
  • flask logo
    flask
  • flutter logo
    flutter
  • gatsbyjs logo
    gatsbyjs
  • ghost-cms logo
    ghost-cms
  • google-cloud logo
    google-cloud
  • graphcms logo
    graphcms
  • graphql logo
    graphql
  • groovy logo
    groovy
  • gtm logo
    gtm
  • gulpjs logo
    gulpjs
  • hasura logo
    hasura
  • headless-cms logo
    headless-cms
  • heroku logo
    heroku
  • html5 logo
    html5
  • httpie logo
    httpie
  • i18next logo
    i18next
  • immutablejs logo
    immutablejs
  • imoje logo
    imoje
  • ios logo
    ios
  • java logo
    java
  • javascript logo
    javascript
  • jekyll logo
    jekyll
  • jekyll-admin logo
    jekyll-admin
  • jenkins logo
    jenkins
  • jquery logo
    jquery
  • json logo
    json
  • keras logo
    keras
  • keystone5 logo
    keystone5
  • kotlin logo
    kotlin
  • kubernetes logo
    kubernetes
  • laravel logo
    laravel
  • lodash logo
    lodash
  • magento logo
    magento
  • mailchimp logo
    mailchimp
  • material-ui logo
    material-ui
  • matlab logo
    matlab
  • maven logo
    maven
  • miro logo
    miro
  • mockup logo
    mockup
  • momentjs logo
    momentjs
  • mongodb logo
    mongodb
  • mysql logo
    mysql
  • nestjs logo
    nestjs
  • net logo
    net
  • netlify logo
    netlify
  • next-js logo
    next-js
  • nodejs logo
    nodejs
  • npm logo
    npm
  • nuxtjs logo
    nuxtjs
  • oracle logo
    oracle
  • pandas logo
    pandas
  • php logo
    php
  • postgresql logo
    postgresql
  • postman logo
    postman
  • prestashop logo
    prestashop
  • prettier logo
    prettier
  • prisma logo
    prisma
  • prismic logo
    prismic
  • prose logo
    prose
  • pwa logo
    pwa
  • python logo
    python
  • python-scheduler logo
    python-scheduler
  • rabbitmq logo
    rabbitmq
  • react-flow logo
    react-flow
  • react-hook-form logo
    react-hook-form
  • react-js logo
    react-js
  • react-native logo
    react-native
  • react-query logo
    react-query
  • react-static logo
    react-static
  • redis logo
    redis
  • redux logo
    redux
  • redux-persist logo
    redux-persist
  • redux-saga logo
    redux-saga
  • redux-thunk logo
    redux-thunk
  • relume logo
    relume
  • restful logo
    restful
  • ruby-on-rails logo
    ruby-on-rails
  • rust logo
    rust
  • rxjs logo
    rxjs
  • saleor logo
    saleor
  • sanity logo
    sanity
  • scala logo
    scala
  • scikit-learn logo
    scikit-learn
  • scrapy logo
    scrapy
  • scrum logo
    scrum
  • selenium logo
    selenium
  • sentry logo
    sentry
  • shodan logo
    shodan
  • shopify logo
    shopify
  • slack logo
    slack
  • sms-api logo
    sms-api
  • socket-io logo
    socket-io
  • solidity logo
    solidity
  • spring logo
    spring
  • sql logo
    sql
  • sql-alchemy logo
    sql-alchemy
  • storyblok logo
    storyblok
  • storybook logo
    storybook
  • strapi logo
    strapi
  • stripe logo
    stripe
  • structured-data logo
    structured-data
  • struts logo
    struts
  • styled-components logo
    styled-components
  • supabase logo
    supabase
  • svelte logo
    svelte
  • swagger logo
    swagger
  • swift logo
    swift
  • symfony logo
    symfony
  • tailwind-css logo
    tailwind-css
  • tensorflow logo
    tensorflow
  • terraform logo
    terraform
  • threejs logo
    threejs
  • twig logo
    twig
  • typescript logo
    typescript
  • vercel logo
    vercel
  • vue-js logo
    vue-js
  • webflow logo
    webflow
  • webpack logo
    webpack
  • websocket logo
    websocket
  • woocommerce logo
    woocommerce
  • wordpress logo
    wordpress
  • yarn logo
    yarn
  • yii logo
    yii
  • zend logo
    zend
  • zeplin logo
    zeplin
  • zustand logo
    zustand