Celery

Celery to oprogramowanie typu open source, które służy do implementacji asynchronicznej kolejki zadań. Choć jest napisane w języku Python, można je wykorzystywać w dowolnym języku programowania. Kolejka zadań, oparta o rozproszone przesyłanie wiadomości, choć w głównej mierze skupia się na funkcjonowaniu w czasie rzeczywisty, umożliwia także wykonywanie z góry zaplanowanych operacji. Jest pewnego rodzaju mechanizmem, który zajmuje się organizacją i dystrybucją pracy pomiędzy wątkami lub maszynami. Jej dane wejściowe w Celery tworzą jedną jednostkę pracy nazywaną zadaniem. Oprogramowanie nieustannie monitoruje kolejkę i sprawdza, czy nie ma kolejnych zadań do uruchomienia na jednym lub kilku serwerach jednocześnie przy użyciu przetwarzania wieloprocesowego. Umożliwia również delegowanie zadań długotrwałych w trakcie szybkiego odpowiadania na żądanie. A zatem może obsługiwać takie zadania, jak wysłanie e-maili do konkretnego użytkownika lub też aktualizować dane wewnętrznie w swoim systemie po zakończeniu danego zadania.

Celery – kolejka zadań oparta na rozproszonych wiadomościach

 Celery wykorzystuje wiadomości w procesie komunikowania klasycznego modelu producer/consumer. Zarówno producenci (system zajmujący się umieszczeniem zadania w kolejce zadań), jak i konsumenci (pracownicy/użytkownicy) sprawdzają początek kolejki zadań pod kątem oczekujących zadań, a następnie wybierają i wykonują pierwsze z nich. Kolejka zadań, która pośredniczy w komunikacji pomiędzy producentem a konsumentem to tzw. broker. Dodatkowo pracownicy sami mogą dodawać nowe zadania do kolejki, dlatego też mogą pełnić funkcję producenta.
Celery zajmuje się całą logiką sterującą projektem, a przy tym jest oprogramowaniem łatwym i szybkim w konfiguracji. Zawiera szereg narzędzi automatyzujących i ułatwiających monitorowanie kolejki zadań. Co więcej, jest łatwe do integracji z Django, Flask czy Pylons. Umożliwia także zmianę swojego zachowania lub rozszerzenie funkcjonalności poprzez stosowanie przez programistów odpowiednich webhooks, które oznaczają tu niestandardowe wykonania zwrotne. Dodatkowo elementy webhooks korzystają z protokołu HTTP, co pozwala na ich integracje z usługami sieciowymi bez tworzenia nowych struktur w Celery. Ze względu na fakt, że kolejki zadań związane z implementacją nie należy do najprostszych części Pythona, zrozumienie tego narzędzia może być trudne dla początkujących programistów.