Асинхронность и Celery в Python

Celery что это и какую роль он выполняет в мире разработки? Об этом мы расскажем в сегодняшнем материале.

Celery – это инструмент, который выполняет задачи в асинхронном режиме в Python-приложениях. Иными словами, программа выступает в роли посредника, обеспечивая параллельное выполнение операций, не отнимая при этом ценные ресурсы основного потока выполнения.

Впервые она была выпущена в 2009 году и с тех пор стала одним из самых популярных инструментов для асинхронной обработки задач в Python. Используется в широком спектре проектов, от небольших веб-приложений до крупных корпоративных систем. Важным моментом в истории данной программы является ее способность эффективно внедряться в разнообразные проекты, предоставляя программистам возможность сосредоточиться на решении конкретных задач, а не на организации асинхронного выполнения. Сочетание гибкости, стабильности и активной поддержки сделало ее незаменимым инструментом для разработчиков.

Напомним, что если вы только начинаете свой путь в программировании или желаете расширить свой набор навыков, обратите внимание на два практических курса: «Python для начинающих» (https://foxminded.ua/python-1/) и «Python с нуля» (https://foxminded.ua/python-start-1/) от компании FoxmindEd.

Основные концепции и архитектура 

Celery оперирует на основе трех ключевых компонентов: worker, broker и task. 

• Worker — это процесс или поток, который фактически выполняет задачи. Он подключается к брокеру (broker) и ожидает поступления задач для выполнения. Воркер принимает задачи из очереди и обрабатывает их асинхронно.
• Broker — это посредник между отправителем задач и исполнителем (рабочим, воркером). Он принимает задачи от отправителя, хранит их в очереди и передает рабочим для выполнения. Популярные брокеры — RabbitMQ и Redis. Эффективная работа брокера — ключевая для координации задач и распределенной обработки.
• Task — представляет собой асинхронную операцию, которую необходимо выполнить. Это может быть вызов функции, выполнение определенного кода или другие типы работы. Задачи (таски) определяются в коде приложения и отправляются на выполнение Celery.

Архитектура Celery создана для того, чтобы обрабатывать задачи децентрализованно. Это означает, что система может масштабироваться горизонтально, добавляя рабочие единицы при необходимости. Также она предоставляет возможность создавать несколько очередей, что придает гибкость в управлении различными типами задач. Разработчики же могут эффективно организовывать и структурировать задачи в зависимости от их приоритета и типа.

Благодаря своей распределенной природе, система может легко адаптироваться к высоким нагрузкам и обеспечивать надежное выполнение задач. При необходимости можно добавлять новых брокеров и рабочих, что делает систему более масштабируемой и устойчивой.

Установка и настройка 

Чтобы установить программу, вы можете использовать менеджер пакетов pip:

pip install celery

После установки вам необходимо настроить брокер сообщений. Наиболее популярными являются RabbitMQ и Redis.

Для настройки RabbitMQ, используйте конфигурационный файл:

CELERY_BROKER_URL = 'amqp://guest:guest@localhost:5672//'

Чтобы настроить Redis:

CELERY_BROKER_URL = 'redis://localhost:6379/0'

Выбор брокера зависит от требований проекта и инфраструктуры. Убедитесь, что брокер правильно настроен, чтобы Celery мог эффективно обрабатывать ваши задачи.

Создание и выполнение задач 

Как же определить задачи и настроить их выполнение в Celery?

1. В вашем файле с задачами (tasks.py), определите функции, которые будут выполняться асинхронно. Используйте декоратор @app.task для указания, что это задача Celery.

from celery import Celery

app = Celery('your_app', broker='your_broker_url')

@app.task

def add(x, y):

    return x + y

2. В основном коде вашего приложения, где нужно выполнить задачу, импортируйте функцию и вызывайте ее, используя метод .delay():

from tasks import add

result = add.delay(4, 5)

Метод .delay() отправляет задачу брокеру для асинхронного выполнения.

Приведем примеры кода для создания простых и периодических задач…

Простая задача (выполняют простейшие математические операции):

@app.task

def simple_task(arg):

    # Paste your code to complete the task, for example:

    result = arg * 2

    return result?

Celery позволяет также выполнять задачи по расписанию. Периодическая задача:

from celery.schedules import crontab

@app.task

def periodic_task():

   # Paste your code to perform a periodic task

    result = "Result of periodic task"

    return result

Если же это настройка периодического выполнения, то:

app.conf.beat_schedule = {

    'run-every-midnight': {

        'task': 'periodic_task',

        'schedule': crontab(minute=0, hour=0),

    },

}

Здесь crontab(minute=0, hour=0) означает, что задача будет выполняться каждую полночь.

Эти примеры демонстрируют базовые шаги по определению и запуску задач в Celery. Важно помнить, что асинхронные задачи облегчают обработку тяжеловесных операций без блокировки основного потока выполнения вашего приложения.

Мониторинг и управление задачами

Программа предоставляет несколько инструментов и техник для эффективного мониторинга задач и работников.

• Flower: это веб-интерфейс для мониторинга и управления Celery. Он предоставляет графики и статистику выполнения задач, а также позволяет динамически управлять очередями и работниками через веб-интерфейс.

• Метрики и логи: вы можете интегрировать программу с инструментами мониторинга, такими как Prometheus и Grafana, чтобы визуализировать и анализировать метрики. Логирование также играет важную роль в отслеживании действий ваших задач и работников.

Celery также предоставляет несколько возможностей для управления задачами. Рассмотрим их:

• Отмена задач: если задача долгая или необходимо отменить ее выполнение, программа предоставляет механизм отмены задач. При создании задачи можно получить ее идентификатор, который затем может быть использован для ее отмены.

FoxmindEd — это учебный центр с большим выбором направлений курсов для новичков и программистов с опытом!

Начинаете свой путь в IТ? Попробуйте курсы Start

Имеете базовые навыки программирования? Тогда вам на курсы Junior

Хотите углубить свои знания в IТ? У нас есть курсы Middle/Senior

• Повторение задач: если задача завершилась с ошибкой или требуется повторить ее выполнение, происходит ее перезапуск. Это можно сделать, передавая те же самые аргументы, которые использовались при первоначальном запуске.

• Логирование: это облегчает отслеживание выполнения задач и выявление возможных проблем. Логи можно настроить для записи в различные источники, такие как файлы, консоль или централизованные системы логирования.

Эти инструменты и техники позволяют эффективно мониторить выполнение задач и работников Celery, а также управлять задачами в зависимости от потребностей проекта.

Продвинутое использование 

Celery предоставляет широкий спектр возможностей для продвинутого использования. Вот некоторые из них:

• Маршрутизация задач — позволяет отправлять задачи на определенные рабочие процессы, что особенно полезно в случаях, когда некоторые задачи требуют специализированных ресурсов или обработки. Например, вы можете направить задачи на обработку изображений определенному набору рабочих процессов, обладающих нужными ресурсами.
• Цепочки задач — позволяют определить последовательность задач, где результат одной задачи становится входными данными для следующей. Это облегчает структурирование сложных операций, разбивая их на более мелкие и управляемые задачи.
• Очереди — предоставляют механизм для организации и управления задачами, что полезно в сценариях с различными приоритетами или типами задач. Например, задачи с высоким приоритетом могут быть помещены в отдельную очередь для более быстрого выполнения.

Celery можно интегрировать с другими сервисами и фреймворками. Это может быть полезно для расширения ее возможностей или для ее интеграции с существующими системами. Например:

• RabbitMQ: используется для обработки сложных сценариев.
• Redis: хорош для быстрого и простого внедрения
• Django: может быть интегрирован для асинхронной обработки задач веб-приложений.
• Flask: используется для обработки фоновых задач в Flask-приложении.

Лучшие практики и оптимизация

Чтобы обеспечить максимальную производительность и надежность Celery, рекомендуется следовать рекомендациям:

• Используйте эффективный брокер сообщений.
• Оптимизируйте код задач.
• Используйте пулы рабочих процессов.
• Используйте мониторинг и управление.

При работе с программой могут возникнуть следующие проблемы:

• Производительность: работа программы может быть медленной, если не использовать эффективный брокер сообщений и оптимизированный код задач, а также — пулы рабочих процессов.
• Надежность: Celery может быть ненадежным, если не использовать пулы рабочих процессов и не проводить мониторинг и управление. 
• Безопасность: могут быть вопросы и с безопасностью, если не использовать ее правильные настройки.

Примеры из реальной жизни и кейс-стади

В веб-приложениях, таких как SaaS сервисы, часто возникают задачи, которые должны быть выполнены в определенное время или по расписанию. Например, отправка пользователю напоминания, завершение пробного периода аккаунта или автоматическая публикация постов в социальных сетях.

В Celery существует возможность указать параметр ETA при вызове задачи, который определяет время запуска задачи. Однако, при планировании задач таким образом, существует некоторая ненадежность, поскольку задачи могут не запуститься или стать трудноотменяемыми.

Какое же тогда здесь решение?

Более надежный и удобный подход заключается в использовании расписания celerybeat. Это позволяет создать расписание, содержащее задачи, которые выполняются с определенной периодичностью или в конкретное время.

Например, задача для автоматической публикации постов в социальных сетях может запускаться каждую минуту, тогда как задача завершения пробного периода аккаунта может быть запланирована на ежедневное выполнение.

Таким образом, Celery в совокупности с celerybeat обеспечивает надежное и эффективное выполнение задач по расписанию в веб-приложениях на Django.

Заключение

Как видим, Celery играет ключевую роль в обеспечении асинхронной обработки задач в мире Python. Она является мощным инструментом, который может значительно улучшить производительность и отзывчивость приложений. Соответственно, ее изучение и правильное использование может быть полезным для любого разработчика Python, который хочет создавать высокопроизводительные и масштабируемые приложения.