django中使用celery简单介绍 (3)

本章节我们重点在于实现,如何存储任务的结果.
我们将任务函数改为:

from celery_demo.celery import app
import time


# 加上app对象的task装饰器
# 此函数为任务函数
@app.task
def my_task():
    print("正在紧张处理任务....")
    time.sleep(5)
    # 返回任务执行结果
    return 100

此处需要用到额外包django_celery_results, 先安装包:

pip install django-celery-results

在celery_demo/settings.py中安装此应用:

INSTALLED_APPS = [
    'django.contrib.admin',
    'django.contrib.auth',
    'django.contrib.contenttypes',
    'django.contrib.sessions',
    'django.contrib.messages',
    'django.contrib.staticfiles',
    'demo',
    '**django_celery_results',  # 注意此处应用名为下划线**
]

回到celery_demo/celery.py模块中,增加配置信息如下:

from celery import Celery
from django.conf import settings
import os

# 为celery设置环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celery_demo.settings')

# 创建应用
app = Celery("demo")
# 配置应用
app.conf.update(
    # 配置broker, 这里我们用redis作为broker
    BROKER_URL='redis://:332572@127.0.0.1:6379/1',
    **# 使用项目数据库存储任务执行结果
    CELERY_RESULT_BACKEND='django-db',**

)
# 设置app自动加载任务
# 从已经安装的app中查找任务
app.autodiscover_tasks(settings.INSTALLED_APPS)

创建django_celery_results应用所需数据库表, 执行迁移文件:

python manage.py migrate django_celery_results

a.png

我这里使用的是django默认的数据库sqlit, 执行迁移之后,会在数据库中创建一张用来存储任务结果的表()

a.png
a.png

再次从浏览器发送请求, 任务执行结束之后,将任务结果保存在数据库中:

a.png

django中使用celery简单介绍 (2)

本章节我们在django中去使用celery.创建项目celery_demo, 创建应用demo:

django-admin startproject celery_demo
python manage.py startapp demo

项目结构为:

a.png

在celery_demo模块中创建celery.py模块, 文件目录为:

a.png

celery.py模块内容为:

from celery import Celery
from django.conf import settings
import os

# 为celery设置环境变量
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'celery_demo.settings')

# 创建应用
app = Celery("demo")
# 配置应用
app.conf.update(
    # 配置broker, 这里我们用redis作为broker
    BROKER_URL='redis://:332572@127.0.0.1:6379/1',
)
# 设置app自动加载任务
# 从已经安装的app中查找任务
app.autodiscover_tasks(settings.INSTALLED_APPS)

在应用demo包中创建tasks.py模块, 文件目录为:

a.png

我们在文件内创建一个任务函数my_task:

from celery_demo.celery import app
import time


# 加上app对象的task装饰器
# 此函数为任务函数
@app.task
def my_task():
    print("任务开始执行....")
    time.sleep(5)
    print("任务执行结束....")

在views.py模块中创建视图index:

from django.shortcuts import render
from django.http import HttpResponse
from .tasks import my_task


def index(request):

# 将my_task任务加入到celery队列中
# 如果my_task函数有参数,可通过delay()传递
# 例如 my_task(a, b), my_task.delay(10, 20)
    my_task.delay()

    return HttpResponse("<h1>服务器返回响应内容!</h1>")

在celey_demo/settings.py配置视图路由:

from django.conf.urls import url
from django.contrib import admin
from demo.views import index

urlpatterns = [
    url(r'^admin/', admin.site.urls),
    url(r'^$', index),
]

创建worker等待处理celery队列中任务, 在终端执行命令:

celery -A celery_demo worker -l info

a.png

启动django测试服务器:

python manage.py runserver

a.png

django中使用celery简单介绍 (1)

Celery 是一个简单、灵活且可靠的,处理大量消息的分布式系统。
为什么需要这样的一个工具?

a.png

如果服务器端处理注册任务耗时比较长,客户端就会迟迟拿不到本次请求的结果,用户体验很不好。那么如何做更好一些?

a.png

我们可将耗时任务放到后台去执行,也就是异步执行。不会影响用户其他操作。如何实现异步执行任务呢?我们可使用celery. celery除了刚才所涉及到的异步执行任务之外,还可以实现定时处理某些任务。

Celery 是用 Python 编写的,但协议可以用任何语言实现。迄今,已有 Ruby 实现的 RCelery 、node.js 实现的 node-celery 以及一个 PHP 客户端。

celery是如何工作的呢?

a.png

我们将耗时的任务扔到celery的任务队列中,这个任务队列我们叫做broker,我们可以用redis, rabbitmq,数据库都可以扮演这个broker中间人的角色。然后由worker, 也就是真正从队列中拿走任务并处理的这个角色,我们可以指派worker来处理队列中的任务。

Python文件操作

1 概述

  • 什么是文件

文件是信息的集合,在计算机中,信息是保存在硬盘中的,并以文件为单位。

  • 文件类型

计算机保存的是二进制数据,它的意义是人为定义的。一种定义称之为一种文件类型。常见的文件有文本文件(txt)、图片(jpg, png)、视频(mp4)、其他文档格式(xls/doc)等等,并且以后缀来表示文件类型。

  • 文件的路径

在计算机中,使用一个由/组成的字符串来定位文件,比如:

c:\mydir\a.txt
  • 相对路径和绝对路径

相对路径是相对于当前工作目录的路径,而绝对路径是相对于根目录的路径字符串,通常在Windows操作系统中,绝对路径字符串由盘符开始,而相对路径则不是。

c:\mydir\a.txt # 这个是绝对路径
b\c.txt # 这个是相对路径
  • 当前工作目录

当一个程序运行时,有一个属性称之为当前工作目录,该属性是程序使用相对路径时的参考目录。

  • .和..

路径中使用.来表示当前目录,而..表示上一级目录。

2 Python读写文件

2.1 打开文件

通过python内置open函数,可以获得一个文件对象,用于操作文件。函数原型如下:

def open(file, mode='r', ...)

open函数有许多参数,但是最常用的是第一个参数file和第二个参数mode。第一个参数要求程序员提供一个路径字符串,指示打开的文件

作业:打开一个绝对路径文件和相对路径文件

第二个参数则是要求程序员提供打开的方式,类型也是一个字符串,默认为'r'。模式字符串可以为以下值:

===============================================================
字符        意义
--------- -----------------------------------------------------
'r'       读方式打开 (默认)
'w'       写方式打开,如果文件存在则删除文件内容
'x'       创建一个新文件,并以写方式打开
'a'       以追加方式写文件,意味着文件原来的内容不会被删除
'b'       二进制模式
't'       文本模式 (默认)
'+'       打开文件,以读写方式
===============================================================

这些模式可以合并,比如'rb'表示使用二进制方式,打开文件读。'a+'表示以读写方式打开文件,并且保留文件原有内容。

2.2 关闭文件

当不再需要操作该文件时,可以调用close函数关闭文件。

handle.close()
  • 读文件

通过read函数可以读取文件数据

data = handle.read(maxLen)
data = handle.readline()

读操作从打开的文件中读取数据,读取位置为当前文件指针所指示位置。maxLen表示最多读取长度,如果文件指针到文件末尾的数据,不足maxLen,那么此次读将所有剩余内容读出。

要注意的是,读文件并不会修改文件内容,只是将文件内容从硬盘拷贝一份到内存。读文件自动会修改文件指针。

感受文件指针的存在

2.3 写文件

通过write函数来写文件

handle.write(data)
handle.writeline(data)

写操作将data内容,写入文件,写入的开始位置为文件指针所在位置。写操作也会自动修改文件指针位置。

2.4 设置文件指针

如果需要读/写文件指定位置,那么可以通过seek来定位,然后再进行读/写操作。

3 Python文件管理

3.1 获得当前目录和修改当前目录

os.getcwd()
os.chdir()

3.2 删除文件

os.remove()

3.3 创建目录和删除目录

os.removedirs() # 只能删除非空目录
os.mkdir()

3.4 检查路径

os.path.exist(path)
os.path.isfile(path)
os.path.isdir(path)

3.5 遍历目录

os.listdir(path)

3.6 获取文件尺寸

os.path.getsize(filepath)

3.7 路径字符串操作

os.path.split(path) # 将路径的文件名和目录部分分开
os.path.basename(path) #获取文件名部分
os.path.realpath(path) # 
os.path.isabs(path)
os.path.join(dirname, filename)

4 对象存储和恢复

如果需要将一个对象存储到文件,将来再从文件中恢复,使用原始的读写方法,操作不怎么方便,python提供了方法方便的进行对象存储。

4.1 通过pickle将对象写入文件

handle = open('b.data', 'wb')
data = [1, 2, 3]
pickle.dump(data, handle)
handle.close()

4.2 通过pickle从文件中读对象

handle = open('b.data', 'rb')
d = pickle.load(handle)
print(d)
handle.close()