doit，一个超好用的 Python 库！

大家好，今天为大家分享一个强大的 Python 库 - pickledb。

Github地址：https://github.com/pydoit/doit

在数据处理工作流中，任务自动化是提高效率的关键，传统的make工具虽然功能强大，但语法复杂且不够灵活。Python doit库应运而生，它是一个现代化的任务自动化工具，专为Python生态系统设计。doit不仅具备传统构建工具的核心功能，还提供了更加直观的Python语法、智能的依赖管理、并行执行能力和丰富的插件系统，让复杂的工作流管理变得简单高效。

安装

1、安装方法

doit可以通过pip包管理器轻松安装：

pip install doit

对于需要额外功能的用户，可以安装完整版本：

pip install doit[complete]

2、验证安装

安装完成后，可以通过命令行验证安装是否成功：

doit --version

或在Python中验证：

import doit
print(doit.__version__)

如果能正常输出版本信息，说明安装成功。

主要特性

• 智能依赖管理：自动检测文件变化，只执行必要的任务

• 并行执行：支持多任务并行处理，提高执行效率

• Python原生语法：使用纯Python编写任务，无需学习额外语法

• 灵活的任务定义：支持函数式和类式任务定义

• 丰富的输出格式：提供多种执行结果展示方式

• 插件扩展：支持自定义插件扩展功能

基本功能

1、创建基础任务

doit的核心是任务定义文件dodo.py。每个任务都是一个Python函数，通过特定的返回格式定义任务的行为、依赖关系和目标文件。

# dodo.py
def task_hello():
    """简单的问候任务"""
    return {
        'actions': ['echo "Hello, doit!"'],
        'verbosity': 2
    }
​
def task_create_file():
    """创建文件的任务"""
    return {
        'actions': ['echo "Hello World" > hello.txt'],
        'targets': ['hello.txt'],
        'clean': True
    }

2、文件依赖管理

doit的智能依赖管理是其最重要的特性之一，通过定义文件依赖关系，doit能够自动判断哪些任务需要重新执行。

def task_process_data():
    """处理数据文件"""
    return {
        'actions': ['python process.py input.txt output.txt'],
        'file_dep': ['input.txt', 'process.py'],
        'targets': ['output.txt'],
        'clean': True
    }
​
def task_generate_report():
    """生成报告"""
    return {
        'actions': ['python report.py output.txt report.html'],
        'file_dep': ['output.txt', 'report.py'],
        'targets': ['report.html'],
        'clean': True
    }

3、使用Python函数作为动作

除了执行shell命令，doit还支持直接使用Python函数作为任务动作。这种方式提供了更大的灵活性，可以在任务中执行复杂的Python逻辑，处理异常，访问任务参数等，使得任务定义更加强大和可控。

def create_summary(dependencies):
    """创建文件摘要"""
    with open('summary.txt', 'w') as f:
        f.write(f"处理了 {len(dependencies)} 个文件\n")
        for dep in dependencies:
            f.write(f"- {dep}\n")
​
def task_summarize():
    """生成处理摘要"""
    deps = ['input.txt', 'process.py']
    return {
        'actions': [(create_summary, [deps])],
        'file_dep': deps,
        'targets': ['summary.txt'],
        'clean': True
    }

高级功能

1、任务组和子任务

对于复杂项目，doit支持将相关任务组织成任务组，并支持动态生成子任务。

def task_test():
    """运行测试套件"""
    test_files = ['test_module1.py', 'test_module2.py', 'test_module3.py']
    
    for test_file in test_files:
        yield {
            'name': test_file.replace('.py', ''),
            'actions': [f'python -m pytest {test_file}'],
            'file_dep': [test_file],
            'verbosity': 2
        }
​
def task_build():
    """构建不同环境的版本"""
    environments = ['development', 'staging', 'production']
    
    for env in environments:
        yield {
            'name': env,
            'actions': [f'python build.py --env {env}'],
            'targets': [f'dist/{env}/app.zip'],
            'clean': True
        }

2、任务配置和参数化

doit支持通过配置文件和命令行参数来定制任务行为。

import os

# 从环境变量或配置获取参数
def get_config():
    return {
        'input_dir': os.getenv('INPUT_DIR', 'data'),
        'output_dir': os.getenv('OUTPUT_DIR', 'output'),
        'parallel': int(os.getenv('PARALLEL_JOBS', '2'))
    }

def task_batch_process():
    """批量处理文件"""
    config = get_config()
    
    return {
        'actions': [
            f'mkdir -p {config["output_dir"]}',
            f'python batch_process.py {config["input_dir"]} {config["output_dir"]}'
        ],
        'verbosity': 2,
        'clean': [f'rm -rf {config["output_dir"]}']
    }

实际应用场景

1、数据处理流水线

在数据科学项目中，经常需要构建复杂的数据处理流水线，包括数据清洗、特征工程、模型训练等步骤，doit可以优雅地管理这些步骤之间的依赖关系，确保数据处理的正确性和效率。

def task_download_data():
    """下载原始数据"""
    return {
        'actions': ['python scripts/download.py'],
        'targets': ['raw_data/dataset.csv'],
        'clean': True
    }

def task_clean_data():
    """清洗数据"""
    return {
        'actions': ['python scripts/clean.py'],
        'file_dep': ['raw_data/dataset.csv', 'scripts/clean.py'],
        'targets': ['processed_data/clean_dataset.csv'],
        'clean': True
    }

def task_train_model():
    """训练模型"""
    return {
        'actions': ['python scripts/train.py'],
        'file_dep': ['processed_data/clean_dataset.csv', 'scripts/train.py'],
        'targets': ['models/trained_model.pkl'],
        'clean': True
    }

2、文档构建系统

对于技术文档或静态网站生成，doit可以自动化整个构建过程，包括Markdown转换、图片优化、样式编译等任务，实现高效的文档发布流程。

def task_compile_markdown():
    """编译Markdown文档"""
    return {
        'actions': ['python build_docs.py'],
        'file_dep': ['docs/*.md', 'templates/*.html'],
        'targets': ['build/index.html'],
        'clean': True
    }
​
def task_optimize_images():
    """优化图片"""
    return {
        'actions': ['python optimize_images.py'],
        'file_dep': ['assets/images/*'],
        'targets': ['build/images/'],
        'clean': True
    }
​
def task_deploy():
    """部署文档"""
    return {
        'actions': ['rsync -av build/ user@server:/var/www/docs/'],
        'file_dep': ['build/index.html'],
        'verbosity': 2
    }

总结

Python doit库是一个功能强大且易用的任务自动化工具，它将Python的灵活性与构建工具的实用性完美结合。通过智能的依赖管理、并行执行能力和原生Python语法支持，doit能够显著提高开发和运维工作的效率。无论是数据处理流水线、文档构建系统，还是复杂的软件构建流程，doit都能提供优雅的解决方案。它的任务组织能力、参数化配置和丰富的功能特性，使其成为现代Python项目中不可或缺的工具。

AI工具的成熟，让程序员也有了以前不敢想象的能力。海外市场的广阔，给了我们更大的舞台。

如果你也在考虑新的出路，如果你也想尝试AI编程出海这个方向，欢迎加入我们。

扫码或搜索 257735 添加微信，发送暗号「美金」，了解详细信息。