pmfp 4.1.11

A simple package manager and scaffold for python & some other languages.

pmfp

• version: 4.1.10
• status: dev
• author: hsz
• email: [e-mail]

Description

一个用于管理项目及相关开发的工具

keywords: tool,project_manager

特点

• 可以独立使用功能模块
• 根据模板快速构建项目
• 简单的编译和打包指令
• 快速测试
• 文档维护,支持github page

注意

• 要支持grpc或者protobuf需要安装相关依赖

  • 通用的编译工具:protoc
  • python: grpcio,grpcio-tools
  • node: @grpc/proto-loader,async,google-protobuf,grpc,lodash,minimist

Install

python -m pip install pmfp

使用

pmfp现在被设计为两个部分:

1. 项目管理部分用于快速根据托管在git仓库上的模板仓库项目构造项目
2. 调用功能部分用于为不同的项目提供特定功能

项目管理

项目管理使用的子命令为project,其整体设计思路是这样:

1. 借助git仓库来保存组件模板.
2. 每个组件模板使用jinja2作为模板引擎,允许使用其模板语法
3. 用于保存组件模板的git仓库称为资源包(source pack)
4. 资源包需要使用一个文件来声明其中注册的组件和默认行为,默认这个文件为资源包根目录下的.pmfp_template.json文件.其具体schema可以查看项目的protocol.py文件中的TEMPLATE_INFO_SCHEMA对象定义
5. 如果资源包声明文件中template_type不为components则说明这是一个模板资源包,我们就可以根据其作为模板构造项目.
6. 资源包中每个组件都有一个source字段,这个字段用于声明组件的位置,如果其中有//则说明它是引用的另一个资源项目的组件
7. 根据模板包构造项目只要指定一个资源包路径即可,其形式为[[{host}::]{repo_namespace}::]{repo_name}[@{tag}]
8. 如果是已有项目要添加组件,则可以使用[[{host}::]{repo_namespace}::]{repo_name}[@{tag}]//{component_path_str}
9. 默认的host为github.com,默认的repo_namespace为Project-Manager-With-Git,默认的tag为latest,如果tag为latest它会拉取master分支的head.默认的资源仓库可以通过修改~/.pmfprc/config.json来修改,

另外我们还可以使用cache子命令管理资源包缓存

资源仓库类型

本项目将所有资源仓库类型分为如下几种:

1. socket,专指基于网络的通讯程序,包括http服务,websocket客户端与服务,各种rpc客户端与服务,以及zeromq,webrtc等
2. GUI,专指图形界面
3. task专指主动执行的任务,比如一般脚本,定时任务
4. watcher监听器,被动监听事件的任务,比如监听文件系统的任务,监听消息中间件的任务
5. module模块,必须被其他程序调用的程序
6. components组件集合,本身并不能执行
7. doc文档型组件

资源仓库版本标签

资源仓库的分支和tag名都可以作为版本标签,但有两个特殊标签会进行更新操作,其他标签一旦下载到本地就不会更新了.因此构造资源仓库时建议使用git的tag维护稳定版本模板.

两个特殊标签为:

• latest会拉取master或者main分支.这个标签应该保证为最新的可用版本
• dev会拉取dev分支,这个标签意为开发版本,并不需要保证是可用版本

项目语言及对应的环境

本项目目前之前如下语言和执行环境组合:

• language为py

  • env为venv,即python的标准库venv生成的c python虚拟环境
  • env为conda,即anaconda/miniconda生成的c python虚拟环境
  • env为pypy,即python的标准库venv生成的pypy虚拟环境

• language为js

  • env为node,即以node为执行环境的javascript的babel标准环境
  • env为webpack,即以浏览器为执行环境,使用webpack编译项目的javascript的babel标准环境

• language为cython

  • env为venv,即python的标准库venv生成的c python虚拟环境
  • env为conda,即anaconda/miniconda生成的c python虚拟环境

• language为go

  • env为gomod,即golang的gomod模式管理项目

• language为C

  • env为cmake,即使用cmake作为c语言的项目管理工具

• language为CXX

  • env为cmake,即使用cmake作为c语言的项目管理工具

• language为md

  • env为http,即使用markdown作为目标语言托管到http服务器上的纯文档环境

直接调用功能

支持直接调用功能的子命令包括:

• build打包项目到可分发状态.
• doc快速构造项目的文档
• docker image快速构造docker镜像
• docker compose快速构造docker部署配置
• env快速构建项目的独立执行环境
• grpc快速构造了grpc的客户端和服务端
• http用于构造静态http服务和构造http请求和压测
• proto用于快速构建和编译protobuf文件
• schema用于校验jsonschema
• test用于对项目进行测试
• requires用于管理依赖

build打包项目到可分发状态

这条命令的含义为--打包项目到可以分发的状态.不同编程语言可以打包到的状态并不相同:

• golang:

  • exec可执行文件
  • alib静态库
  • dlib动态库(linux专用)
  • zip源码压缩归档

• python:

  • exec,可执行的.pyz文件
  • zip,wheel归档

v4.1.11

bug修复

• 修复project new 拉取latest标签时无法拉取master分支的问题

v4.1.10

新增特性

• grpc build子功能添加对grpc-gateway的支持,在--language设置为go时如果web设置为True则会编译grpc-gateway的支持文件

v4.1.9

bug修复

修复go 1.18+后require(会有多个的bug

v4.1.8

新特性

• project子功能中对dev分支的特殊支持,现在dev分支的行为也会和master分支一样

变动

• 修改docker-compse生成器中kafka和etcd等的配置,现在的常用服务包括"redis", "postgres", "zookeeper", "kafka", "etcd", "clickhouse", "cassandra", "envoy", "minio"

v4.1.7

bug修复

• doc build中doc_source_dir参数现在有了默认值""

• 现在没装node或者go也可以使用了

v4.1.6

bug修复

• doc new针对go语言的接口参数修正了字段含义弄混的bug
• doc build针对go语言的接口参数修正了字段含义弄混的bug

新特性

• project add和project new中会处理模板文件夹中文件或文件夹名中含有_ref_和_fre_的对象,将他们的名字也作为jinja模板处理
• doc new新增一个参数is_web,当language为go且is_web为真时执行swag init --parseDependency --parseInternal
• doc build新增一个参数is_web,当language为go且is_web为真时执行swag init --parseDependency --parseInternal

v4.1.5

bug修复

• grpc build针对go语言的的接口更新到满足protobuf-go@1.26+和protoc-gen-go-grpc@v1.1+

v4.1.4

bug修复

• grpc build针对C++的方式行为修改为类似python的方式,to会被自动加上指定proto文件的文件名,当路径不存在时会创建
• grpc listservice删除了无效参数service

v4.1.3

变动

• grpc build针对C++的方式行为修改为类似python的方式,to会被自动加上指定proto文件的文件名

bug修复

• 修正proto build和grpc build因为source_relative字段改动造成无法使用的问题

v4.1.2

变动

• proto build命令针对js语言增加了参数js_import_style
• proto build命令针对go语言增参数source_relative改为go_source_relative
• grpc build命令针对js语言增加了参数js_import_style,web,web_import_style和web_mode来细化js模块的使用环境
• grpc build命令针对go语言增参数source_relative改为go_source_relative
• grpc build命令现在加回了对c++的支持

v4.1.1

变动

1. grpc build接口变动,新增字段serv_file用于指定定义rpc接口的文件.针对python的编译会将两个文件放在{serv_file}_pb模块下
2. 删除grpc build使用的jinja2模板
3. 暂时取消了grpc build对c++的支持

bug修复

1. 修复grpc build对python时会一直往__init__.py中写东西的bug

v4.1.0

新增特性

1. 现在模板配置的template_keys字段支持新字段ask(boolean),用于让pmfp提示用户输入key的取值
2. go语言的env new可以指定依赖了

变动

1. grpc现在不再用于构造基于模板的项目,grpc项目现在也将使用project命名构造.grpc的build命令将只用于编译grpc的proto到目标语言的模块
2. go语言的require install命令当不指定-n时使用go mod tidy更新依赖

bug修复

1. 修复docker image build --push报错的问题
2. 修复docker image build逻辑错误

v4.0.10

bug修复

1. 修正project new时参数覆盖顺序的问题,现在越浅层会覆盖深层

v4.0.9

改进

1. 改进了grpc query和grpc stress的使用,-d/--payload现在指向一个写着请求json的地址,默认为query.json,新增-s/--service,用户不再需要记怎么将service和method组合了

v4.0.8

bug修复

1. 修正了env new无法给已经初始化过的项目创建执行环境的bug
2. 修正了project as_temp无法转换dockerfile和docker-compose的问题
3. 修正了project as_temp转换文件后source字段不加.jinja的问题
4. 修正了project new和project add不会将项目信息作为参数的问题

改进

1. 新增快捷命令install相当于requires install
2. 新增快捷命令uninstall相当于requires uninstall
3. 命令build和pack合并,重新整理,这条命令现在用于打包项目到可分发状态
4. 命令env new针对python,当对应参数没有填时会添加默认的tests_require和setup_requires
5. 命令env new针对cython,当对应参数没有填时会添加默认的tests_require和setup_requires
6. project new现在当组件不存在时会提示是什么组件

v4.0.7

改进

1. 修改了project new的执行顺序,现在先拉取模板再创建执行环境
2. 现在project new执行报错后会删除这步操作时创建文件和文件夹
3. 现在project new执行过程中使用Ctrl+Break或者Ctrl+C(KeyboardInterrupt, SystemExit)终端执行时也会删除这步操作时创建的文件和文件夹

v4.0.6

bug修复

1. 修正了version命令展示过期版本问题
2. 修正了project add和project new时无法使用自定义key作为路径参数的bug
3. 修正了project new时外部组件不能使用模板定义的参数的问题

v4.0.5

bug修复

1. 修正了gomod中加载项目依赖信息的错误
2. 修正了project as_temp在没有依赖时也会添加null的错误

v4.0.4

bug修复

1. 修复依赖错误

v4.0.3

bug修复

1. 修复了python项目创建时的bug
2. 修复依赖不全安装报错的bug

v4.0.2

bug修复

1. 修复了python新建环境时报错的bug

改进

1. 修改了模板的类型枚举
2. project as_template子命令现在也会生成测试依赖了
3. 修改了env new的参数,改为必须有language而非env
4. 修改project new,现在env不是必填的参数,如果指定了template则可以不再指定language,如果没有则必须指定language

v4.0.1

bug修复

1. 修正了cache clean命令无法执行的bug

改进

1. 修改protocol,支持不声明language的组件
2. 修改cc和cxx为全局项目配置
3. 修改golang_version,python_version,node_version为全局项目配置

v4.0.0

4.0.0版本在整体架构和使用方式上都做出了大规模修改,现在多数功能都可以脱离pmfprc.json单独执行.pmfprc.json的作用现在只是一个存储默认参数的特殊文件,没有也可以执行.同时改用git仓库作为模板保存工具,从而增强扩展性同时减小pmfp的大小

新特性

1. 功能性操作全部不再依赖pmfprc.json
2. 使用git仓库作为模板保存位置.

移除的特性(后续版本会回来)

1. 移除对python 3.6以下的支持,本工具必须使用python3.6以上的版本

MIT License

Copyright (c) 2020 Python-Tools

Permission is hereby granted, free of charge, to any person obtaining a copy of this software and associated documentation files (the "Software"), to deal in the Software without restriction, including without limitation the rights to use, copy, modify, merge, publish, distribute, sublicense, and/or sell copies of the Software, and to permit persons to whom the Software is furnished to do so, subject to the following conditions:

The above copyright notice and this permission notice shall be included in all copies or substantial portions of the Software.

THE SOFTWARE IS PROVIDED "AS IS", WITHOUT WARRANTY OF ANY KIND, EXPRESS OR IMPLIED, INCLUDING BUT NOT LIMITED TO THE WARRANTIES OF MERCHANTABILITY, FITNESS FOR A PARTICULAR PURPOSE AND NONINFRINGEMENT. IN NO EVENT SHALL THE AUTHORS OR COPYRIGHT HOLDERS BE LIABLE FOR ANY CLAIM, DAMAGES OR OTHER LIABILITY, WHETHER IN AN ACTION OF CONTRACT, TORT OR OTHERWISE, ARISING FROM, OUT OF OR IN CONNECTION WITH THE SOFTWARE OR THE USE OR OTHER DEALINGS IN THE SOFTWARE.