atom package¶
Submodules¶
atom.api module¶
模块介绍¶
这是一个atom服务应用类,主要使用fastapi搭建ASGI服务器
设计模式:
无
关键点:
(1)fastapi
主要功能:
(1)atom服务应用
使用示例¶
类说明¶
- class atom.api.FeatureComputerParam(*, tag: str = 'hello', object_name: str = 'world', data_json: dict = None)¶
基类:
pydantic.main.BaseModel
类介绍:
这是一个特征计算参数数据模型类,主要包括算子标签tag,对象名称object_name和数据字典data_json
- data_json: dict¶
- object_name: str¶
- tag: str¶
- async atom.api.atom(request: starlette.requests.Request)¶
- async atom.api.data_query()¶
- async atom.api.feature_compute(feature_computer_param: atom.api.FeatureComputerParam)¶
- async atom.api.operator_query()¶
atom.base module¶
模块介绍¶
这是一个atom基础类模块,主要包括数据抽象类和算子抽象类
设计模式:
(1) 无
关键点:
(1)abstractmethod
主要功能:
(1)抽象接口
使用示例¶
类说明¶
- class atom.base.CommunicationBase¶
基类:
object
类介绍:
这是一个通信抽象类,主要提供生产消费确认消费三种功能接口
- abstract consume()¶
方法功能:
定义一个消费抽象方法
- abstract produce()¶
方法功能:
定义一个生产抽象方法
- class atom.base.DataBase¶
基类:
object
类介绍:
这是一个数据抽象类,主要提供增删改查四种管理功能接口
- abstract modify()¶
方法功能:
定义一个修改抽象方法
- abstract query()¶
方法功能:
定义一个查询抽象方法
- abstract register()¶
方法功能:
定义一个注册抽象方法
- abstract remove()¶
方法功能:
定义一个删除抽象方法
atom.cli module¶
模块介绍¶
这是一个atom常用命令行接口类
设计模式:
无
关键点:
(1)click
主要功能:
(1)atom程序管理
使用示例¶
类说明¶
atom.config module¶
模块介绍¶
这是一个配置类,主要功能设置环境变量和初始化,主要技术静态方法
设计模式:
(1) 无
关键点:
(1)静态方法
主要功能:
(1)设置环境变量和初始化
使用示例¶
类说明¶
atom.manager module¶
模块介绍¶
这是一个atom管理器工厂类,主要包括数据模型、算子模型、存储模型和通信模型的具体操作方法,主要使用类方法和内部类实现工厂模式
设计模式:
(1) 工厂模式
关键点:
(1)classmethod
(2)内部类
主要功能:
(1)实现数据模型、算子模型、存储模型和通信模型的具体操作方法
使用示例¶
类说明¶
- class atom.manager.ManagerFactory¶
基类:
object
类介绍:
这是一个管理各种操作方法的工厂类,主要功能提供数据模型、算子模型、存储模型和通信模型的具体操作,主要技术使用类方法和内部类实现工厂模式
- class CommunicationModel(connection)¶
基类:
atom.base.CommunicationBase
类介绍:
这是一个通信模型具体实现类,主要提供生产消费确认消费三种功能
- consume(queue_name, commit=False)¶
方法功能:
定义一个生产者方法,用来向消息中间件推送数据
- 参数:
queue_name (str): 消息队列名称
- 返回:
consume_data (objcet): 待消费消息队列的第一个数据
- produce(queue_name, message)¶
方法功能:
定义一个生产者方法,用来向消息中间件推送数据
- 参数:
queue_name (str): 消息队列名称 message (json_dumps): 序列化后的json串
- 返回:
无
- class DataModel(connection)¶
-
类介绍:
这是一个数据模型具体实现类,主要提供增删改查四种管理功能
- modify()¶
方法功能:
定义一个修改具体实现方法
- query(tag)¶
方法功能:
定义一个查询具体实现方法
- 参数:
tag (str): 数据模型标签
- 返回:
view_df (DataFrame): 查询数据
- register(tag, belong, object_name, remarks='no remarks', *args, **kwargs)¶
方法功能:
定义一个注册具体实现方法
- 参数:
tag (str): 数据集名称 belong (str): 所属项目名称 object_name (str): 存储对象文件名称 remarks (str): 备注
- 返回:
无
- remove(tag, object_name)¶
方法功能:
定义一个删除具体实现方法
- 参数:
tag (str): 数据模型标签 object_name (str): 对象名称,可用于版本控制
- 返回:
无
- class OperatorModel(connection)¶
-
类介绍:
这是一个算子模型具体实现类,主要提供增删改查运行五种管理功能
- modify()¶
方法功能:
定义一个修改具体实现方法
- query(tag)¶
方法功能:
定义一个查询具体实现方法
- 参数:
tag (str): 数据模型标签
- 返回:
view_df (DataFrame): 查询数据
- register(tag, belong, object_name, remarks='no remarks', *args, **kwargs)¶
方法功能:
定义一个注册具体实现方法
- 参数:
tag (str): 数据集名称 belong (str): 所属项目名称 object_name (str): 存储对象文件名称 remarks (str): 备注
- 返回:
无
- remove(tag, object_name)¶
方法功能:
定义一个删除具体实现方法
- 参数:
tag (str): 算子模型标签 object_name (str): 对象名称,可用于版本控制
- 返回:
无
- run(func_obj, *args, **kwargs)¶
方法功能:
定义一个运行函数对象的方法
- 参数:
func_obj (object): 函数对象
- 返回:
result (object): 函数结果对象
- class StoreModel(connection)¶
-
类介绍:
这是一个存储模型具体实现类,主要提供上传下载删除查询四种管理功能
- get(bucket_name, object_name)¶
方法功能:
定义一个获取数据方法
- 参数:
bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称
- 返回:
bytes_obj (object): 二进制数据对象
- inverse_transform_from_bytes(bytes_obj)¶
方法功能:
定义一个将对象序列化的方法
- 参数:
bytes_obj (bytes): 序列化后的二进制对象
- 返回:
obj (Object): 需要序列化目标对象
- put(bucket_name, object_name, bytes_obj)¶
方法功能:
定义一个上传数据方法
- 参数:
bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称 bytes_obj (object): 二进制对象
- 返回:
无
- query(bucket_name, object_name)¶
方法功能:
定义一个查询数据方法
- 参数:
bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称
- 返回:
info_object (Object): 存储数据信息对象
- remove(bucket_name, object_name)¶
方法功能:
定义一个删除数据方法
- 参数:
bucket_name (str): 对象存储中桶的名称 object_name (str): 二进制数据对象名称
- 返回:
无
- transform_to_bytes(obj)¶
方法功能:
定义一个将对象序列化的方法
- 参数:
obj (Object): 需要序列化目标对象
- 返回:
bytes_obj (bytes): 序列化后的二进制对象
- classmethod create_communication_model(connection)¶
方法功能:
定义一个创建通信模型实例的类方法
- 参数:
connection (Object): 对象存储MinIO连接对象
- 返回:
CommunicationModel (Object): 存储模型实例对象
- classmethod create_data_model(connection)¶
方法功能:
定义一个创建数据模型实例的类方法
- 参数:
connection (Object): 数据库连接对象
- 返回:
DataModel (Object): 数据模型实例对象
- classmethod create_operator_model(connection)¶
方法功能:
定义一个创建算子模型实例的类方法
- 参数:
connection (Object): 数据库连接对象
- 返回:
OperatorModel (Object): 数据模型实例对象
- classmethod create_store_model(connection)¶
方法功能:
定义一个创建存储模型实例的类方法
- 参数:
connection (Object): 对象存储MinIO连接对象
- 返回:
OperatorModel (Object): 存储模型实例对象
atom.scheduler module¶
模块介绍¶
这是一个atom管理调度类模块,主要包括注册、删除、查询、修改、加载五大操作功能,主要技术采用装饰器模式和静态方法
设计模式:
(1) 装饰器模式
关键点:
(1)装饰器技术
主要功能:
(1)功能接口
使用示例¶
类说明¶
- class atom.scheduler.AtomScheduler(mode='delay')¶
基类:
object
类介绍:
这是一个管理器调度类,主要功能管理Atom的整体操作,包括注册、删除、查询、修改、加载五大操作功能,主要技术采用装饰器模式和静态方法
- data_load(tag, object_name)¶
方法功能:
定义一个数据加载方法,主要功能从远端存储加载数据对象
- 参数:
tag (str): 数据标签 object_name (str): 对象名称
- 返回:
data_obj (objcet): 数据对象
- data_modify()¶
方法功能:
定义一个数据修改方法,未开发,敬请期待
- 参数:
无
- 返回:
无
- data_query(tag)¶
方法功能:
定义一个已注册数据查询方法
- 参数:
tag (str): 数据标签
- 返回:
view_df (DataFrame): 已注册数据查询表单
- data_register(tag, belong, object_name, data_object, remarks='no remark')¶
方法功能:
定义一个数据注册方法,主要功能存储数据元信息和数据对象
- 参数:
tag (str): 数据标签 belong (str): 数据所属项目名称 object_name (str): 对象名称 data_object (object): 数据对象 remarks (str): 备注
- 返回:
无
- data_remove(tag, object_name)¶
方法功能:
定义一个数据删除方法,主要根据数据标签和数据对象名称来删除对象,数据对象名称未来可用于版本控制
- 参数:
tag (str): 数据标签 object_name (str): 对象名称,可用于版本控制
- 返回:
无
- operator_load(tag, object_name)¶
方法功能:
定义一个算子加载方法,主要功能从远端存储加载算子对象
- 参数:
tag (str): 数据标签 object_name (str): 对象名称
- 返回:
operator_obj (objcet): 数据对象
- operator_modify()¶
方法功能:
定义一个算子修改方法,未开发,敬请期待
- 参数:
无
- 返回:
无
- operator_query(tag)¶
方法功能:
定义一个已注册算子查询方法
- 参数:
tag (str): 算子标签
- 返回:
view_df (DataFrame): 已注册算子查询表单
- operator_register(tag, belong, object_name, operator_object=None, remarks='no remark')¶
方法功能:
定义一个算子注册方法,主要功能存储算子元信息和算子对象,主要技术装饰器技术
- 参数:
tag (str): 算子标签 belong (str): 算子所属数据项目名称 object_name (str): 对象名称 operator_object (object): 算子对象 remarks (str): 备注
- 返回:
无
- operator_remove(tag, object_name)¶
方法功能:
定义一个算子删除方法,主要根据算子标签和算子对象名称来删除对象,算子对象名称未来可用于版本控制
- 参数:
tag (str): 算子标签 object_name (str): 对象名称,可用于版本控制
- 返回:
无
atom.utils module¶
模块介绍¶
这是一个辅助类,主要功能实现各种外部依赖工具功能,主要技术内部类和with上下文管理器
设计模式:
(1) 无
关键点:
(1)with上下文管理器
(2)内部类
主要功能:
(1)实现各种外部依赖工具功能
使用示例¶
类说明¶
- class atom.utils.dbconnection(dbpath='default')¶
基类:
object
类介绍:
这是一个数据库连接器管理类
- class atom.utils.minioconnection(host, port)¶
基类:
object
类介绍:
这是一个消息中间件连接器管理类
- class atom.utils.mqconnection(host, port)¶
基类:
object
类介绍:
这是一个消息中间件连接器管理类