什么是加载器,什么是引擎
- 引擎
引擎是指已经半工程化,并提供接口以根据模型执行AI算法的程序包
- AI能力
AI能力是指已完成云服务化的AI引擎,AI能力使用方可直接通过API和生成的接口文档进行集成及调用
- 引擎加载器
加载器是引擎托管平台中的核心组件,通过集成加载器,连接了引擎与各项云原生组件,以实现云服务化的目的.
- 解码器(加载器插件)
解码器是加载器、深度学习算法计算模块及连接加载器与计算模块的中间件的集合,其中中间件需要AI算法引擎开发者进行接口开发实现
- 接口协议
接口协议即AI能力的定义,是AI引擎的功能特性、输入输出参数、错误码的集合
总结:
引擎加载器通过配合加载器插件实现加载不同的模型或者引擎服务来实现服务化,通过引擎加载器加载的引擎或者模型是这个AI推理服务框架的核心, 结合统一AI推理服务框架的周边治理手段,如负载均衡、分发策略、数据处理等,实现多种AI能力服务化的统一管理。
加载器编写语言
核心加载器主进程为Go实现的一个Loader, 即项目 aiges
什么是插件
即loader 和 最终引擎或者模型之间的一层,为插件层。
插件编写语言
C/C++ 见
Python (本质上是实现了一个C/C++ so,该so实现了上述C/C++需要的接口,但同时对用户暴露了python语言编程接口)