AthenaServing Framework (ASF)
愿景
全领域内让AI能力极速落地到生产应用,让AI模型到服务触手可达;让ASF成为AI推理服务框架的事实标准。
ASF是什么
是一个专为A.I.算法工程师打造的无服务、全托管式A.I.引擎服务化框架。算法工程师通过集成ASF中提供的Language Wrapper，即可快速实现 A.I.引擎云服务化，无需关注底层基础设施及服务化相关的开发和运维，可高效、安全、自主可控地对引擎进行部署、升级、扩缩、监控和运营。
依托于科大讯飞多年来语音技术服务化生产经验, 基于K8S的一套专注于AI工程领域，通用AI能力服务化框架。 计划基于于k8s的服务发现机制以及CRD机制，对k8s扩展一套管理AI服务的能力。
主要特性有:
- 模型预后处理
- 模型推理服务化
- 模型服务容器化
- 模型服务治理(服务发现，扩缩容)
- 模型服务动态负载均衡
- 模型服务一键部署私有云
- 模型服务一键部署公有云ASE
- 模型服务协议标准化
AIGES是什么
AIGES是ASF核心组件之一，由golang实现。它为用户态推理代码提供统一标准的 Wrapper接口，当前支持Python/C++，理论支持任何语言插件(暂未支持)
面向场景
中小企业对AI服务能力的落地，缺乏统一管理，落地方案。用户每新增一个新的 AI能力，都需要经历封装引擎步骤。多人封装引擎没有统一的标准，业务逻辑复杂，不易维护和重构。
解决问题
1： 研究侧模型落地流程过长，不易迭代 2： AI引擎侧封装无统一标准
整体架构(v2)
工作流
特性
☑ 支持模型推理成RPC服务(Serving框架会转成HTTP服务)
☑ 支持C代码推理 support c++/c code infer
☑ 支持Python代码推理 Support python code infer
☑ 支持配置中心，服务发现
☑ 支持三方API转发
框架代码仓库
| 模块 | 仓库 | 状态 |
|---|---|---|
| ☑ 加载器 | 加载器 | 已开源 |
| ☑ lb_client | 负载均衡器 负载聚合组件 | 已开源 |
| ☑ WebGate | WebGate Web网关组件 | 已开源 |
| ☑ Atom | Atom 协议转换组件 | 已开源 |
| ☑ Polaris | Polaris 配置中心与服务发现 | 已开源 |
| ☑ Helm | [athena_deploy]https://github.com/xfyun/athena_deploy | 已开源 |
| ☐ Docker Compose | Serving on Docker with docker-compose 一键部署 | 待支持 |
| ☐ Documentation | website | 进行中 |
| ☑ Protocol | AI能力协议规范 | 已开源 |
| ☐ AseCTl命令行工具 | Asectl 命令行工具 | 待开源 |
| ☐ Python调试工具包 | AigesKitpython工具包 | 进行中 |