新建 TensorFlow 模型托管
点击 TaaS 平台左侧菜单栏的[TensorFlow 模型托管]按钮切换到模型托管页面
新建模型托管
点击[+ TensorFlow 模型托管]按钮,提供要托管模型的相关信息:
- 基本信息:模型托管服务的名称,方便管理。
- 模型信息:具体要托管的模型信息,可以选择 Caicloud 大数据提供了三个样例模型来进行快速入门体验,或者选择“自定义”来指定自己的模型。
- 资源配置:模型托管服务所需要的 CPU/Memory 资源信息。
基本信息
基本信息中只需要填写一个模型托管 Serving 的名称即可,
模型信息
模型信息中有个模型来源,用于选择启动内置的模型进行体验,还是要托管自己训练好的模型。
内置模型
TaaS 平台内置了两个模型:
- mnist:手写体识别模型。
- half_plus_two:x*0.5+2 的线性模型。
这两个模型的代码在 GitHub 的 caicloud/tensorflow-totorial 的 examples 中有提供。
自定义模型信息
新建 TensorFlow 模型托管服务的时候,在“模型信息”中选择“自定义”来托管自己的 TensorFlow 模型。
其中,各个字段的说明如下:
- 模型路径:填写要托管的模型在数据存储中的路径。
- 扩展库文件:如果导出的模型中用到了自己用 C++ 扩展的 Operation,则需要提供扩展库文件(.so 文件)。
- gRPC 最大并行数:指定模型托管 gRPC 服务的最大同时异步并行处理线程个数。
- 描述信息:模型托管服务的描述信息。
资源配置
资源配置选择模型托管 Serving 要占用的 CPU 和 Memory 资源,
提交
点击[确定]按钮提交,
TaaS 会自动地为该模型托管 Serving 申请资源,需要一个准备过程,
创建成功后,模型托管 Serving 会提供 gRPC 和 RESTful API 的地址。