谷歌推出Beta版Cloud AI Platform Pipelines以简化机器学习开发

 
谷歌今天宣布了Cloud AI Platform Pipelines的Beta版发布，该服务旨在在云中部署健壮，可重复的AI管道以及监视，审核，版本跟踪和可再现性。 Google称其为为机器学习工作流提供“易于安装”的安全执行环境的一种方式，这可以减少企业将产品投入生产的时间。
“当您只是在笔记本电脑上为机器学习模型制作原型时，它似乎相当简单。但是，当您需要开始关注使[机器学习]工作流具有可持续性和可扩展性所需的其他内容时，事情就会变得更加复杂。” Google产品经理Anusha Ramesh和人员开发倡导者Amy Unruh在博客中写道。 “机器学习工作流程可能涉及许多彼此依赖的步骤，从数据准备和分析，培训到评估，部署等等。很难以临时方式(例如，在一组笔记本或脚本中)组成和跟踪这些过程，并且诸如审核和可重复性之类的问题变得越来越严重。”
AI平台管道包括两个主要部分：(1)用于部署和运行与Google Cloud Platform服务集成的结构化AI工作流的基础结构;(2)用于构建，调试和共享管道和组件的管道工具。该服务在安装过程中自动创建的Google Kubernetes集群上运行，可通过Cloud AI Platform仪表板进行访问。通过AI Platform Pipelines，开发人员可以使用Kubeflow Pipelines软件开发工具包(SDK)或通过使用TFX SDK自定义TensorFlow Extended(TFX)Pipeline模板来指定管道。该SDK编译管道并将其提交给Pipelines REST API服务器，该服务器存储并计划执行管道。
AI Pipelines使用开源Argo工作流引擎来运行管道，并具有其他微服务来记录元数据，处理组件IO和调度管道运行。管道步骤作为集群中单独的独立Pod执行，每个组件都可以利用Google Cloud服务，例如数据流，AI平台培训和预测，BigQuery等。同时，流水线可以包含在集群中执行图形卡和张量处理单元计算的步骤，直接利用自动缩放和节点自动设置等功能。
AI Platform Pipeline运行包括使用ML Metadata的自动元数据跟踪，该库用于记录和检索与机器学习开发人员和数据科学家工作流程相关的元数据。自动元数据跟踪记录每个流水线步骤中使用的工件，流水线参数以及跨输入/输出工件的链接，以及创建和使用它们的流水线步骤。
此外，AI Platform Pipelines支持管道版本控制，这使开发人员可以上传同一管道的多个版本并将其分组在UI中，以及自动工件和沿袭跟踪。本机工件跟踪可以跟踪模型，数据统计信息，模型评估指标等内容。沿袭跟踪会显示模型，数据等的历史记录和版本。
谷歌表示，在不久的将来，AI平台管道将获得多用户隔离，这将使每个访问管道集群的人都可以控制可以访问其管道和其他资源的人员。其他即将推出的功能包括工作负载标识，以支持对Google Cloud Services的透明访问;基于UI的集群外存储后端数据的设置，包括元数据，服务器数据，作业历史记录和指标;更简单的集群升级;以及用于创作工作流的更多模板。