开源机器学习平台Kubeflow达到1.0版

 
由Google，Cisco，IBM，Red Hat，CoreOS和CaiCloud的开发人员共同创建的免费提供的机器学习平台Kubeflow在2017年年度Kubecon会议上首次亮相。三年后，Kubeflow达到了1.0版–这是其第一个主要版本发布-随着项目的发展壮大，超过30个参与组织的数百名参与者。在生产中使用它的公司包括US Bank，Chase，GoJek，Amazon Web Services，Bloomberg，Uber，Shopify，GitHub，Canonical，Intel，Alibaba Cloud，TuSimple，Dell，Shell，Arrikto和Volvo。
该项目的合著者杰里米·刘易(Jeremy Lewi)，乔什·波图姆(Josh Bottum)，艾尔维拉·杜茹拉耶娃(Elvira Dzhuraeva)，戴维·阿龙奇克，艾米·安鲁(Amy Unruh)，阿米什·辛格(Animesh Singh)和埃利斯·比格洛(Ellis Bigelow)于今天上午在《中等新闻》上发表了这一消息。他们写道：“ Kubeflow的目标是使机器学习工程师和数据科学家更容易利用云资产(公共或本地)来处理[机器学习]工作负载。” “有了Kubeflow，数据科学家就无需学习新概念或平台来部署其应用程序或处理入口，网络证书等。”
Kubeflow 1.0毕业于一组稳定的核心组件，这些组件是在Kubernetes上有效开发，构建，训练和部署模型所必需的，而Kubernetes是Google开发的用于自动化应用程序部署，扩展和管理的开源容器编排系统。除了Kubeflow的中央仪表板UI和Jupyter笔记本控制器之外，Kubeflow 1.0还附带了Web应用程序Tensorflow Operator(TFJob)，PyTorch Operator(用于分布式培训)，kfctl(用于部署和升级)以及配置文件控制器和多用户管理UI。
借助Kubeflow 1.0，开发人员可以使用编程笔记本平台Jupyter和Kubeflow工具(例如Kubeflow的Python软件开发套件)来开发模型，构建容器并创建Kubernetes资源来训练这些模型。可以选择通过Kubeflow的KFServing资源来对经过训练的模型进行漏斗化，以跨各种硬件创建，部署和自动缩放推理服务器，并利用alpha中的新KFServing可解释性和有效负载日志记录功能。
Kubeflow 1.0引入了命令行界面和配置文件，使它可以通过单个命令以及正在开发的模块(如管道)进行部署。 (管道部分基于TensorFlow Extended库并在其中使用，该库在Google内部用于构建机器学习组件，然后允许各个内部团队的开发人员利用这项工作并将其投入生产。)其他正在进行的应用程序在Kubeflow 1.0中是元数据(用于跟踪数据集，作业和模型); Katib(用于超参数调整);以及其他框架(例如xgboost)的分布式运算符。在将来的Kubeflow版本中，它们将逐步升级为1.0。
和以前一样，Kubeflow使数据科学家和团队可以在名称空间内运行工作负载。 (命名空间提供了安全性和资源隔离，并且管理员可以使用Kubernetes资源配额来限制个人或团队可以消耗多少资源，以确保公平的调度。)用户可以从Kubeflow UI中选择以下一种方式启动编程笔记本：内置图片或输入自定义图片的网址。然后，他们可以设置要连接到笔记本电脑的处理器和图形卡的数量，以及可以从存储库和数据库中包含哪些配置和密码参数。此外，他们还可以定义TFJob或PyTorch资源，以使控制器负责扩展和管理流程，并将其配置为彼此对话。
“这是一项重大投资。思科杰出的工程师和Kubeflow的贡献者Debo Dutta在博客中写道：“到达这里已经花费了许多组织和大量宝贵的资源。” “我们对Kubeflow的未来感到非常兴奋。我们希望社区变得更强大，更多样化，我们希望要求更多的个人和组织加入社区。”