Lyft发布Flyte 一个维护AI工作流程的平台

热议的高跟鞋尤伯杯的开放式采购今早的AI调试工具,Lyft宣布Flyte的释放,它称为并发,可伸缩和维护机器学习工作流结构化和分布式平台。该公司表示,Flyte已在内部为AI模型培训和数据处理提供服务超过三年了,已成为团队进一步选择Lyft的价格,位置,预计到达时间,测绘和自动驾驶产品的工具。实际上,Lyft说,Flyte现在管理着7,000多个独特的工作流,总计超过100,000个月执行,100万个任务和1000万个容器。

“由于数据现在已成为公司的主要资产,执行大规模计算工作对业务至关重要,但从运营角度来看,这是有问题的。扩展,监视和管理计算集群成为每个产品团队的负担,从而减慢了迭代速度,进而减慢了产品创新的速度。而且,这些工作流程通常具有复杂的数据依赖性。” Lyft在博客中写道。“ Flyte的任务是通过抽象这些开销来提高机器学习和数据处理的开发速度。”

Flyte是一项多租户服务,使团队能够在单独的存储库上工作并部署它们,而不会影响平台的其余部分。使用依赖项对代码进​​行版本控制和容器化,以确保所有执行均具有可重复性。(容器图像绑定到任务。)工作流可以进行参数化并具有丰富的数据沿袭,从而使开发人员能够分别调用不同的参数(AI模型内部的变量,这些变量定义了该模型在问题上的技能)。跑。Flyte可以智能地使用先前执行的缓存输出,从而节省时间和内存。

Flyte中的工作流可以将任务链接在一起,并使用基于Python的领域特定的编程语言在任务之间传递数据。另外,由于Flyte中的每个实体都是不可变的(每个更改都明确记录为新版本),因此可以快速迭代或回滚工作流,并且可以在工作流之间共享版本化任务。

Lyft说,Flyte任务可以任意复杂,从单个容器执行到配置单元群集中的远程查询,无所不包。更好的是,它们可以通过FlyteKit扩展和后端插件进行扩展,这使得贡献者可以与第三方服务和系统集成,同时提供对资源的细粒度控制。

Lyft写道:“ Flyte的构建是为了以现代产品,公司和应用程序所需的规模来推动并加速机器学习和数据编排。”“ Lyft和Flyte共同成长,看到了现代处理平台所提供的巨大优势,我们希望在开源Flyte中也能从中受益。”

Flyte的发布是在Lyft提供了一些用于模拟机器学习算法结果的工具之后的两年。最近,这家交通运输巨头开放了用于自动驾驶汽车开发的大型数据集。