5.0
关注
AI SCORE
工具产品2024-07-11 20:48
25 个开源 AI 工具加速 ML 开发
DEV Community · Jesse Williams#开源#工具清单#开发效率
Editor brief · 编辑速览
AI 工具清单汇总，覆盖面宽但缺乏深度评测，适合快速了解工具生态但不足以指导选型。
每个 ML/AI 项目涉众都需要专门的工具，以高效地管理 ML/AI 项目的各个阶段，从数据准备、模型开发到部署和监控。他们倾向于使用专门的开源工具，因为这些工具对 AI 项目的推进、开发和易用性起到了重要催化作用。因此，多年来涌现出众多开源 AI 工具，这让从现有选项中挑选变得困难。
本文重点介绍了选择开源工具时需要考虑的一些因素，并为你介绍 25 个可用于 AI 项目的开源工具选项。
开源工具模式让公司能够开发多样化的 ML 工具，帮助你处理 AI 项目中的特定问题。AI 工具景观已经相当饱和，丰富的选项使工具选择变得困难。其中一些工具甚至提供相似的解决方案。你可能会因为工具所呈现的诱人功能而倾向于采用某个工具。然而，在选择工具之前，还有其他关键因素需要考虑，包括：
与新兴 AI 趋势的相关性
广泛采用的工具通常表明有积极的开发、定期更新和强大的社区支持，确保可靠性和长期可维护性
具有解决痛点的记录、提供可衡量的改进、提供长期项目可持续性并适应 AI 项目问题不断演变需求的工具，是衡量涉众感兴趣利用的有影响力工具的好指标
采纳更现代技术并提供独特功能的工具展示了对持续改进的承诺，具有推动进步和开启新可能性的潜力
活跃的社区参与促进协作、提供支持，并确保工具的持续相关性和改进
与新兴 AI 趋势的相关性
与 LLM 等新兴趋势相一致的工具使组织能够利用最新功能，确保其项目保持在创新前沿。
基于这些因素，以下是 25 个工具，你和团队中的不同涉众可以在 AI 项目的各个阶段使用它们。
机器学习开发生命周期涉及多个涉众，在 AI 项目的各个阶段需要不同的 MLOps 工具和环境，这使得很难保证有条理、便携、透明和安全的模型开发管道。
这引入了模型血缘断裂的可能性，以及在模型开发过程中意外或恶意的模型篡改或修改。由于模型的内容是一个"黑盒"——没有高效的存储和血缘追踪——无法知道模型或模型工件的内容是否在模型开发、测试、部署和退役管道之间被篡改过。
KitOps 为 AI 项目涉众提供了一个名为 ModelKit 的安全包，他们可以使用它在整个 ML 开发生命周期中共享和管理模型、代码、元数据和工件。
ModelKit 是一个不可变的 OCI 标准工件，利用常见的容器原生技术（类似于 Docker 和 Kubernetes），使其能够无缝地跨越使用常见软件工具和环境的各个涉众进行互操作和便携。作为一个不可变包，ModelKit 是防篡改的。这种防篡改特性为涉众提供了一个版本控制系统，该系统在整个 ML 开发和部署管道中追踪对其任何内容（即模型、代码、元数据和工件）的每一次更新。
LangChain 是一个机器学习框架，使 ML 工程师和软件开发者能够快速构建端到端的 LLM 应用程序。其模块化架构允许他们轻松混合搭配其广泛的组件套件，以创建自定义 LLM 应用程序。
LangChain 通过其由 LangSmith、LangServe 和 LangGraph 组成的互联生态系统简化了 LLM 应用程序的开发和部署阶段。它们共同使 ML 工程师和软件开发者能够高效地构建强大、多样化和可扩展的 LLM 应用程序。
LangChain 使没有强大 AI 背景的专业人士能够轻松使用大语言模型（LLM）构建应用程序。
Pachyderm 是一个数据版本控制和管理平台，使工程师能够自动化复杂的数据转换。它使用一个数据基础设施，通过数据驱动的版本控制管道提供数据血缘。版本控制的管道会根据数据变化自动触发。它追踪对数据的每一次修改，使重复先前结果和使用各种管道版本进行测试变得简单。
Pachyderm 的数据基础设施提供具有版本控制和血缘追踪的"数据感知"管道。
ZenML 是一个结构化的 MLOps 框架，它抽象了 MLOps 管道的创建，允许数据科学家和 ML 工程师专注于数据预处理、模型训练、评估和部署的核心步骤，而不会被基础设施细节所困扰。
ZenML 框架抽象了 MLOps 基础设施的复杂性，简化了 MLOps 的采用，使 AI 项目组件更容易获取、可重用和可复现。
Prefect 是一个用于机器学习管道的 MLOps 编排框架。它使用任务（单个工作单元）和流（任务序列）的概念来构建 ML 管道，以运行 ML 代码的不同步骤，如特征工程和训练。这种模块化结构使 ML 工程师能够简化创建和管理复杂 ML 工作流。
Prefect 简化了数据工作流管理、强大的错误处理、状态管理和广泛的监控。
Ray 是一个分布式计算框架，使数据科学家和 ML 工程师能够在模型开发过程中轻松扩展机器学习工作负载。它简化了从单台机器到大型集群的计算密集型工作负载的扩展，例如加载和处理大量数据或深度学习模型训练。
Ray 的核心分布式运行时使扩展 ML 工作负载变得容易。
Metaflow 是一个 MLOps 工具，通过统一的 API 提高了数据科学家和 ML 工程师的生产力。该 API 提供了一种代码优先的方法来构建数据科学工作流，它包含了数据科学家和 ML 工程师从原型到生产执行 AI 项目所需的整个基础设施栈。
MLflow 允许数据科学家和工程师管理模型开发和实验。它简化了整个模型开发生命周期，从实验到部署。
MLflow 的关键功能包括：MLflow tracking：在训练机器学习模型时，它提供 API 和 UI 来记录和查询你的实验、参数、代码版本、指标和输出文件。之后，你可以在记录结果后比较多个运行。
MLflow projects：它提供了一个标准的可重用格式来打包数据科学代码，包括 API 和 CLI 来运行项目以链接到工作流中。任何 Git 存储库/本地目录都可以被视为 MLflow 项目。
MLflow models：它提供了一个标准格式来在不同的服务环境中部署 ML 模型。
MLflow model registry：它为你提供了一个集中式模型存储、API 集合和 UI，以协作管理模型的完整生命周期。它还支持模型血缘（来自你的模型实验和运行）、模型版本控制和开发阶段转换（即将模型从测试移到生产）。
Kubeflow 是一个用于 Kubernetes 的 MLOps 工具包。它的设计目的是简化 Kubernetes 集群上 ML 工作流的编排和部署。其主要目的是使复杂 ML 系统的扩展和管理在不同基础设施上更容易、更便携和更可扩展。
Kubeflow 是 MLOps 领域的关键参与者，它为在 Kubernetes 上构建、部署和管理机器学习系统提供了一个强大而灵活的平台。这个用于开发、部署和管理 ML 模型的统一平台支持数据科学家、ML 工程师和 DevOps 团队之间的协作。
Seldon Core 是一个 MLOps 平台，通过将 ML 模型（TensorFlow、PyTorch、H2o 等）或语言包装器（Python、Java 等）转换为生产就绪的 REST/GRPC 微服务，简化了机器学习模型的部署、服务和管理。可以将它们视为预打包的推理服务器或自定义服务器。Seldon Core 还支持这些服务器的容器化，并提供开箱即用的功能，如高级指标、请求日志、解释器、异常检测器、A/B 测试和金丝雀发布。
Seldon Core 的解决方案专注于模型管理与治理。它主要面向 ML 和 DevOps 工程师，尤其适用于模型部署与监控，而非小型数据科学团队。
为机器学习项目实施版本控制，不仅需要管理代码，还需要管理数据集、ML 模型、性能指标以及其他与开发相关的产物。其目的是将版本控制、可复现性等软件工程最佳实践引入数据科学和机器学习领域。DVC 使数据科学家和 ML 工程师能够像使用 Git 跟踪代码变更一样跟踪数据和模型的变更，并且可以在任何 Git 仓库之上运行。它还支持管理模型实验。
DVC 与 Git 的集成，让软件工程原则更容易应用于数据科学工作流。
EvidentlyAI 是一个可观测性平台，旨在分析和监控生产环境中的机器学习（ML）模型。其主要目的是帮助 ML 从业者了解并长期维持已部署模型的性能。Evidently 提供了一套全面的工具，用于跟踪准确率、精确率、召回率和漂移检测等关键模型性能指标。它还支持相关人员生成交互式报告和可视化图表，从而轻松识别问题和趋势。
Mage AI 是一个数据转换与集成框架，使数据科学家和 ML 工程师无需编写大量代码即可构建和自动化数据管道。数据科学家可以在 Mage notebook 中轻松连接数据源、摄取数据，并构建可用于生产环境的数据管道。
ML Run 提供无服务器技术，用于编排端到端的 MLOps 系统。该无服务器平台可将 ML 代码转换为可扩展、可管理的微服务。这简化了数据科学家以及 ML、软件、DevOps/MLOps 工程师在整个机器学习（ML）生命周期中跨不同环境的开发与管理流程。
Kedro 是一个 ML 开发框架，用于创建可复现、可维护且模块化的数据科学代码。Kedro 通过数据抽象和代码组织改善 AI 项目的开发体验。它使用轻量级数据连接器，提供集中式数据目录，用于在整个项目中管理和跟踪数据集。这使数据科学家能够专注于通过 Kedro 的数据管道构建生产级代码，同时让其他相关人员能够在系统的不同部分使用相同的管道。
Kedro 通过强制数据科学家遵循软件工程最佳实践，专注于数据管道开发。
WhyLabs 推出的 WhyLogs 是一个开源数据日志库，专为机器学习（ML）模型和数据管道而设计。其主要目的是提供对数据质量和模型长期性能的可见性。
借助 WhyLogs，MLOps 工程师可以高效生成数据集的紧凑摘要（称为 profile），以捕获关键统计属性和特征。这些 profile 能够跟踪数据集随时间发生的变化，帮助检测数据漂移——这是导致模型性能下降的常见原因。它还提供工具来可视化数据集 profile 中的关键汇总统计信息，使用户能够轻松理解数据分布并识别异常。
以孤立方式（即从不同位置）定义、存储和访问用于模型训练及在线推理的特征，可能导致特征定义不一致、数据重复以及数据访问与检索复杂等问题。Feast 解决了相关人员在开发和生产环境中管理并提供机器学习（ML）特征所面临的挑战。
Feast 是一个连接数据与机器学习模型的特征存储。它提供用于定义特征 schema 的集中式仓库，确保不同团队和项目之间的一致性。这可以确保用于模型推理的特征值与请求发生时的特征状态保持一致，即使面对历史数据也是如此。
Feast 是一个用于管理、存储和提供特征的集中式仓库，能够确保训练环境与服务环境之间的一致性和可靠性。
数据科学家以及数据与分析管道工程师通常依赖 ML 工程师和平台工程师，将模型和训练管道转换为可用于生产环境的系统。
Flyte 让数据科学家以及数据与分析工程师能够自主、独立地开展工作。它为他们提供了用于构建工作流的 Python SDK，随后可以轻松地将工作流部署到 Flyte 后端。通过大规模构建和执行可靠、可复现的管道，它简化了复杂 ML 与数据工作流的开发、部署和管理。
数据科学家以临时、孤立的方式为模型开发特征，会让 AI 项目的其他相关人员难以理解、复用现有成果或在其基础上继续构建。这会导致重复劳动、特征定义不一致以及结果难以复现。
Featureform 是一种虚拟特征存储，可以简化数据科学家为机器学习模型管理和提供特征的过程。它充当 Databricks 和 Snowflake 等现有数据基础设施之上的“虚拟”层。这使数据科学家能够直接在数据基础设施中设计并部署特征，供其他相关人员使用。其结构化的集中式特征仓库和元数据管理方法，使数据科学家能够将工作从实验阶段无缝过渡到生产阶段，并确保整个 ML 生命周期中的可复现性、协作和治理。
Deepchecks 是一款 ML 监控工具，用于从 AI 项目的实验阶段到部署阶段，持续测试和验证机器学习模型及数据。它提供了大量内置检查项，用于验证模型性能、数据完整性和数据分布。这些检查有助于识别模型偏差、数据漂移、概念漂移和数据泄漏等问题。
Argo 提供 Kubernetes 原生工作流引擎，用于在 Kubernetes 上编排并行任务。其主要目的是简化复杂多步骤工作流的执行，因此特别适合机器学习（ML）和数据处理任务。它使 ML 工程师能够将 ML 工作流中的每个步骤（数据预处理、模型训练、评估和部署）定义为独立容器，从而更轻松地管理依赖关系并确保可复现性。
Argo 工作流使用 DAG 定义，其中每个节点代表工作流中的一个步骤（通常是容器化任务），边则表示步骤之间的依赖关系。工作流既可以定义为一系列任务（步骤），也可以定义为有向无环图（DAG），以表示任务之间的依赖关系。
Deep Lake（原名 Activeloop Hub）是一款专用于 ML 的数据库工具，旨在充当深度学习的数据湖以及 RAG 应用的向量存储。其主要目的是提供对大规模数据集快速而高效的访问，从而加速模型训练，而不受数据格式或存储位置的限制。
采用至少达到 MLOps 成熟度 1 级架构的高级 MLOps 管道，需要一个集中式特征存储。Hopsworks 非常适合这种架构。它为 ML 特征生命周期管理提供端到端解决方案，涵盖数据摄取、特征工程、模型训练、部署和监控。这有助于实现特征复用、保证一致性并加快模型开发。
NannyML 是一个 Python 库，专门用于机器学习（ML）模型部署后的监控与维护。它使数据科学家能够检测并解决不易察觉的模型故障，在无法立即获得真实标签数据的情况下估算模型性能，并识别可能导致性能下降的数据漂移。
Delta Lake 是一个为数据湖提供可靠性的存储层框架。它解决了在湖仓一体架构中管理大规模数据所面临的挑战；在这类架构中，数据以开放格式存储，并用于机器学习（ML）等多种用途。由于 Delta Lake 同时支持批处理和流式数据处理，数据工程师可以使用它构建实时管道或 ML 应用。它还将 ACID（原子性、一致性、隔离性、持久性）事务引入数据湖，即使多个管道同时进行读写，也能确保数据完整性。
在选择开源 AI/ML 工具时，尤其是面对具有相同价值主张的工具，综合考虑受欢迎程度、影响力、创新性、社区参与度以及与新兴 AI 趋势的相关性等因素，有助于你做出决策。在某些情况下，这类工具可能会以不同方式解决相同的用例，或者具备独特功能，使其非常适合特定的项目用例。
例如，MLRun 或 Kubeflow 等模型开发、部署和管理工具提供了平台或 API，便于开发 AI 项目。这通常意味着利益相关者需要使用该平台的环境、基础设施和工作流。KitOps 则以软件包的形式提供解决方案，使 AI 项目中的利益相关者能够对其工作进行版本控制和共享，同时继续使用现有的工具、环境和开发实践。要试用 KitOps 解决方案，请按照本指南开始使用。