Experimentos de machine learning usando o Amazon SageMaker com MLflow

Gerencie com eficiência modelos de machine learning e experimentos com aplicações de IA generativa em grande escala usando o MLflow

Por que usar o Amazon SageMaker com o MLflow?

O Amazon SageMaker oferece um recurso gerenciado de MLflow para machine learning (ML) e experimentação de IA generativa. Esse recurso facilita para os cientistas de dados usar o MLflow no SageMaker para treinamento, registro e implantação de modelos. Os administradores podem configurar rapidamente ambientes MLflow seguros e escaláveis na AWS. Cientistas de dados e desenvolvedores de ML podem acompanhar com eficiência os experimentos de ML e encontrar o modelo certo para um problema de negócios.

Benefícios do Amazon SageMaker com MLflow

Os cientistas de dados podem usar o MLflow para acompanhar todas as métricas geradas durante o ajuste fino de um modelo básico, avaliar o modelo, testar o modelo com dados de amostra, comparar as saídas de cada modelo lado a lado na interface do usuário do MLflow e registrar o modelo certo para seu caso de uso. Uma vez registrado o modelo, os engenheiros de ML podem implantá-lo na inferência do SageMaker.
Você não precisa gerenciar nenhuma infraestrutura para hospedar o MLflow. Os cientistas de dados podem usar todos os recursos de código aberto do MLflow sem que os administradores se preocupem com a sobrecarga da infraestrutura. Isso economiza tempo e custo ao configurar ambientes de ciência de dados. O MLflow é integrado ao Amazon Identity and Access Management (IAM), permitindo que você configure o controle de acesso baseado em perfis (RBAC) para servidores de rastreamento do MLflow.
Os modelos registrados no MLflow serão automaticamente registrados no Registro de Modelos do Amazon SageMaker com um cartão de modelo do Amazon SageMaker associado. Isso permite que os cientistas de dados façam a transição de seus modelos para engenheiros de ML para implantação na produção sem mudar de contexto. Os engenheiros de ML podem implantar modelos do MLflow nos endpoints do SageMaker sem criar contêineres personalizados ou reempacotar os artefatos do modelo do MLflow.
À medida que o projeto MLflow evolui, os clientes do SageMaker se beneficiam da inovação de código aberto da comunidade MLflow enquanto desfrutam do gerenciamento de infraestrutura fornecido pela AWS.

Acompanhe experimentos de qualquer lugar

Os experimentos de ML são realizados em diversos ambientes, incluindo notebooks locais, IDEs, código de treinamento baseado em nuvem ou IDEs gerenciados no Amazon SageMaker Studio. Com o SageMaker e o MLflow, você pode usar seu ambiente preferido para treinar modelos, rastrear seus experimentos no MLflow e iniciar a interface do usuário do MLflow diretamente ou por meio do SageMaker Studio para análise.

Registre experimentos

Colabore com a experimentação de modelos

Uma colaboração efetiva da equipe é essencial para projetos bem-sucedidos de ciência de dados. O SageMaker Studio permite que você gerencie e acesse servidores de rastreamento e experimentos do MLflow, possibilitando que os membros da equipe compartilhem informações e garantam resultados consistentes de experimentos, facilitando a colaboração.

Gerencie centralmente os metadados dos experimentos de ML

Avalie experimentos

Identificar o melhor modelo de várias iterações requer análise e comparação do desempenho do modelo. O MLflow oferece visualizações como gráficos de dispersão, gráficos de barras e histogramas para comparar as iterações de treinamento. Além disso, o MLflow permite a avaliação de modelos de viés e justiça.

Avalie seus experimentos de ML

Gerencie centralmente modelos MLflow

Várias equipes costumam usar o MLflow para gerenciar seus experimentos, com apenas alguns modelos se tornando candidatos à produção. As organizações precisam de uma maneira fácil de acompanhar todos os modelos candidatos para tomar decisões informadas sobre quais modelos serão produzidos. O MLflow se integra perfeitamente ao Registro de Modelos do SageMaker, permitindo que as organizações vejam seus modelos registrados no MLflow aparecerem automaticamente no Registro de Modelos do SageMaker, completo com um Cartão de Modelo do SageMaker para governança. Essa integração permite que cientistas de dados e engenheiros de ML usem ferramentas distintas para suas respectivas tarefas: MLflow para experimentação e Registro de Modelos do SageMaker para gerenciar o ciclo de vida da produção com uma linha de modelos abrangente.

Compartilhe atualizações e resultados

Implemente modelos do MLflow nos endpoints do SageMaker

A implantação de modelos do MLflow em endpoints do SageMaker é perfeita, eliminando a necessidade de criar contêineres personalizados para armazenamento de modelos. Essa integração permite que os clientes aproveitem os contêineres de inferência otimizados do SageMaker, mantendo a experiência do MLflow amigável ao usuário para log e registro de modelos.

Reproduza e audite experimentos de ML