A Shopify revelou ferramentas voltadas para o desenvolvimento de aprendizado de máquina, combinando uma plataforma visual open-source chamada Tangle com um agente autônomo chamado Tangent. A infraestrutura utiliza isolamento baseado em Linux e recursos de código aberto para acelerar o ciclo de hipóteses e testes.
O desenvolvimento de machine learning é caracterizado por ciclos contínuos de criação de hipóteses, construção de dutos, execução, leitura de métricas e ajustes. Para otimizar esse processo, a equipe da Shopify composta por Alexey Volkov, Bo Li, Ben Chen, Maksym Yezhov, Pete Luferenko e Volv Grebennikov apresentou o Tangle, uma plataforma compartilhada onde os experimentos de aprendizado de máquina são executados.
Além do Tangle, o ecossistema conta com o Tangent, um agente autônomo projetado para orquestrar os fluxos de trabalho de experimentação. O agente decide o que executar, realiza as tarefas e relata os resultados. Para dar suporte a essa tecnologia, foi desenvolvida uma plataforma baseada em Linux destinada à hospedagem segura desses agentes, garantindo persistência, trabalho remoto e acesso a serviços necessários sem que as instâncias precisem carregar credenciais diretamente.
O Tangle funciona de forma agnóstica em relação a plataformas e possui código aberto. Ele traz um editor visual do tipo arrastar e soltar, permitindo que os usuários montem gráficos de dutos conectando entradas e saídas de componentes. A execução pode ocorrer localmente ou na nuvem. Uma camada de cache integrada permite ignorar ou reutilizar etapas executadas anteriormente, acelerando as interações. Todo o histórico de execuções, incluindo gráficos e logs, fica armazenado de forma permanente para garantir a reprodutibilidade dos fluxos ao longo dos anos.
Como o compartilhamento de caches e execuções é nativo, os membros de uma equipe podem inspecionar, copiar e modificar os dutos de maneira rápida, sem a necessidade de clonar notebooks privados. O Tangle compartilha semelhanças com ferramentas de código aberto como Airflow e Kubeflow Pipelines. Qualquer programa de linha de comando containerizado escrito em qualquer linguagem pode ser utilizado como componente no Tangle, trocando dados como arquivos em formatos diversos como CSV, Parquet e JSON.
Inspirado no conceito de autoresearch, o Tangent eleva a automação para fluxos de trabalho completos em cima do Tangle, operando com uma frota de subagentes especializados, pontos de verificação com barreiras e memória persistente. A partir de um cenário, modelo, conjunto de dados e métrica a ser otimizada, o agente analisa resultados, formula hipóteses, altera dutos e monitora execuções de forma interativa ou autônoma.
O funcionamento do Tangent baseia-se em um ciclo de oito etapas com pontos de verificação controlados. O agente só avança de fase após a aprovação de todos os itens de um checklist, recarregando instruções e contextos para evitar desvios em execuções longas. A memória utiliza arquivos de texto simples, registrando as melhores configurações em um arquivo de notas, sessões diárias e aprendizados arquivados em armazenamento de objetos. As habilidades do agente são estruturadas em arquivos Markdown, o que facilita a portabilidade e a revisão por meio de solicitações de pull.
Para a infraestrutura, a plataforma de hospedagem do Tangent emprega contêineres e máquinas virtuais baseadas em Linux. Cada instância atua como um espaço multiagente e herda primitivas de rede, armazenamento e isolamento do próprio sistema operacional. No ambiente Kubernetes, as instâncias funcionam como StatefulSets, unindo pods de agentes, aplicativos e proxies de autenticação.
Para proteger as credenciais de vazamentos para provedores de inteligência artificial, um proxy do sistema intercepta e modifica requisições HTTP e HTTPS geradas pelas ferramentas dos agentes, injetando cabeçalhos de autenticação de forma automática com o auxílio de certificados SSL gerados em tempo de execução. A interface Tangent Shell gerencia a execução remota de múltiplos agentes, coordenando subtarefas paralelizadas por meio de um agente principal.
Todos os projetos — incluindo o Tangle, as habilidades do Tangent, a plataforma de hospedagem e o Shell — foram lançados sob a licença Apache 2.0 e recebem contribuições públicas na plataforma GitHub. O Tangle é mantido por seu criador, Alexey Volkov, com o patrocínio inicial e suporte de infraestrutura fornecidos pela Shopify.