Projeto desenvolvido pela SciCrop modernizou a estrutura e transformou aspectos organizacionais da rotina de análise de dados da melhor empresa brasileira do ramo de sementes.
Bons códigos são apenas frações de sistemas sólidos de machine learning. A frase é marcante e tem grande fundamentação. Existe uma estrutura que se deve desenvolver ao redor do algoritmo para o funcionamento de qualquer sistema de ML.
A estrutura mencionada, envolve temas como: coleta e preparação de dados, monitoramento do modelo, infraestrutura do servidor e muitos outros. Necessidades tão distintas, exigem profissionais de diferentes áreas: operadores de TI, cientistas de dados e desenvolvedores. Para evitar falhas de comunicação entre esses profissionais, melhorar a organização dos dados e otimizar os sistemas de machine learning, existe um conjunto de boas práticas denominado: ml-ops. Através de seu uso, todos os profissionais envolvidos em um sistema de Machine Learning conseguem alcançar o máximo desempenho.
Pensando em aperfeiçoar sua rotina de análise de dados e dar mais eficiência aos processos de machine learning, uma grande empresa nacional de sementes, eleita 3 vezes consecutivas a melhor do Brasil na categoria, contratou a SciCrop. Através dos conceitos de ml-ops, e de nossos serviços de infraestrutura e sustentação, otimizamos toda sua estrutura de analytics.
O desafio: “Havia uma estrutura automática de analytics, mas era preciso melhorar”
Para análises rotineiras,o cliente já contava com um sistema de análise de dados com um bom nível de automação, porém, não havia um fluxo de trabalho definido, o que levava a alguns gargalos. Havia também a ambição de quantificar o gasto com cloud de acordo com cada setor, para poder melhorar a gestão financeira e a alocação dos dados por seção.
A solução SciCrop: “módulo de automatização de workflows de ETL para analytics e estruturação de cloud para ml-ops ”
Para atender as demandas do cliente, primeiramente fomos a solução dos gargalos relacionados a análises de rotina. Aplicamos clusters de Kubernetes na AWS, hospedando Airflow para tarefas de ETL, dessa forma pudemos automatizá-las. Um detalhe interessante, é que foram alocados dois clusters em ambientes separados, um deles de desenvolvimento e um de produção. Além de ETL, o cliente pôde adaptar o módulo a outras tarefas da empresa de acordo com suas necessidades. Toda essa estrutura de ml-ops descrita foi estabelecida em cloud.
Para dar autonomia ao cliente na operação das inovações oferecidas, promovemos o treinamento das equipes e fornecemos a eles todos os códigos fonte disponíveis.
Resumindo o projeto em poucas palavras, desenvolvemos um: “Módulo de automatização de workflows de ETL para analytics e estruturamos um cloud para ml-ops“.
O resultado: “rotina ágil e migração para cloud”
Após a implantação do módulo, a empresa notou maior agilidade em sua rotina de analytics. Isso se deve a maior capacidade de monitoramento, controle de ferramentas e automação de processos conferidos pela solução.
Como mencionado anteriormente, o módulo também foi empregado em outras tarefas posteriormente. Sobre a infraestrutura propriamente dita, podemos mencionar a modernização do sistema do cliente que passou a funcionar em nuvem definida por software e também a possibilidade de realizar testes de produção e desenvolvimento em ambientes seguros e separados.
A combinação dos fatores permitiu maior controle de custos sobre os processos, tal como o solicitado inicialmente. Para finalizar, a lista de benefícios, a equipe do contratante saiu do projeto extremamente capacitada.
Se você já possuí um sistema de #analytics em sua empresa? Não se dê por satisfeito! Infraestrutura a organização das tarefas diárias muitas vezes podem ser melhoradas. Conheça os serviços de infraestrutura e sustentação da SciCrop e otimize a capacidade analítica de sua equipe.
