Neste meu primeiro texto aqui em nosso blog  quero trazer uma notícia positiva para você. Algo que temos visto na prática. Nós da Haze Shift temos percebido o quanto as empresas brasileiras têm criado uma cultura de dados em diversos setores para traçar estratégias. Isso é muito positivo. 

Por outro lado, o nível de maturidade para mineração desses dados ainda é baixo, ou seja, poucas pessoas conseguem realizar o tratamento dos dados transformando-o em informação estratégica. Pesquisa da Gartner demonstrou que 91% das organizações pesquisadas não alcançaram um nível de maturidade de transformação de Data e Analytics, apesar desta ser a prioridade dos investimentos dos executivos de TI.  

Muitas empresas ainda centralizam a gerência desses dados, normalmente com o setor de tecnologia, o que gera um grande gargalo. Mas também é uma oportunidade. 

O que percebemos é que as áreas não se preocupam em aprender a ser data driven, em outras palavras, serem orientadas por dados, e isso não gera evolução. Então, a empresa centraliza e tem que fazer crescer a equipe de dados.

Vamos entender um pouco mais sobre isso? 

Para você ter uma ideia do tamanho do gargalo, compartilho aqui uma breve história pessoal. Observei dentro de uma grande empresa de perfumaria e cosméticos a presença de 300 profissionais data driven. Mesmo assim, ainda não conseguiam atender a toda demanda existente, nem conseguir contratar mais gente. O que era para ser uma solução (o uso de dados) acaba se tornando um problema.

Por isso, acreditamos que uma boa saída para a próxima geração de tratamento de dados é o Data Mesh. Vamos aprender o que é isso juntos. 

O que é Data Mesh?

O Data Mesh, ou malha de dados, é uma nova abordagem que tem o objetivo de facilitar a democratização dos dados dentro da empresa com a descentralização da governança. O modelo foi proposto por Zhamak Dehghani, diretora de tecnologia da ThoughtWorks, explicado pela primeira vez neste artigo.

A ideia é que cada setor tenha seu próprio cientista de dados, e consiga fazer a mineração das informações para encontrar soluções. Em outras palavras, Data Mesh é uma cultura de distribuir este conhecimento com a empresa toda, fazendo com que as áreas sejam de dados.

Ou seja, não existe um departamento de dados, existe uma empresa de dados.

Data Mesh x Data Lake

Podemos dizer que o Data Mesh é uma evolução do Data Lake, pois traz a solução para o modelo anterior desse gargalo que existia da centralização dos dados.

No Data Lake os dados são armazenados em um só lugar, sejam dados estruturados ou não. Então uma equipe de cientistas de dados recebe o pedido dos setores, realiza o tratamento e entrega diferentes tipos de análises, painéis e outras soluções para que a área possa tomar decisões com estas informações.   

A ilustração abaixo do artigo de Dehghani mostra como as empresas concentram dados no Data Lake, tornando a gerência de dados uma grande estrutura para atender todas as áreas:

Já o Data Mesh propõe a descentralização da execução dos dados, com cada área tendo o seu núcleo de dados e se relacionando também com outras áreas.

O ideal é que todos já possuam essa expertise de dados em todas as áreas, seja RH, financeiro, comercial ou marketing.

Mas, então, como implementar o Data Mesh?

Mudar para a cultura de Data Mesh é uma tarefa desafiadora, pois altera a estrutura das equipes e a forma como estes dados são compartilhados. É necessário, portanto, dar mais um passo na cultura de transformação digital de forma bem planejada. 

Mas nós podemos ajudar. Aqui na Haze Shift começamos a implementar Data Mesh nas empresas com os seguintes passos:

1 – Workshop com as lideranças e elaboração de uma estrutura para que elas entendam de dados.
2 – Um processo orçamentário que permita que as áreas tragam pessoas de dados, para que não fique concentrado apenas com o TI.

Mas aí você deve estar pensando em outro problema: “Quem vai liderar esse pessoal?” 

No Data Mesh mantemos a estrutura de governança central com o apoio de engenheiros de dados que vão prestar consultoria interna para estes executores que estão nas áreas, vão cuidar da infraestrutura, pipelines, liberação de acessos, segurança de informação entre outras atividades específicas.

Onde já acontece o Data Mesh?

Aqui no Brasil este conceito é bastante recente. Temos implementado em algumas empresas realizando workshops para lideranças.

No exterior já existem empresas avançando mais nesse sentido, como a Netflix. A empresa de streaming tem mais de 150 milhões de usuários que geram trilhões de dados diariamente. Eles já passaram pelas dores da centralização da gestão de dados e atualmente trabalham com Data Mesh. Neste vídeo você pode acompanhar como foi esse processo de transformação.

Além da Netflix, a Yelp, multinacional de aplicativos para avaliação de estabelecimentos comerciais, alterou a arquitetura facilitando o acesso aos dados, melhorando a forma de armazenamento e realizando fluxos em lote trabalhando com equipes setorizadas. 

No início houve dificuldade em realizar estas mudanças, mas foi importante não desencorajar durante o processo. Como resultado, a Yelp percebeu uma melhor organização na forma como os dados estavam sendo consumidos e mais agilidade no acesso a toda malha de dados.

Quando começar com Data Mesh?

Se a sua empresa já tem certa maturidade com o processamento de dados, tem familiaridade com Data Lake e tem sofrido com o gargalo em centralizar tudo em uma operação, é hora de pensar em Data Mesh.

É o momento em transformar a empresa que tem um setor de dados em uma empresa toda de dados. Na Haze Shift nós podemos te ajudar neste processo de transformação, vamos tomar um café (mesmo que virtual) e compartilhar seus desafios. Vamos conversar!