11 Data Trends para 2022
1 A era do “big data” está desaparecendo e a era do “small and wide data” está desaparecendo
Em 2011, a McKinsey & Company publicou um artigo afirmando que a nova era do big data estava chegando. O que eles queriam dizer era que as empresas tendiam a ter alguns sistemas muito complexos que estavam começando a acumular “montanhas” de dados.
Atualmente, devido à proliferação de software como serviço (SaaS), muitas empresas estão acumulando várias pequenas “montanhas” de dados em um amplo cenário de aplicativos. Em 2015, o número médio de aplicativos SaaS usados por organizações em todo o mundo era de 8. Em 2020, foram 80. E em 2021, foram 110.
Os conjuntos de dados desses aplicativos em nuvem são menores e mais simples, porém mais direcionados e, portanto, fornecem melhores insights aos tomadores de decisão.
O Gartner prevê que 70% das organizações estarão prestando a maior atenção em dados pequenos e amplos até 2025.
O boom do SaaS está mudando completamente a forma como os dados são tratados nas organizações, o que nos leva à próxima tendência.
2 As arquiteturas de dados estão se tornando combináveis
Entre os aplicativos em nuvem que surgem em todos os lugares estão ferramentas especializadas para integração, armazenamento e análise de dados. Este fato desencadeou uma tendência para a “composição” das arquiteturas de dados, o que significa que as empresas escolhem as ferramentas que compõem suas arquiteturas a qualquer momento, conforme ditado por suas necessidades em constante mudança.
De acordo com o Gartner, “a arquitetura de tecnologia composta é uma base para a capacitação digital dos negócios”. Essa tendência foi acelerada pelo COVID-19, que tornou a agilidade organizacional um valor fundamental para a maioria das organizações.
Assim como o big data está se transformando em dados pequenos e amplos, o dimensionamento vertical das pilhas de dados está mudando para o dimensionamento horizontal, pelo qual as empresas constroem “cadeias” ou caminhos para o processamento de dados em vez de empilhar recursos sobre os sistemas existentes. Aqui está um exemplo de como uma arquitetura de dados combinável pode se parecer:
Também vale a pena mencionar que as arquiteturas de dados compostos são mais baratas, pois podem ser dimensionadas a qualquer ritmo e, por serem baseadas em aplicativos padronizados fornecidos por fornecedores externos, exigem menos manutenção de equipes internas.
3 O domínio da análise de dados está se tornando autoatendimento
Tradicionalmente, os painéis são construídos por equipes de TI desacopladas dos profissionais de negócios que precisam visualizá-los. Quando os profissionais de negócios exigem novas informações, eles enviam uma solicitação à equipe de TI, que pode levar de horas a meses para ser atendida.
Esse arranjo é uma grande barreira para a flexibilidade que as empresas precisam cada vez mais para manter uma vantagem competitiva.
Daí o surgimento da análise de autoatendimento, em que usuários finais não técnicos podem configurar pipelines de dados e personalizar painéis independentemente dos engenheiros de dados. Além da pressão para reduzir o tempo de insights, essa tendência está sendo impulsionada por três fatores:
As ferramentas de Business Intelligence (BI) estão se tornando mais fáceis de usar.
Os usuários finais não técnicos desejam melhorar sua alfabetização de dados.
O aparecimento de ferramentas de integração de dados sem código.
O mercado de ferramentas de BI de autoatendimento já é extremamente competitivo e deve crescer 15% ao ano até 2026. Há também um claro impulso dos fornecedores para torná-las o mais fáceis de usar possível.
Abaixo está um exemplo de um painel amigável no Zoho Analytics:
Uma pesquisa global recente da Accenture com 9.000 funcionários de empresas de todos os setores indica que muitos funcionários gostariam de ser mais alfabetizados em dados – 37% afirmaram que o treinamento em alfabetização de dados melhoraria sua eficiência e 22% achavam que aliviaria o estresse.
E, finalmente, agora existem várias ferramentas de integração de dados sem código que permitem que os usuários de negócios extraiam dados de qualquer fonte e os enviem para qualquer destino para processamento e análise adicionais.
4 Mais departamentos estão adotando dados e análises como uma função central de negócios
Dados e análises têm o potencial de orientar a melhoria de praticamente qualquer processo em qualquer departamento de negócios. Mas até recentemente, seu aumento de importância era mais visível nos departamentos de marketing e vendas.
Agora, no entanto, dados e análises estão se tornando uma força motriz por trás das atividades de outros departamentos. Isso se reflete na adoção de ferramentas de BI de autoatendimento em áreas como RH, operações, finanças e até mesmo educação.
Além disso, os recursos de BI agora estão incorporados em muitas ferramentas específicas do departamento, como plataformas de recrutamento, que usam IA para identificar candidatos mais rapidamente, bem como software de planejamento de demanda, que usa análise preditiva para ajudar a planejar as operações.
À medida que dados e análises continuam a se tornar uma função central de negócios, as empresas misturam com mais frequência seus dados entre departamentos para criar uma rede interconectada de insights avançados.
5 “Citizen Data Scientist” é um papel emergente nas empresas
Os cientistas e engenheiros de dados são bons em dados, mas geralmente não têm o conhecimento de domínio necessário para que departamentos individuais tornem esses dados acionáveis.
Então, o que veremos cada vez mais neste ano são “cientistas de dados cidadãos”, ou seja, profissionais em departamentos não relacionados a dados que têm algum conhecimento de análise de dados, mas cujo conhecimento profissional geral está melhor alinhado com seu respectivo departamento. Aqui estão algumas tarefas que um cientista de dados cidadão seria capaz de realizar:
Esses profissionais sabem quais dados seus departamentos precisam rastrear e como visualizá-los usando ferramentas sem código. No entanto, eles próprios não constroem os modelos de dados.
É importante observar que o termo “cientista de dados cidadão”, cunhado pelo Gartner, dificilmente se tornará o nome de um novo cargo anunciado em portais de emprego em todo o mundo. Em vez disso, as responsabilidades serão escritas nas descrições de cargos de outros cargos.
Empresas globais como a BP já estão colhendo grandes benefícios dos cientistas de dados cidadãos.
6 A qualidade dos dados está se tornando uma grande preocupação
À medida que mais usuários começam a trabalhar com dados, maior é o potencial de que erros nos dados sejam proliferados para sistemas downstream.
Imagine um gerente de conteúdo cuja conta do Hubspot esteja conectada ao Google Analytics (GA). Uma semana depois de publicar um novo artigo no blog, eles verificam o painel do GA e, devido a um erro comum no script de medição, o artigo tem o dobro das visualizações da maioria dos artigos após a primeira semana.
O gerente então começa a publicar mais artigos semelhantes, apenas para descobrir que eles não estão produzindo os mesmos resultados. Ops!
Situações como esta desencadearam uma dupla tendência:
Empresas e funcionários estão aprendendo a prestar mais atenção à qualidade dos dados. Da próxima vez que esse gerente de conteúdo perceber um aumento dramático nas visualizações em seu painel do GA, ele voltará ao painel nativo do Hubspot para garantir que os números correspondam.
As tecnologias para detectar erros e anomalias estão se desenvolvendo rapidamente. Usando a IA, eles definem matematicamente os outliers analisando longas séries temporais. As ferramentas de detecção de anomalias agora atendem a uma ampla variedade de casos de uso de negócios, mas, como funcionam melhor quando alimentam grandes conjuntos de dados, não são uma solução mágica. A atenção dos usuários é, portanto, crucial.
7 A padronização de dados para cargas de trabalho de IA está aumentando
O fato de estarmos obtendo nossos dados de um número maior de sistemas e ferramentas mais simples significa que agora eles vêm em uma variedade maior de estruturas. Este é um problema para a análise baseada em IA.
As datas do calendário são um bom exemplo do porquê. Um sistema pode registrá-los como MM.DD.AAAA enquanto outro pode registrá-los como DD.MM.AAAA. Os humanos podem facilmente ver além dessas variações, mas as máquinas não.
Assim, para tornar os dados analisáveis por máquinas, eles devem ser padronizados ou “transformados”. Isso é extremamente importante porque hoje em dia há um grande boom no uso de aplicativos baseados em IA em todos os setores, principalmente em TI e telecomunicações, bancos e finanças, varejo, saúde e marketing.
Tradicionalmente, as transformações são de domínio dos desenvolvedores, que as executam periodicamente em grandes volumes de dados. Isso permanecerá relevante para muitos casos de uso, mas devido à crescente expansão de conjuntos de dados pequenos e amplos que precisam ser processados com rapidez e frequência por profissionais não técnicos, ferramentas ETL sem código, como Dataddo, são o caminho a seguir.
8 A demanda por integração de qualquer para qualquer está crescendo
À medida que mais e mais ferramentas especializadas aparecem, também aumenta a necessidade de integrá-las umas às outras. Isso ocorre porque, ironicamente, as ferramentas de integração de dados que agora são amplamente elogiadas por eliminar silos de dados são, na verdade, novos silos de dados.
Para ilustrar, digamos que seu contador passe muito tempo trabalhando diretamente no Hubspot CRM e que queira extrair dados de faturamento do Hubspot e emparelhá-los com dados externos para obter informações avançadas. É claro que eles podem fazer isso enviando os dados da fatura para um warehouse, combinando-os com os outros dados e visualizando os resultados em uma ferramenta de BI.
Mas isso acabará se tornando um aborrecimento, e o contador começará a se perguntar se é possível eliminar a ferramenta de BI como um silo e visualizar todos os dados diretamente no Hubspot.
É aqui que entra a integração de qualquer para qualquer. Ela capacita os atores em todos os níveis a criar sua própria fonte única de verdade enviando dados de qualquer origem ou destino para qualquer origem ou destino. Aqui está uma ilustração de integrações entre um ERP, CRM, site, campanhas publicitárias e plataformas de mídia social:
A capacidade de integração de qualquer para qualquer é tão nova que a terminologia para ela ainda não está consolidada, mas às vezes é chamada de ativação de dados ou ETL reverso.
Existem muito poucas ferramentas para isso no mercado, mas isso mudará no próximo ano.
9 A forma como os dados são governados está se tornando uma das principais preocupações dos negócios
A democratização dos dados, embora empoderadora, trouxe uma onda de novos desafios para as empresas.
De acordo com Nick Halsey, CEO da empresa de autorização de dados Okera, em um artigo da Forbes, esses desafios incluem “muitos dados de muitas fontes [...] um nível sem precedentes de ataques cibernéticos [...] funcionários que se deslocam entre casa e escritório, entre dispositivos pessoais e de trabalho.”
As empresas estão, portanto, enfrentando uma pressão crescente para lidar com a questão da governança de dados, o que na prática significa 2 coisas:
Garantindo a qualidade dos dados.
Garantindo a segurança dos dados.
Se os dados estiverem incorporados em todos os processos de tomada de decisão, eles precisam ser completos e consistentes. E se estiver sendo acessado por um número crescente de usuários, eles precisam ser os usuários certos, na hora e no lugar certos.
Isso está forçando as empresas a elaborar políticas de governança de dados que busquem um equilíbrio entre centralização e descentralização. A centralização significa melhor segurança e maior qualidade de dados, mas menos energia dos dados; a descentralização significa maior potencial para tomada de decisão independente e informada, mas maior risco de não conformidade e baixa qualidade dos dados.
Abaixo está uma ilustração do modelo hub and spoke de governança de dados:
Espera-se que o mercado de governança de dados cresça de 2,1 bilhões de dólares em 2020 para 5,7 bilhões de dólares em 2025 - um aumento de quase três vezes!
10 A questão da segurança e conformidade de dados vem ganhando destaque
Enquanto a governança de dados é como as empresas escolhem gerenciar seus dados, a conformidade de dados é como elas devem gerenciar seus dados. Com os dados se tornando cada vez mais abundantes, a conformidade com atos como GDPR na UE e leis de privacidade de dados do consumidor nos EUA é uma questão importante.
A gravidade desse problema na Europa é refletida pelos totais anuais de multas do GDPR. Em 2020, as multas totalizaram 306,3 milhões de euros. Em 2021, eles ultrapassaram € 1 bilhão, com a maior multa até o momento – € 746 milhões – sendo imposta à Amazon pelos tribunais de Luxemburgo.
Ainda não há lei federal de privacidade de dados nos EUA, e apenas três estados têm leis abrangentes de privacidade do consumidor em vigor, mas a maioria dos outros estados tem alguma forma de legislação de privacidade em andamento, então só podemos esperar que as empresas americanas em breve não tenham escolha a não ser observar cuidadosamente o que coletam e como o compartilham.
O Gartner até prevê que, até 2030, 50% dos negócios B2C em todo o mundo deixarão de reter dados de clientes devido a custos impossíveis de conformidade.
11 As plataformas de dados do cliente perderão relevância
As plataformas de dados do cliente (CDPs) são pacotes de software completos que coletam e combinam dados próprios e de terceiros de vários canais para oferecer às empresas uma visão de 360 graus de seus clientes.
Embora eles possibilitem integrações e visualizações de dados, eles são projetados principalmente para casos de uso de marketing e vêm com modelos de dados predefinidos que não oferecem a flexibilidade que as empresas irão confiar.
Isso é um problema por dois motivos:
As empresas precisarão adaptar suas arquiteturas de dados para atender às necessidades que mudam rapidamente.
As empresas vão querer cada vez mais integrar todas as suas ferramentas umas às outras para eliminar os silos de dados.
Os CDPs manterão seu lugar em mercados onde os players têm necessidades mais fixas. Mas, à medida que os sistemas baseados em nuvem e as ferramentas especializadas continuam a proliferar, essas soluções tudo-em-um provavelmente ficarão estagnadas em mercados cujos players precisam de capacidade de composição.
Em resumo:
A crescente abundância de dados está mudando completamente a forma como as decisões são tomadas em todos os setores – da alta administração até os funcionários da linha de frente. E as ferramentas disponíveis hoje tornam mais fácil do que nunca construir e manter uma arquitetura de dados que possa resistir à volatilidade do mercado.
Sim, a governança de dados inadequada abre as portas para não conformidades regulatórias e ameaças cibernéticas. Mas os benefícios da alavancagem de dados superam em muito as dificuldades que a acompanham.
As oportunidades são enormes e as empresas que não as aceitam correm o risco de ficar presas no nevoeiro.
Fonte: Hubspot
