O conceito de dark data ou “dados obscuros” se refere a informações que são coletadas, armazenadas e processadas por organizações, mas que não são utilizadas de forma ativa para gerar insights ou agregar valor. São dados que muitas vezes ficam “escondidos” e não são analisados, não por falta de coleta, mas pela falta de ferramentas, processos ou consciência para extraí-los e utilizá-los. O fenômeno do dark data é um dos maiores desafios no cenário atual de gestão de dados, uma vez que muitas organizações lidam com enormes volumes de informações que acabam sendo negligenciadas.
Atualmente, o mundo está imerso em um mar de dados. A cada minuto, bilhões de informações são geradas em plataformas como redes sociais, e-mails, sites de vídeo e outras fontes digitais. Por exemplo, são enviados mais de 231 milhões de e-mails, compartilhadas 66 mil fotos no Instagram e assistidos mais de 3 milhões de vídeos no YouTube, todos os minutos. Cada uma dessas interações gera dados que, muitas vezes, não são analisados ou usados de forma eficiente. Esse vasto oceano de informações pode ser visto como uma grande oportunidade para negócios e organizações que souberem como minerar e explorar esses dados de maneira estratégica.
Dark data é o termo que define os dados que são coletados, mas não utilizados de forma eficaz. Esses dados podem ser de diversas fontes, como logs de navegação, e-mails antigos, imagens ou vídeos que nunca são acessados novamente, ou informações que são armazenadas de maneira desorganizada e esquecida ao longo do tempo. Um exemplo comum é o histórico de navegação da internet, que contém dados que, embora acumulados, não são analisados. Da mesma forma, muitas empresas mantêm uma enorme quantidade de dados que, devido à falta de uma estratégia de governança, não são acessados nem analisados. De acordo com uma pesquisa da IBM com 1600 empresas, 90% relataram que mais de 50% de seus dados armazenados são dark data, um número que ilustra o imenso potencial não explorado que se perde devido à falta de ação.
Os dados obscuros podem vir em diferentes formatos, como arquivos antigos de computador, dados de formulários não utilizados, registros de interações (como chamadas telefônicas e e-mails antigos) e até mesmo informações de sensores que não foram analisadas ou aproveitadas. Esses dados podem estar espalhados em diversos locais e, sem um processo de organização ou governança, permanecem inutilizados. Por exemplo, quantas vezes um sensor de porta automática registrou sua abertura, mas esses dados não são utilizados de forma útil? Esse é apenas um exemplo de como os dados, coletados mas não analisados, ficam perdidos.
A principal razão pela qual os dark data se acumulam é a ideia equivocada de que armazenar todos os dados possíveis é vantajoso. Embora o armazenamento de dados seja barato e acessível, especialmente com o uso da nuvem, muitas organizações não têm ferramentas ou processos adequados para organizar, integrar e analisar esses dados. A análise de dados estruturados, como planilhas e bancos de dados relacionais, é mais fácil e amplamente utilizada, mas quando se trata de dados não estruturados, como imagens, vídeos, PDFs ou até mesmo textos em e-mails, o processo de extração de insights torna-se muito mais complexo.
Além disso, muitos dados armazenados são de baixa qualidade, incompletos ou mal documentados. Isso torna ainda mais difícil para as organizações acessarem e utilizarem esses dados de maneira eficaz. A falta de uma governança de dados adequada, ou de políticas claras sobre como armazenar, proteger e acessar os dados, é um dos maiores entraves para a exploração de dark data. Muitas vezes, esses dados são esquecidos ou negligenciados, simplesmente porque as equipes não sabem onde eles estão ou como podem ser usados.
Existem muitos riscos associados ao armazenamento de dark data que não são utilizados. Além do desperdício de recursos e custos com armazenamento de dados que não geram valor, há o risco de segurança e compliance. Dados sensíveis que não estão devidamente protegidos podem ser acessados por pessoas não autorizadas, o que pode resultar em violação de privacidade e potenciais multas e penalidades.
Além disso, o não uso desses dados pode significar oportunidades de negócio perdidas. Os dados não analisados contêm insights valiosos que podem melhorar a tomada de decisões, otimizar processos e até gerar inovações. Ao deixar esses dados acumularem sem serem aproveitados, as organizações perdem a chance de se tornar mais eficientes e competitivas.
Para lidar com o desafio do dark data, as organizações devem adotar uma abordagem proativa. É preciso implementar políticas de governança de dados que garantam a organização, integridade e acessibilidade dos dados armazenados. Além disso, as empresas precisam investir em ferramentas e tecnologias que possam analisar dados não estruturados, como inteligência artificial, aprendizado de máquina e outras técnicas avançadas de análise de dados.
Uma boa governança de dados é crucial para garantir que os dados sejam armazenados de forma adequada, com a documentação correta e rotulagem dos metadados, o que facilita sua utilização futura. É necessário também treinar as equipes para que entendam a importância de organizar e analisar todos os dados disponíveis, não apenas aqueles mais fáceis de acessar.
Quando bem geridos e analisados, os dark data têm um imenso potencial para gerar valor. As organizações que conseguem iluminar seus dados obscuros podem obter insights valiosos que os ajudam a tomar decisões mais informadas, melhorar a experiência do cliente, identificar novas oportunidades de mercado e, no geral, se tornar mais competitivas.
Empresas de diversos setores, como financeiro, saúde e varejo, estão começando a perceber o valor dos dados não estruturados e estão adotando estratégias para extrair insights deles. Um exemplo disso é o uso de dados não estruturados no setor de saúde, como gravações de conversas entre médicos e pacientes ou anotações de prontuários, para melhorar os cuidados médicos e personalizar o tratamento.
O gerenciamento eficiente de dark data é um dos maiores desafios e, ao mesmo tempo, uma das maiores oportunidades no campo de analytics. As empresas que conseguirem identificar e analisar seus dados obscuros não apenas reduzirão custos e riscos, mas também poderão desbloquear insights que transformarão suas operações e estratégias. Incorporar os dark data nas práticas de big data analytics permitirá que as organizações se mantenham à frente da concorrência em um mundo cada vez mais orientado por dados.
Links fontes
https://www.ibm.com/topics/dark-data
https://www.youtube.com/watch?v=Ql331AJYmVI
https://link.springer.com/article/10.1007/s13347-019-00346-x
https://dictionary.cambridge.org/dictionary/english/data
https://localiq.com/blog/what-happens-in-an-internet-minute/
https://fpt-is.com/en/insights/dark-data-unveiling-the-darkness/
https://askwonder.com/research/case-studies-dark-data-gbm1p079u
Recomendações de Conteúdo
Documentário “What Facebook Has Done To Us”
Canais no youtube
Cleo Abram – https://www.youtube.com/@CleoAbram
IBM – https://www.youtube.com/@IBMTechnology/videos3
Blue 1 Brown – https://www.youtube.com/@3blue1brown
Flora Sauerbronn1 contribuições
Olá! Sou a Flora, uma entusiasta de esportes e natureza. Pratico escalada e atualmente estou me desafiando em treinos para uma meia maratona de trail run, porque não existe nada melhor do que unir exercício e paisagens incríveis. Gosto de estar entre pessoas, trabalhar em equipe e aprender com as trocas de experiências. Sou oceanógrafa e, ao longo da minha carreira, fiz uma transição para a área de tecnologia, acumulando seis anos de experiência com Python e análise de dados. Trabalhei como analista de dados na SulAmérica Seguros, onde contribuí para a criação do Data Lake de Vida e Previdência, gerando insights e desenvolvendo dashboards estratégicos para o negócio. Atualmente, sou mestranda na UFSC, onde estou desenvolvendo um software a partir de um modelo de machinelearning que possa er utilizado em auditorias ambientais.
