Lidando com dados empresariais: Data Quality

Estamos em uma era de dados. Todas as informações começam a ser captadas por sensores e equipamentos conectados à Internet das Coisas (IoT ou Internet of things).

Estes dados passam a ser fundamentais para a tomada de decisão. Com um número gigantesco deles, saber como organizar e analisar esses “inputs” é fundamental. Por isso, esse trabalho lida com um aspecto de precisão muito grande: é preciso que toda a informação registrada esteja correta, completa e pronta para os processos de mineração e análise. 

Foi para isso que surgiu o Data Quality: para garantir que os dados sejam padronizados, completos, íntegros, aderentes às regras de negócio e únicos.

Pra medir se estão qualificados para análises, o Data Quality (DQ) determina a qualidade dos dados, acompanhando algumas métricas:

Completude: deve ser verificado se os dados estão completos. Por exemplo, um endereço sem o número, um nome de contato sem um telefone, uma sequência de dados para análises corrompidos ou sem acesso.

Conformidade: para serem analisados, os dados precisam estar padronizados. Exemplo: se num banco de dados a informação do CPF contém as pontuações e separações corretos e no outro, não, então a informação está comprometida.

Consistência: tomando uma Seguradora como exemplo, considera-se que os dados de sexo Masculino ou Feminino são informações fundamentais para determinar a precificação de um plano. Se estes dados estiverem faltando, entende-se que a qualidade está comprometida.

Precisão: nesta dimensão, verifica-se se as informações estão precisas e em acordo com os critérios do cliente.

Duplicidade: a duplicação de dados na base de análise pode gerar problemas nos relatórios analíticos e fornecer informações erradas.

Integridade: quando se fala em qualidade, é preciso pensar em integridade das informações. Quanto mais reais os dados armazenados, melhor os resultados das análises.

O Processo 

A qualidade dos dados irá agregar valor a estas informações, que depois podem ser analisadas com critérios precisos para chegar aos resultados esperados. No processo de qualificação destes dados é importante seguir as regras de qualidade, desenvolvida com experiência ao longo de aplicações nas empresas. Na imagem a seguir, observe que estas regras formam um ciclo de processo de DQ.

Primeiramente, descobre-se quais informações serão estudadas. Em seguida, definem-se os critérios de análise e verifica-se a conformidade com as dimensões de qualidade.

Avalia-se se os dados gerados estão corretos e se são necessárias avaliações manuais destes dados ou uma validação com os sistemas, para conferência. Caso haja divergências, deve-se aprimorar a técnica e realizar uma varredura para obter as informações corretas.

Por fim, as informações devem ser integradas aos sistemas de monitoramento.

Impacto da baixa qualidade dos dados

A baixa qualidade nos dados impacta em diversos setores da empresa. No setor financeiro, por exemplo, ocorre a perda de oportunidades como a redução de custos, a avaliação imprecisa do desempenho dos funcionários e a incapacidade para identificar fornecedores para análises de gastos.

A confiança na organização também fica vulnerável com a incapacidade de oferecer fatura unificada aos clientes e de decisões prejudiciais na precificação. A produtividade fica reduzida devido à incapacidade de processamento direto, mediante utilização de serviços automatizados.

Outro fator afetado pela baixa qualidade dos dados é o risco de não avaliar plenamente o histórico de crédito, levando à uma avaliação incorreta dos riscos.

Benefícios de qualidade nos dados para o Business Intelligence (BI)

Estudos do Gartner e Cutter comprovam os benefícios de uma boa qualidade dos dados. Um deles avaliou uma empresa global do segmento de alimentos que economizou R$3 milhões em 3 meses com a utilização de DQ.

Em uma rede de farmácias, outra análise mostrou que houve uma redução de 50% no tempo de entrega em relação à codificação manual. No segmento de petróleo, uma empresa norte americana conseguiu reduzir os pagamentos em duplicidade em R$ 20 milhões.

A vantagem de implementar o DQ é obter informações confiáveis. Isso implica numa reação mais positiva do mercado quanto ao reconhecimento da ferramenta em grandes corporações, pela possibilidade de melhor analisar os gastos, de adquirir novos clientes e de otimizar a cadeia de fornecimento.

Implementação 

A pergunta chave agora é: onde está sua empresa na curva de maturidade?

O foco em DQ ainda é subestimado em muitas empresas brasileiras, muito porque ainda é visto como custo. Essa cultura mudando, os resultados mudam também. Quando a atitude passa a ser proativa e o trabalho de qualificação dos dados passa a orientar negócios, os ganhos são inevitáveis. Partindo deste ponto, o Data Quality se torna estratégico e passa a ser encarado como capacitador chave.

Técnicas 

Uma das técnicas de implementação do DQ é o Profile, onde os dados são codificados e qualificados. No registro da base serão informados o tipo de dado e o percentual de qualidade com um visão tanto técnica, como de negócios.

Outras técnicas utilizadas na implantação incluem o processo de padronização, limpeza e validação dos dados. Já o Match e a Consolidação configuram o momento no qual é feita a identificação dos registros e a eleição de um registro mestre.

O Gerenciamento de Exceção consiste no tratamento manual realizado por uma área de backoffice dos registros, e o Monitoramento tem o objetivo de averiguar o nível de qualidade dos dados.

Conclusão

A implementação consiste em um processo aparentemente simples, mas essencial para explorar a qualidade dos dados a favor das empresas, já que dados precisos são fundamentais para a aplicação de BI. As soluções baseadas em dados com qualidade criam sinergia com os processos existentes da empresa e aumentam as chances de promover vantagem competitiva.

Enfim, ao ser bem sucedida, a implementação do DQ ajuda, ainda, a maximizar os retornos sobre investimentos (ROI) das organizações.