Sim e não, ao mesmo tempo. A resposta depende mais para qual lado da equação você está olhando.
Duas camadas, mas com velocidades diferentes
O ecossistema de dados (e não apenas ela) tem pelo menos duas camadas que se movem em ritmos completamente diferentes:
Ferramentas: É onde as coisas mudam. Novas plataformas, frameworks e serviços aparecem todo ano. O que era hype em 2020 pode ser legado em 2025.
Fundamentos: É a parte estável. Conceitos como processamento distribuído, modelagem de dados, qualidade, latência vs. throughput, trade-offs de consistência… Esses conceitos não envelhecem.
A sensação de que “tudo muda rápido demais” vem de focar na camada de ferramentas e ignorar que a camada de baixo se move devagar.
O padrão histórico
Olhando para trás, as mudanças reais de paradigma foram poucas e espaçadas. Basicamente, as mudanças nos últimos anos olhando para dados, tivemos:
timeline title Evolução do ecossistema de dados Anos 90 : Data Warehouse : SQL analítico centralizado 2010 : Hadoop / HDFS : Armazenamento distribuído barato 2014 : Apache Spark : Processamento em memória substitui MapReduce 2018 : Cloud-native : S3 + Redshift / BigQuery / Snowflake 2020 : Lakehouse : Delta Lake e Iceberg com ACID sobre object storage
Entre cada uma dessas mudanças, houve anos de ferramentas novas que vieram e foram. O engenheiro que entendia os conceitos por trás de cada era conseguiu migrar; o que sabia só operar a ferramenta ficou preso.
FOMO de ferramenta vs. mudança real de paradigma
Porém, nem todo lançamento é uma mudança de paradigma. E aqui cabe frisar um sinal para poder distinguir:
- Mudança de paradigma: resolve um problema que a abordagem anterior não conseguia, ou seja, muda o trade-off fundamental (ex: Delta Lake trouxe ACID para o lake).
- Hype de ferramenta: faz a mesma coisa de forma levemente diferente ou com marketing melhor.
A pergunta útil não é “essa ferramenta é nova?”, mas “ela muda algum trade-off fundamental?”
A estratégia que (eu entendo que) funciona
Investir em fundamentos primeiro não é conservadorismo. Eu consideraria uma alavancagem. Uma vez que se entende como um pipeline funciona, a gente aprende qualquer orquestrador. Quem entende o que um Lakehouse resolve consegue avaliar Delta Lake, Iceberg e Hudi sem ser refém do marketing e hype de nenhum deles.
TL/DR:
Ferramentas são implementações. Conceitos são transferíveis.
Ver também: ferramentas-engenharia-dados | big-data | data-lake-lakehouse | engenharia-de-dados | pipeline-de-dados | mermaid-diagrams