Pular para o texto

Designing Data-Intensive Applications

Martin Kleppmann e Chris Riccomini. 2ª edição, O’Reilly, 2026.

Cada capítulo resumido em português, na ordem do livro. Os títulos ficam em inglês, como no original, com a página em que cada seção começa.

1 de 14 capítulos resumidos.

Capítulo 1 Trade-Offs in Data Systems Architecture

Páginas 1 a 32 do livro.

There are no solutions; there are only trade-offs.

Thomas Sowell, em entrevista a Fred Barnes (2005)

O capítulo não ensina ferramentas. Ele compara quatro escolhas que moldam qualquer sistema de dados, mostra o que cada lado ganha e perde e define o vocabulário do resto do livro. A ideia é aprender a fazer as perguntas certas, porque nenhuma abordagem é melhor em tudo.

Ponto de partida

Abertura do capítulo, p. 1

Uma aplicação é data-intensive quando o principal desafio são os dados, e não a CPU: volume, mudanças, consistência diante de falhas e concorrência, disponibilidade. Ela é montada com peças padrão (banco, cache, índice de busca, stream e batch processing) ligadas por código de aplicação, e o difícil é escolher entre muitas opções parecidas e combiná-las quando uma só não resolve. Esse código costuma ser stateless: o que precisa persistir fica na infraestrutura de dados do backend, que guarda os dados de todos os usuários.

clientes navegador ou app HTTP código da aplicação sem estado lê e grava infraestrutura de dados banco de dados cache índice de busca fila de mensagens
O código da aplicação atende cada requisição e esquece dela ao terminar. O que precisa durar fica na infraestrutura de dados, que guarda os dados de todos os usuários.

Operacional vs. analítico

Operational Versus Analytical Systems, p. 3

O backend lê e altera dados; analistas de negócio (BI) e cientistas de dados só leem o que ele gerou. Daí a divisão usada no livro todo: sistemas operacionais (OLTP), onde o dado nasce e é lido e gravado registro a registro, e sistemas analíticos (OLAP), com uma cópia somente leitura em que as queries varrem muitos registros para agregar.

Diferenças típicas (tabela 1-1 do livro)
AspectoOperacional (OLTP)Analítico (OLAP)
LeituraRegistros individuais, por chaveAgregação sobre muitos registros
EscritaCria, altera e apaga registrosCarga em lote (ETL) ou stream
QueriesMuitas, pequenas e fixas no códigoPoucas, complexas e ad hoc
O dado representaO estado atualO histórico de eventos
TamanhoGB a TBTB a PB

Data warehouse. Um banco separado para análise, alimentado por ETL (ou ELT), onde dá para cruzar numa query dados espalhados em silos sem pesar no OLTP. O HTAP põe os dois num sistema só, mas não substitui o warehouse: a empresa pode ter centenas de bancos operacionais e costuma ter um warehouse só, que reúne todos.

bancos operacionais (OLTP) loja online estoque entregas extract transform · limpa e muda para o schema de análise load data warehouse uma cópia só leitura dos três bancos queries analistas e cientistas de dados
Os dados saem de cada banco operacional, são limpos e reorganizados e chegam ao warehouse, onde o analista cruza tudo numa query sem pesar nos bancos de produção. O livro mostra esse fluxo na figura 1-1.

Data lake. Arquivos crus, sem schema imposto, em object storage barato, para cientistas de dados que preferem Pandas ou Spark a SQL. É o sushi principle: “raw data is better”. A análise também recebe streams, reagindo em segundos, e às vezes devolve resultados à produção (reverse ETL), como um modelo de recomendação.

System of record e dado derivado. O system of record é a fonte da verdade, com cada fato registrado uma vez só. Cache, índice, view materializada e modelo treinado são derivados: redundantes, feitos para leitura rápida e recriáveis a partir da fonte. Sistemas analíticos quase sempre são derivados. O papel depende do uso, não da ferramenta; o difícil é propagar as mudanças da fonte para os derivados (capítulo 11).

Cloud vs. self-hosting

Cloud Versus Self-Hosting, p. 12

É a escolha entre construir e comprar: o que é central para o negócio tende a ficar em casa, e o que é rotina vai para um fornecedor. Hospedar por conta própria costuma sair mais barato quando o time já sabe operar o sistema e a carga é previsível. A cloud compensa quando falta esse conhecimento ou quando a carga oscila muito, como em análise, porque dá para devolver os recursos que sobram.

código hardware operação sob medida pronto, on-premises pronto, em VM (IaaS) serviço de cloud fica com você fica com o fornecedor
Do software sob medida ao serviço de cloud, o que fica com você diminui: primeiro sai o código, depois o hardware e, por fim, a operação. O livro desenha esse espectro na figura 1-2.

A maior desvantagem da cloud é a falta de controle. Se falta uma feature ou o serviço cai, só resta pedir e esperar. Bugs são investigados sem acesso aos logs internos. E há lock-in, mudança de preço, risco de sanções entre países e a necessidade de confiar a segurança dos dados ao provedor.

Cloud native. Sistemas feitos para a cloud (Aurora, Spanner, Snowflake, BigQuery) se apoiam em outros serviços dela e costumam render mais no mesmo hardware, se recuperar de falhas e escalar mais rápido. A marca deles é separar storage de compute: o disco local vira cache e os blocos grandes vão para object storage como o S3. Muitos também são multitenant, com vários clientes no mesmo hardware.

tradicional um servidor CPU e RAM local disco durável (RAID) cloud native CPU e RAM disco local (só cache) CPU e RAM disco local (só cache) rede object storage (S3) durável, blocos grandes
No modelo tradicional, o disco durável fica no mesmo servidor que processa. No cloud native, o disco local vira cache e os dados duráveis ficam no object storage, do outro lado da rede, então as máquinas de compute podem ser trocadas ou multiplicadas sem mover os dados.

A operação continua. Ela passou do DBA e do sysadmin para DevOps e SRE. Planejar capacidade vira planejar gastos, otimizar performance vira otimizar custo, e escolher, integrar e monitorar serviços continua sendo trabalho seu.

Distribuído vs. um nó só

Distributed Versus Single-Node Systems, p. 19

Distribuir faz sentido por tolerância a falhas, escala, latência para usuários espalhados, elasticidade, hardware especializado ou leis de residência de dados. Às vezes a aplicação já nasce distribuída, com vários usuários ou serviços na cloud.

O preço de distribuir. Toda chamada de rede pode falhar ou dar timeout sem que você saiba se o outro lado processou, e repetir pode não ser seguro (capítulo 9). A rede é muito mais lenta que uma chamada local, depurar exige observabilidade e tracing, e a consistência entre serviços vira problema da aplicação. Em alguns casos, um programa de uma thread numa máquina só bate um cluster com mais de 100 cores.

cliente serviço timeout pedido nada chegou timeout pedido caiu timeout pedido resposta processou
Para o cliente, os três casos são iguais: um timeout. Ele não sabe se o pedido chegou nem se foi processado, e no terceiro caso repetir o pedido faz o trabalho duas vezes.

Recomendação: não distribua antes da hora. O hardware atual, com bancos como DuckDB e SQLite, dá conta de muita carga numa máquina só.

Microservices e serverless. Em microservices, cada serviço tem um propósito, uma API, um time responsável e o próprio banco, ao custo de testes, deploys e APIs mais difíceis de evoluir. Para o livro, são “a technical solution to a people problem”: valem em empresa grande, com muitos times, e viram custo desnecessário numa pequena. Serverless cobra só pelo tempo de execução, em troca de limite de duração e cold start.

Dados, lei e sociedade

Data Systems, Law, and Society, p. 24

Quem constrói sistemas de dados também tem responsabilidade com a sociedade, porque sistemas automáticos já decidem crédito, seguro, entrevistas de emprego e suspeitas de crime. GDPR, CCPA e o EU AI Act chegam ao próprio design: o direito ao esquecimento esbarra em logs append-only imutáveis e em dados derivados, como os de treino de um modelo, e ainda não há receita técnica pronta.

pedido de exclusão (GDPR) apaga system of record registro apagado cópias feitas antes log append-only data warehouse dados de treino ainda tem o dado ainda tem o dado ainda tem o dado
Apagar o registro na fonte não alcança as cópias feitas antes: o log append-only é imutável por design, e o warehouse e os dados de treino já incorporaram o dado.

Guardar dados tem custo além da conta do S3: vazamento, multa, pedido do governo e risco para o usuário quando o dado revela algo criminalizado em algum lugar. Daí a data minimization (Datensparsamkeit): não guardar o que não tem finalidade explícita, o oposto de guardar tudo porque um dia pode servir.

Conclusão

Summary, p. 25

Muitas perguntas não têm resposta certa, só prós e contras. Operacional e analítico diferem no acesso, no público e na forma de guardar os dados (capítulo 4). Cloud ou self-hosting depende do caso, mas a cloud já mudou a arquitetura, a começar pela separação entre storage e compute. Distribuir tem custo, então só quando for preciso (capítulo 9). E o desenho do sistema também responde às leis de privacidade, um lado que muitos engenheiros ignoram.