Capítulo 1 Trade-Offs in Data Systems Architecture
Páginas 1 a 32 do livro.
There are no solutions; there are only trade-offs.
O capítulo não ensina ferramentas. Ele compara quatro escolhas que moldam qualquer sistema de dados, mostra o que cada lado ganha e perde e define o vocabulário do resto do livro. A ideia é aprender a fazer as perguntas certas, porque nenhuma abordagem é melhor em tudo.
Ponto de partida
Abertura do capítulo, p. 1
Uma aplicação é data-intensive quando o principal desafio são os dados, e não a CPU: volume, mudanças, consistência diante de falhas e concorrência, disponibilidade. Ela é montada com peças padrão (banco, cache, índice de busca, stream e batch processing) ligadas por código de aplicação, e o difícil é escolher entre muitas opções parecidas e combiná-las quando uma só não resolve. Esse código costuma ser stateless: o que precisa persistir fica na infraestrutura de dados do backend, que guarda os dados de todos os usuários.
Operacional vs. analítico
Operational Versus Analytical Systems, p. 3
O backend lê e altera dados; analistas de negócio (BI) e cientistas de dados só leem o que ele gerou. Daí a divisão usada no livro todo: sistemas operacionais (OLTP), onde o dado nasce e é lido e gravado registro a registro, e sistemas analíticos (OLAP), com uma cópia somente leitura em que as queries varrem muitos registros para agregar.
| Aspecto | Operacional (OLTP) | Analítico (OLAP) |
|---|---|---|
| Leitura | Registros individuais, por chave | Agregação sobre muitos registros |
| Escrita | Cria, altera e apaga registros | Carga em lote (ETL) ou stream |
| Queries | Muitas, pequenas e fixas no código | Poucas, complexas e ad hoc |
| O dado representa | O estado atual | O histórico de eventos |
| Tamanho | GB a TB | TB a PB |
Data warehouse. Um banco separado para análise, alimentado por ETL (ou ELT), onde dá para cruzar numa query dados espalhados em silos sem pesar no OLTP. O HTAP põe os dois num sistema só, mas não substitui o warehouse: a empresa pode ter centenas de bancos operacionais e costuma ter um warehouse só, que reúne todos.
Data lake. Arquivos crus, sem schema imposto, em object storage barato, para cientistas de dados que preferem Pandas ou Spark a SQL. É o sushi principle: “raw data is better”. A análise também recebe streams, reagindo em segundos, e às vezes devolve resultados à produção (reverse ETL), como um modelo de recomendação.
System of record e dado derivado. O system of record é a fonte da verdade, com cada fato registrado uma vez só. Cache, índice, view materializada e modelo treinado são derivados: redundantes, feitos para leitura rápida e recriáveis a partir da fonte. Sistemas analíticos quase sempre são derivados. O papel depende do uso, não da ferramenta; o difícil é propagar as mudanças da fonte para os derivados (capítulo 11).
Cloud vs. self-hosting
Cloud Versus Self-Hosting, p. 12
É a escolha entre construir e comprar: o que é central para o negócio tende a ficar em casa, e o que é rotina vai para um fornecedor. Hospedar por conta própria costuma sair mais barato quando o time já sabe operar o sistema e a carga é previsível. A cloud compensa quando falta esse conhecimento ou quando a carga oscila muito, como em análise, porque dá para devolver os recursos que sobram.
A maior desvantagem da cloud é a falta de controle. Se falta uma feature ou o serviço cai, só resta pedir e esperar. Bugs são investigados sem acesso aos logs internos. E há lock-in, mudança de preço, risco de sanções entre países e a necessidade de confiar a segurança dos dados ao provedor.
Cloud native. Sistemas feitos para a cloud (Aurora, Spanner, Snowflake, BigQuery) se apoiam em outros serviços dela e costumam render mais no mesmo hardware, se recuperar de falhas e escalar mais rápido. A marca deles é separar storage de compute: o disco local vira cache e os blocos grandes vão para object storage como o S3. Muitos também são multitenant, com vários clientes no mesmo hardware.
A operação continua. Ela passou do DBA e do sysadmin para DevOps e SRE. Planejar capacidade vira planejar gastos, otimizar performance vira otimizar custo, e escolher, integrar e monitorar serviços continua sendo trabalho seu.
Distribuído vs. um nó só
Distributed Versus Single-Node Systems, p. 19
Distribuir faz sentido por tolerância a falhas, escala, latência para usuários espalhados, elasticidade, hardware especializado ou leis de residência de dados. Às vezes a aplicação já nasce distribuída, com vários usuários ou serviços na cloud.
O preço de distribuir. Toda chamada de rede pode falhar ou dar timeout sem que você saiba se o outro lado processou, e repetir pode não ser seguro (capítulo 9). A rede é muito mais lenta que uma chamada local, depurar exige observabilidade e tracing, e a consistência entre serviços vira problema da aplicação. Em alguns casos, um programa de uma thread numa máquina só bate um cluster com mais de 100 cores.
Recomendação: não distribua antes da hora. O hardware atual, com bancos como DuckDB e SQLite, dá conta de muita carga numa máquina só.
Microservices e serverless. Em microservices, cada serviço tem um propósito, uma API, um time responsável e o próprio banco, ao custo de testes, deploys e APIs mais difíceis de evoluir. Para o livro, são “a technical solution to a people problem”: valem em empresa grande, com muitos times, e viram custo desnecessário numa pequena. Serverless cobra só pelo tempo de execução, em troca de limite de duração e cold start.
Dados, lei e sociedade
Data Systems, Law, and Society, p. 24
Quem constrói sistemas de dados também tem responsabilidade com a sociedade, porque sistemas automáticos já decidem crédito, seguro, entrevistas de emprego e suspeitas de crime. GDPR, CCPA e o EU AI Act chegam ao próprio design: o direito ao esquecimento esbarra em logs append-only imutáveis e em dados derivados, como os de treino de um modelo, e ainda não há receita técnica pronta.
Guardar dados tem custo além da conta do S3: vazamento, multa, pedido do governo e risco para o usuário quando o dado revela algo criminalizado em algum lugar. Daí a data minimization (Datensparsamkeit): não guardar o que não tem finalidade explícita, o oposto de guardar tudo porque um dia pode servir.
Conclusão
Summary, p. 25
Muitas perguntas não têm resposta certa, só prós e contras. Operacional e analítico diferem no acesso, no público e na forma de guardar os dados (capítulo 4). Cloud ou self-hosting depende do caso, mas a cloud já mudou a arquitetura, a começar pela separação entre storage e compute. Distribuir tem custo, então só quando for preciso (capítulo 9). E o desenho do sistema também responde às leis de privacidade, um lado que muitos engenheiros ignoram.