Apache Spark
Motor de processamento de dados em larga escala, distribuído e em memória, usado para ETL, analytics e machine learning sobre grandes volumes.
Apache Spark é um motor de processamento distribuído feito para lidar com grandes volumes de dados que não cabem (ou não processam em tempo hábil) numa só máquina. Ele divide o trabalho entre várias máquinas de um cluster e processa em memória, o que o tornou muito mais rápido que o Hadoop MapReduce clássico.
Onde entra: pipelines de ETL pesados, analytics em escala e treino de modelos de machine learning. Você escreve em Python (PySpark), Scala ou SQL e o Spark cuida da distribuição.
É a base de plataformas como o Databricks, que o oferece gerenciado. Na prática, é a ferramenta que sustenta boa parte da engenharia de dados moderna.