Hoe Picnic ClickHouse gebruikt voor real-time analytics in 20+ fulfillment centers

Je ziet waarschijnlijk ook bij jou in de buurt de elektrische trucks van Picnic regelmatig rijden. Het bedrijf gedraagt zich als een miljoen kleine supermarkten - één voor elke klant die elke week een gepersonaliseerde mix van producten bestelt.

De hele ervaring draait op een strak georkestreerde supply chain met zeer geautomatiseerde fulfillment centers, kilometers aan transportbanden, robotarmen en meer dan 5.000 trucks. "We beloven een specifiek bezorgmoment van 20 minuten," zegt software engineer Max Sumrall. "Er is veel data die we moeten bijhouden om ervoor te zorgen dat we op tijd zijn."

Waarom real-time belangrijk is

Elk fulfillment center heeft zijn eigen indeling, productassortiment en personeelsstructuur. Bestellingen moeten snel genoeg gepickt, verpakt en verzonden worden om binnen de gespecificeerde bezorgmomenten te passen. Op de werkvloer zijn er volop vragen: Lopen we op schema? Welke producten zijn op voorraad? Welke bestellingen hebben nu aandacht nodig?

"Het is niet haalbaar voor engineers om custom oplossingen te bouwen voor elk magazijn," zegt Max. "Omdat we niet op de werkvloer werken, weten we niet precies wat ze nodig hebben." Dus bouwde het team een self-service platform - het real-time insights (RTI) platform - dat operationele events omzet in metrics en dashboards die magazijnteams zelf kunnen gebruiken.

ClickHouse-architectuur en voordelen

Het platform begint met event sourcing via Java backend-services en mobiele apps, transporteert data via RabbitMQ en Kafka, en verwerkt events in ClickHouse met materialized views. Grafana verbindt direct met ClickHouse voor visualisatie, terwijl analisten nieuwe modellen definiëren in dbt via GitHub pull requests.

Het RTI-platform draaide oorspronkelijk op TimescaleDB, maar dat was "erg complex om aan de gang te krijgen," aldus Max. ClickHouse bood de combinatie van prestaties, kostenefficiëntie en bruikbaarheid die ze nodig hadden. "ClickHouse is heel gemakkelijk te beheren. Schalen is echt simpel met ClickHouse Cloud."

Sinds de rebuild twee jaar geleden is de adoptie enorm gegroeid. "Het heeft adoptie losgekoppeld van de noodzaak van ontwikkelaarsondersteuning," zegt Max. De flexibiliteit van ClickHouse bleek ook cruciaal - voor GDPR gebruikte het team row-level policies met Grafana's Keycloak-integratie.

Toekomst

Het team experimenteert nu met Kafka table engines voor stream processing, waarbij ClickHouse zowel analytics-platform als actieve deelnemer in event-driven workflows wordt. Ook verkennen ze AI-ondersteuning door dbt-metadata te combineren met ClickHouse-data via de ClickHouse MCP-server en Claude Code.