CEPH: Groeien zonder performance concessies

Probleem: Performance afname bij grote omgevingen

Grote beveiligingsprojecten, bijvoorbeeld bestaande uit honderden camera’s, vereisen dat er enorme hoeveelheden data worden verwerkt en opgeslagen. En als de omgeving groeit moet er alleen nog maar meer data worden behandeld. Als de IT infrastructuur niet goed in elkaar zit kan de benodigde performance niet gerealiseerd worden. Dit kan vervelende problemen opleveren, zoals haperende beelden of zelfs dataverlies.

In principe is object-based storage aardig geschikt voor grootschalige omgevingen. Object-based storage gebruikt eenvoudige lijsten met informatie over data (zoals de locatie waar het opgeslagen is), in tegenstelling tot de ingewikkelde lijsten van andere storage technieken. Daardoor gaat het zoeken naar data, en dus het lezen en schrijven van data, sneller, wat belangrijk is voor grote, complexe omgevingen. Toch blijft het bijhouden van deze lijsten bij object-storage normaliter gecentraliseerd gebeuren. Hierdoor is het lastig om de data op een goede manier te distribueren over een grote hoeveelheid apparaten, waardoor de data en workload (het rekenwerk) niet genoeg worden verdeeld over alle beschikbare middelen. Hierdoor worden de beschikbare middelen niet efficiënt genoeg benut, en wordt er alsnog niet voldoende performance behaald.

De oplossing: CRUSH en parallellisme

Gelukkig maakt CEPH gebruik van het CRUSH algoritme. Dit algoritme zorgt ervoor dat IT clusters worden bevrijd van schaalbaarheid- en performance beperkingen die worden veroorzaakt door een centrale lijst met informatie over de data. In plaats van zo’n lijst is er een schaalbare, wiskundige functie om data te distribueren. Deze zorgt ervoor dat data en workload gelijkmatig worden verdeeld over het cluster, zelfs als er apparaten worden toegevoegd, zodat dit niet allemaal opgevangen hoeft te worden door een beperkte hoeveelheid apparaten. Zo werken alle beschikbare middelen efficiënt samen en daarmee wordt systeem performance gemaximaliseerd. 

Bovendien worden grote bestanden bij CEPH opgeknipt en willekeurig gedistribueerd over een grote selectie van beschikbare apparaten, waardoor het schrijven en lezen van deze bestanden in parallel en dus enorm versneld kan plaatsvinden. Om je een voorstelling te maken van hoe performance winst behaald wordt met parallellisme, kun je het grote bestand vergelijken met bijvoorbeeld vijf auto’s. Met CEPH hoeven die vijf auto’s niet meer achter elkaar over een enkele snelweg, maar kunnen ze tegelijkertijd over een vijfbaansweg. Dat scheelt een hoop file! Bovendien geldt: Hoe groter het IT cluster (hoe meer ‘rijbanen’), hoe hoger de performance kan worden.

Nu bestaat er dus de mogelijkheid om ongelimiteerd te schalen met performance behoud of juist performance toename (!), en is groeien geen probleem meer.

Volgende week meer over de betrouwbaarheid die CEPH kan realiseren.

Geef een reactie

Vul je gegevens in of klik op een icoon om in te loggen.

WordPress.com logo

Je reageert onder je WordPress.com account. Log uit /  Bijwerken )

Google photo

Je reageert onder je Google account. Log uit /  Bijwerken )

Twitter-afbeelding

Je reageert onder je Twitter account. Log uit /  Bijwerken )

Facebook foto

Je reageert onder je Facebook account. Log uit /  Bijwerken )

Verbinden met %s