MongoDB Sharding: Trinnvis veiledning med eksempel

Hva er Sharding i MongoDB?

Sharding er et konsept i MongoDB, som deler store datasett i små datasett på tvers av flere MongoDB tilfeller.

Noen ganger dataene innenfor MongoDB vil være så enorme at spørringer mot slike store datasett kan føre til mye CPU-bruk på serveren. For å håndtere denne situasjonen, MongoDB har et konsept med Sharding, som i utgangspunktet er deling av datasett på tvers av flere MongoDB tilfeller.

Samlingen, som kan være stor i størrelse, er faktisk delt på tvers av flere samlinger, eller Shards som de kalles. Logisk sett fungerer alle shards som én samling.

Fordeler med sharding i MongoDB

Før man implementerer en sharded-klynge, er det nyttig å forstå hvorfor team bruker sharding. De viktigste fordelene er:

• Horisontal skalerbarhet: Data distribueres på tvers av mange standardservere i stedet for å tvinge én enkelt maskin til å vokse seg stadig større.
• Høyere gjennomstrømning: Lese- og skriveoperasjoner kjører parallelt på tvers av shards, slik at klyngen håndterer flere forespørsler per sekund.
• Større lagringskapasitet: Den kombinerte disken med alle shards kan inneholde datasett som er langt større enn det én server kan lagre.
• Høy tilgjengelighet: Når hver shard distribueres som et replikasett, fører ikke feilen i en enkelt node til at klyngen slås av.
• Balansert last: Ocuco MongoDB Balancer omfordeler databiter automatisk for å forhindre at én shard blir et hotspot.

Sammen gjør disse fordelene sharding til standardmetoden for skalering MongoDB utover grensene til én enkelt server.

Hvordan implementere Sharding

Shards implementeres ved hjelp av klynger, som ikke er annet enn en gruppe av MongoDB tilfeller.

Komponentene i en Shard inkluderer:

1. En Shard – Dette er det grunnleggende, og dette er ikke annet enn en MongoDB instans som inneholder delsettet av dataene. I produksjonsmiljøer må alle shards være en del av replikasett.
2. Konfigurer server - Dette er en MongoDB instans som inneholder metadata om klyngen, i utgangspunktet informasjon om de forskjellige MongoDB forekomster som vil inneholde shard-dataene.
3. En ruter - Dette er en MongoDB instans som i utgangspunktet er ansvarlig for å omdirigere kommandoene som sendes av klienten til de riktige serverne.

Trinn for trinn skjæring Cluster Eksempel

Trinn 1) Opprett en egen database for konfigurasjonsserveren.

mkdir /data/configdb

Trinn 2) Start MongoDB instans i konfigurasjonsmodus. Anta at vi har en server som heter Server D, som ville være konfigurasjonsserveren vår. Vi må kjøre kommandoen nedenfor for å konfigurere serveren som en konfigurasjonsserver.

mongod --configdb ServerD:27019

Trinn 3) Start mongos-instansen ved å spesifisere konfigurasjonsserveren.

mongos --configdb ServerD:27019

Trinn 4) Fra mongo-skallet, koble til mongos-instansen.

mongo --host ServerD --port 27017

Trinn 5) Hvis du har Server A og Server B som må legges til i klyngen, kan du utstede kommandoene nedenfor.

sh.addShard("ServerA:27017")
sh.addShard("ServerB:27017")

Trinn 6) Aktiver sharding for databasen. Så hvis vi trenger å shardere Employeedb-databasen, kan du kjøre kommandoen nedenfor.

sh.enableSharding("Employeedb")

Trinn 7) Aktiver sharding for samlingen. Så hvis vi trenger å shardere Employee-samlingen, utfør kommandoen nedenfor.

sh.shardCollection("Employeedb.Employee", { "Employeeid": 1, "EmployeeName": 1 })

Slik velger du en Shard-nøkkel i MongoDB

Shard-nøkkelen er det indekserte feltet, eller settet med felt, som MongoDB bruker til å bestemme hvilken shard som lagrer hvert dokument. Fordi nøkkelen styrer datadistribusjonen, er det å velge den riktig den viktigste avgjørelsen i en shard-distribusjon. En dårlig nøkkel konsentrerer data og trafikk på én shard, noe som opphever fordelene med sharding.

En sterk shard-nøkkel har vanligvis følgende egenskaper:

• Høy kardinalitet: Feltet bør ha mange mulige verdier, slik at dataene kan deles inn i mange finkornede deler.
• Lav frekvens: Ingen enkeltverdi bør dominere, ellers hoper dokumentene som deler den verdien seg opp på én shard.
• Ikke-monoton endring: Nøkler som alltid øker, for eksempel tidsstempler, sender hver nye skriving til den samme sharden, og oppretter et hotspot.

MongoDB støtter to sharding-strategier basert på nøkkelen. Avstandsbasert sharding deler data inn i sammenhengende områder og passer til områdespørringer, mens hashet sharding bruker en hash-funksjon for å spre skrivinger jevnt over shards. Team starter ofte med hashet sharding når skrivingen er stor og bytter til avstandsbasert sharding når områdebaserte lesninger dominerer. Uansett hvilken strategi du velger, test nøkkelen mot realistiske spørremønstre før du forplikter, fordi shard-nøkkelen ikke kan endres enkelt når dataene er lastet inn.

Sharding vs. Replikering i MongoDB

Sharding og replikering er komplementære, men forskjellige funksjoner. Tabellen nedenfor fremhever forskjellene, slik at du kan bruke hver av dem riktig, og i praksis bruker produksjonsklynger begge sammen.

Kort sagt, sharding svarer på behovet for skalering, mens replikering svarer på behovet for tilgjengelighet, og en robust distribusjon kombinerer begge deler.

Spørsmål og svar