Lagring

Databasearkitektur

Låsemodul (Locks)

• Gjøre transaksjoner.

Log

• Huske alt som foregår
• Rulle transaksjoner fram eller tilbake

Databaselagring

• Databaser lagres i filer eller på «raw devices»
  • Mest vanlig med filer, Direkte I/O på filer
  • «raw devices» unngår operativsystemets buffer
  • Noen bruker MMAP-segmenter
• Lagring av tabeller
  • Heapfil
  • B+-trær
  • Hashfil
    • Raskt finne tilbake data
  • LSM-trær
    • Effektive når du hele tiden får nye data
• Lagring av indeksfiler (på attributter)
  • For å få rask tilgang til data i tabellene
  • Eller tvinge gjennom PRIMARY KEY / UNIQUE-restriksjoner
    • Hashing
    • B+-trær
    • R-trær (flere dimensjoner)
  • For sortering av nøkler
• Kan kombinere lagring og indekser: Clustered index.

Lagring av poster

• En rad i en tabell er vanligvis lagret som en post (record) i en fil: tuppel vs. rad vs. post.
• En post har felter med navn og datatype
  • Integer, long integer, floating point (4 og 8 byte)
  • String (fastlengde og variable lengde) (1 eller 2 byte per tegn)
  • Date/time
  • Blobs - lange felter
  • JSON (tekst)
• SQL-dictionary (Catalog) beskriver hvordan en tabell/post er lagret.
  • Lengde og datatyper
  • • mye annet

Postlayout

Alt 1: Krever sjekk i katalog. Alt 2: Feltvektor, vektor som peker på hvert attributt. Selvbeskrivende post.

Blocklayout

Tuppel i figuren er post. Struktur som vokser i to retninger. På slutten: vektor som peker på postene i sortert rekkefølge.

Buffer

• Kopi i RAM av ofte brukte blokker fra databasen
• Databaser vil gjerne ha kontroll på dataene i RAM, så de «pinnes» slik at «virtual memory» ikke kaster de ut.
• Adaptive cache-algoritmer, med flere klasser av aksessmønstre
• Kan også støtte «pre-fetching» av blokker.
• Det brukes som regel en hashbasert inngang til buffer basert på BlockId.
• Blokker som tilhører samme hashinngang lenkes sammen i RAM.
• Blokker skrives til disk som en del av sjekkpunkting i forbindelse med logging og recovery

Heapfiler

• «Rått» og usortert lager av poster
• Poster settes inn på slutten av filen. Kan være to lister.

• Aksesseres med en RecordId (BlockId, nr. innen blokk)
• Vanligvis har man indekser i tillegg til heapfiler
• • lett å sette inn posten
• • god til tabellscan
• • bra skriveytelse
• • dårlig til søk på attributter og rangesøk (verdiområdesøk)

Quiz 1 A

• Hva er en komponent i et databasesystem?
  • Optimalisator ✅
  • Filsystem ❌
  • L3 Cache ❌
  • Logg ✅
• Hvorfor har vi indekser?
  • For å få oversikt ❌
  • For å tvinge gjennom UNIQUE ✅
  • Holde orden på databasen ❌
  • For å få queries til å gå raskere ✅

Quiz 1 B

• Hva er en SQL Dictionary?
  • Forklaring på Keywords i SQL ❌
  • Oversetter SQL til algebra ❌
  • Oversikt over tabeller og attributter ✅
  • Cacher queryresultater ❌
• Hvorfor bruker man Heapfiler?
  • Raske å sette inn poster ✅
  • Gode til tabellscan ✅
  • Raskt å finne igjen en post ❌
  • Gode til å randomisere poster ❌

Hashbaserte indekser

• Bra for direkte aksess på søkenøkkel
• h(K) - hashfunksjon av søkenøkkel
  • Sprer postene bra utover slik at de lett kan gjenfinnes
• F.eks. h(K) = K MOD M (restfunksjon)
• Mange mulige hashfunksjoner
• En god hashfunksjon har god spredning, men er avhengig av hva som skal spres
• Hvordan håndtere overflyt
  • Åpen adressering: lagre posten i første ledige etterfølgende blokk i fila
  • Separat overløp: lenk sammen overløpsblokker
  • Multippel hashing: bruk en ny hashfunksjon når det blir kollisjoner

Statisk hashing (1)

Statisk hashing (2)

• Partition by key i MySQL

CREATE TABLE tm1 (
s1 CHAR(32) PRIMARY KEY
)
PARTITION BY KEY(s1)
PARTITIONS 10;

• Fast antall blokker/partisjoner i samme fil
• Må bruke overløp for dynamiske datamengder (ukjent antall poster)
• Lange overløp kan ødelegge ytelsen

Extendible hashing

• Problem ved statisk hashing.
  • Utvidelse av filen, dvs. dobling av antall blokker
  • Les alle blokker og skriv alle blokker på nytt.
• Extendible hashing
  • Bruk katalog med pekere til blokker og doble katalogen ved behov
  • Splitt (les og skriv) kun den blokken som ble full
  • Lokal og global dybde
  • Hvis en blokk er full og lokal dybde == global dybde: Directory doubling