HDFS opetusohjelma: Architecture, Read & Write OperaTUKSEN

Mikä on HDFS?

HDFS on hajautettu tiedostojärjestelmä erittäin suurten datatiedostojen tallennukseen, ja se toimii useimpien peruslaitteistojen klustereissa. Se on vikasietoinen, skaalautuva ja erittäin helppo laajentaa. Hadoop toimitetaan HDFS:n (Hadoop Distributed File System) mukana.

Kun data ylittää yhden fyysisen koneen tallennuskapasiteetin, on välttämätöntä jakaa se useille eri koneille. Tiedostojärjestelmää, joka hallitsee tallennuskohtaisia ​​toimintoja koneverkon yli, kutsutaan hajautetuksi tiedostojärjestelmäksi. HDFS on yksi tällainen ohjelmisto.

HDFS Archirakenne

HDFS-klusteri koostuu pääasiassa NameNode joka hallinnoi tiedostojärjestelmän metatietoja ja DataNodes jotka tallentavat varsinaisen datan.

• NameNode: NameNode-solmua voidaan pitää järjestelmän pääsolmuna. Se ylläpitää tiedostojärjestelmäpuuta ja kaikkien järjestelmässä olevien tiedostojen ja hakemistojen metatietoja. Kahteen tiedostoon, 'nimiavaruuden kuvaan' ja 'muokkauslokiin', tallennetaan metatiedot. NameNode-solmulla on tiedot kaikista tietyn tiedoston datalohkoja sisältävistä DataNode-solmuista, mutta se ei tallenna lohkojen sijainteja pysyvästi. Nämä tiedot rekonstruoidaan aina DataNode-solmuista järjestelmän käynnistyessä.
• DataNode: DataNode-solmut ovat klusterin jokaisella koneella sijaitsevia orjasolmuja, jotka tarjoavat varsinaisen tallennustilan. Ne vastaavat asiakkaiden luku- ja kirjoituspyyntöjen käsittelystä.

Koska yksittäinen NameNode olisi ainoa vikaantumispiste, nykyisissä klustereissa käytetään aktiivista NameNodea rinnakkain valmiustilassa olevan NameNoden kanssa. Tämä Node jakaa muokkauslokin JournalNode-koorumin kautta, ja näiden kahden välillä tapahtuu automaattinen vikasietoisuus.

HDFS:n luku- ja kirjoitustoiminnot toimivat lohkotasolla. HDFS:n datatiedostot jaetaan lohkon kokoisiin osiin, jotka tallennetaan itsenäisinä yksiköinä. Oletuslohkon koko on 64 Mt Hadoop 1.x:ssä. Hadoop 2.x:stä eteenpäin oletusarvo dfs.blocksize on 128 Mt.

HDFS toimii datan replikoinnin konseptilla, jossa datalohkoista luodaan useita kopioita, jotka jaetaan solmuille koko klusterissa, jotta datan saatavuus olisi korkeaa solmun vikaantumisen sattuessa. Oletusreplikointikerroin on kolme (dfs.replication), ja kun DataNode lopettaa sykkeiden lähettämisen, NameNode replikoi lohkonsa automaattisesti uudelleen muualle.

Tiedätkö? HDFS-tiedosto, joka on pienempi kuin yksi lohko, ei vie lohkon täyttä tallennustilaa.

Lue OperaHDFS:ssä

Tiedonlukupyyntöä käsittelevät HDFS, NameNode ja DataNode-solmut. Kutsutaan lukijaa "asiakkaaksi". Alla oleva kaavio kuvaa tiedostonlukuoperaatiota Hadoopissa.

1. Asiakas aloittaa lukupyynnön kutsumalla FileSystem-objektin 'open()'-metodia; kyseessä on DistributedFileSystem-tyyppinen objekti.
2. Tämä objekti muodostaa yhteyden NameNodeen RPC:n avulla ja hakee metatietotietoja, kuten tiedoston lohkojen sijainnit. Huomaa, että nämä osoitteet ovat tiedoston muutaman ensimmäisen lohkon osoitteet.
3. Vastauksena tähän metatietopyyntöön palautetaan niiden DataNode-solmujen osoitteet, joilla on kyseisen lohkon kopio.
4. Kun DataNode-solmujen osoitteet on vastaanotettu, asiakkaalle palautetaan FSDataInputStream-tyyppinen objekti. FSDataInputStream sisältää DFSInputStream-objektin, joka hoitaa vuorovaikutuksen DataNode- ja NameNode-solmujen kanssa. Yllä olevan kaavion vaiheessa 4 asiakas kutsuu 'read()'-metodia, joka saa DFSInputStreamin muodostamaan yhteyden ensimmäiseen DataNode-solmuun, joka sisältää tiedoston ensimmäisen lohkon.
5. Data luetaan virroina, joissa asiakas kutsuu 'read()'-metodia toistuvasti. Tämä read()-operaatio jatkuu, kunnes se saavuttaa lohkon lopun.
6. Kun lohkon loppu on saavutettu, DFSInputStream sulkee yhteyden ja siirtyy etsimään seuraavan lohkon seuraavaa DataNodea.
7. Kun asiakas on lukenut tiedot loppuun, se kutsuu close()-metodia.

Kirjoittaa OperaHDFS:ssä

Tässä osiossa ymmärrämme, miten dataa kirjoitetaan HDFS:ään tiedostojen kautta. Alla oleva kaavio traces, jotka kirjoittavat polun.

1. Asiakas aloittaa kirjoitusoperaation kutsumalla DistributedFileSystem-objektin 'create()'-metodia, joka luo uuden tiedoston – vaihe nro 1 yllä olevassa kaaviossa.
2. DistributedFileSystem-objekti muodostaa yhteyden NameNode-solmuun RPC-kutsulla ja aloittaa uuden tiedoston luomisen. Tämä tiedostonluontioperaatio ei kuitenkaan liitä tiedostoon mitään lohkoja. NameNode-solmun vastuulla on varmistaa, että luotavaa tiedostoa ei ole jo olemassa ja että asiakkaalla on oikeat oikeudet uuden tiedoston luomiseen. Jos tiedosto on jo olemassa tai asiakkaalla ei ole riittäviä oikeuksia uuden tiedoston luomiseen, asiakkaalle annetaan IOException-poikkeus. Muussa tapauksessa operaatio onnistuu ja NameNode luo tiedostolle uuden tietueen.
3. Kun NameNode-solmuun on luotu uusi tietue, asiakkaalle palautetaan FSDataOutputStream-tyyppinen objekti. Asiakas käyttää sitä datan kirjoittamiseen HDFS:ään. Data write -metodia kutsutaan (kaavion vaihe 3).
4. FSDataOutputStream sisältää DFSOutputStream-objektin, joka huolehtii kommunikoinnista DataNode- ja NameNode-solmujen kanssa. Asiakkaan jatkaessa datan kirjoittamista DFSOutputStream jatkaa pakettien luomista näillä tiedoilla. Nämä paketit asetetaan jonoon, jota kutsutaan DataQueue-nimiseksi.
5. Tätä DataQueue-jonoa käyttää vielä yksi komponentti nimeltä DataStreamer. DataStreamer pyytää myös NameNode-solmulta uusien lohkojen allokointia ja valitsee siten halutut DataNode-solmut replikointia varten.
6. Nyt replikointiprosessi alkaa luomalla liukuhihna DataNodesin avulla. Meidän tapauksessamme olemme valinneet replikointitason 3, joten valmisteilla on 3 DataNodea.
7. DataStreamer kaataa paketit liukuhihnan ensimmäiseen DataNodeen.
8. Jokainen putkilinjan DataNode tallentaa vastaanottamansa paketin ja välittää sen edelleen putkilinjan toiselle DataNodelle.
9. Toista jonoa, 'Ack Queue', ylläpitää DFSOutputStream tallentamaan paketteja, jotka odottavat kuittausta DataNodeilta.
10. Kun jonossa olevan paketin kuittaus on vastaanotettu kaikilta liukuhihnassa olevilta DataNodeilta, se poistetaan 'Ack Queue'sta. Jos DataNode epäonnistuu, tämän jonon paketteja käytetään käynnistämään toiminto uudelleen.
11. Kun asiakas on kirjoittanut datan, se kutsuu close()-metodia (kaavion vaihe 9). close()-kutsu johtaa jäljellä olevien datapakettien lähettämiseen liukuhihnalle, minkä jälkeen odotetaan kuittausta.
12. Kun lopullinen kuittaus on vastaanotettu, NameNode-solmuun otetaan yhteyttä ja ilmoitetaan, että tiedoston kirjoitusoperaatio on valmis.

Käytä HDFS:ää käyttämällä Java API

Tässä osiossa pyrimme ymmärtämään, Java käyttöliittymä, jota käytetään Hadoopin tiedostojärjestelmän käyttämiseen.

Jotta Hadoopin tiedostojärjestelmän kanssa voisi ohjelmallisesti olla vuorovaikutuksessa, Hadoop tarjoaa useita Java luokat. Paketti nimeltä org.apache.hadoop.fs sisältää luokkia, jotka ovat hyödyllisiä tiedoston käsittelyssä Hadoopin tiedostojärjestelmässä. Näitä operaatioita ovat avaaminen, lukeminen, kirjoittaminen ja sulkeminen. Hadoopin tiedosto-API on geneerinen ja sitä voidaan laajentaa vuorovaikutukseen muiden tiedostojärjestelmien kuin HDFS:n kanssa.

Tiedoston lukeminen HDFS:stä ohjelmallisesti

Objekti java.net.URL käytetään tiedoston sisällön lukemiseen. Aluksi meidän on tehtävä Java tunnistaa Hadoopin hdfs:t URL skeemaa. Tämä tehdään kutsumalla joukkoaURLStreamHandlerFactory-metodi päällä URL objekti ja välittämällä sille FsUrlStreamHandlerFactory-instanssin. Tämä metodi tarvitsee suorittaa vain kerran per JVM, joten se on suljettu staattiseen lohkoon.

Esimerkkikoodi on-

public class URLCat {
    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args) throws Exception {
        InputStream in = null;
        try {
            in = new URL(args[0]).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);
        } finally {
            IOUtils.closeStream(in);
        }
    }
}

Tämä koodi avaa ja lukee tiedoston sisällön. Tiedoston polku HDFS:ssä annetaan ohjelmalle komentoriviargumenttina.

HDFS:n käyttö komentorivikäyttöliittymän avulla

Tämä on yksi yksinkertaisimmista tavoista olla vuorovaikutuksessa HDFS:n kanssa. Komentorivikäyttöliittymä tukee tiedostojärjestelmätoimintoja, kuten tiedoston lukemista, hakemistojen luomista, tiedostojen siirtämistä, tietojen poistamista ja hakemistojen listaamista.

Voimme juosta '$HADOOP_HOME/bin/hdfs dfs -help' saadaksesi yksityiskohtaista apua jokaisesta komennosta. Tässä 'dfs' on HDFS:n komentotulkkikomento, joka tukee useita alikomentoja. Hadoopin nykyisissä julkaisuissa hdfs dfs on suositeltava muoto, kun taas vanhempi hadoop fs komento suorittaa saman työn mille tahansa tuetulle tiedostojärjestelmälle.

Jotkut laajalti käytetyistä komennoista on lueteltu alla ja joistakin yksityiskohdista.

1. Kopioi tiedosto paikallisesta tiedostojärjestelmästä HDFS:ään

$HADOOP_HOME/bin/hdfs dfs -copyFromLocal temp.txt /

Tämä komento kopioi tiedoston temp.txt paikallisesta tiedostojärjestelmästä HDFS:ään, kuten alla oleva tuloste osoittaa.

2. Voimme listata hakemistossa olevat tiedostot käyttämällä -ls-valitsinta

$HADOOP_HOME/bin/hdfs dfs -ls /

Alla olevassa listauksessa näemme tiedoston 'temp.txt' (kopioitu aiemmin) ' / ' -hakemistossa.

3. Komento kopioida tiedosto paikalliseen tiedostojärjestelmään HDFS:stä

$HADOOP_HOME/bin/hdfs dfs -copyToLocal /temp.txt

Tämä komento peilaa -get-valitsinta ja hyväksyy toisena argumenttina eksplisiittisen paikallisen kohdepolun. Alla oleva tuloste näyttää paikalliseen tiedostojärjestelmään kopioidun temp.txt-tiedoston.

4. Komento luoda uusi hakemisto

$HADOOP_HOME/bin/hdfs dfs -mkdir /mydirectory

Komento suoritetaan hiljaisesti, kuten alla oleva kehote osoittaa.

Tarkista, onko hakemisto luotu vai ei. Nyt sinun pitäisi tietää miten se tehdään 😉

UKK