Tagi: "hajautetut järjestelmät"

Google keittää kahvia

13.10.2010 Kirjoittanut

Olen viime aikoina tutustunut Googlen uuteen datatyökaluun Percolatoriin. Se onkin erikoinen kone, vahvasti C-luokkaa.

Mennään ajassa kuusi vuotta taaksepäin. Google julkaisee MapReduce-laskentamallin ja kertoo toteuttaneensa indeksointijärjestelmänsä sen päälle. Sen lisäksi M/R luikertelee osaksi lähes jokaista Googlen merkittävää tuotetta. Googleplexin ulkopuolella MapReduce todetaan skaalautuvuudeltaan hyväksi ja avoimen lähdekoodin mullasta ponnistaa Hadoop — MapReduce meille [...]

Jatka lukemista

Skaalautuviin järjestelmiin kohdistuu muitakin vaatimuksia – skaalautuvuudesta ei hirveästi ole hyötyä ilman hyväksyttävää suorituskykyä ja lisäksi kokonaisuuden pitäisi vielä olla vikasietoinen ja ylläpidettävä. Toisin kuin toiminnalliset vaatimukset, skaalautuvuuden tapaiset ei-toiminnalliset vaatimukset ovat usein käänteisesti riippuvaisia toisistaan. Yhden vaatimuksen naiivi ratkaisu heikentää tai hankaloittaa toisen vaatimuksen saavuttamista.

Osittain tästä syystä skaalautuvien järjestelmien rakentaminen on vähän kuin [...]

Jatka lukemista

Aikaisemmassa kirjoituksessa käsiteltiin tiedostojen synkronisointipalveluja hajautettujen järjestelmien näkökulmasta. Palveluita luokiteltiin CAP-käsitteen mukaan riippuen missä yhdistelmissä eri hajautettujen järjestelmien ominaisuuksia tuettiin.

Yksi kiinnostavimmista luokista on AP-palvelut, jotka uhraavat jatkuvan yhtäpitäväisyyden (C = engl. consistency) saavuttaakseen muita haluttuja ominaisuuksia (A = engl. availability, P = engl. partition-tolerance). Tähän luokkaan kuuluvat muuan muassa niin kutsutut “lopuksi [...]

Jatka lukemista

Yksi Amazon S3 -talletuspalvelua usein hyödyntävä luokka palveluita on verkkolevyt ja muut tiedostojen synkronisointipalvelut. Eli palvelut, joiden avulla käyttäjä voi lukea ja kirjoittaa omia tiedostojaan usealta eri laitteelta. Esimerkkejä tällaisista ovat Dropbox ja Jungle Disk.

Tiedostojen synkronisointipalvelu muodostaa käytännössä käyttäjän laitteista hajautetun järjestelmän, jossa jokainen synkronisointiin [...]

Jatka lukemista