Totesin ykskantaan viime joulukuun aamiaistilaisuudessamme, että EC2-instanssin saa provisioitua 30 sekunnissa. Eli sekuntikello naputtaa vain 30 sekuntia siitä, kun lähetän “run instance” pyynnön AWS:ään siihen kun se on provisioitu ja siirtyy “running” tilaan eli virrat ovat päällä ja käyttöjärjestelmä alkaa boottaamaan.
Kiva tulos, mutta jäi kaivelemaan. Kourallisesta mittauksia ei voi tehdä tilastollisesti päteviä johtopäätöksiä.
- Onko 30 sekuntia yleispätevä, vai oliko se sattuma? Onko oikea keskiarvo isompi vai pienempi?
- Miten iso on pyyntöjen vaihteluväli? Mitä hyötyä pilvestä on, jos sen saatavuuden latenssista ei voi sanoa mitään luotettavaa?
- Onko tuloksissa päivittäistä tai viikottaista vaihtelua, tai pitkän aikavälin trendejä?
Joulukuun jälkeen olen tehnyt jonkin verran lisää mittauksia. Aika monta itseasiassa, yhteensä 316 kappaletta. Alla on kaksi kuvaajaa tästä datasta, ensimmäisessä on puhdas provisiointiin mennyt aika, vaaka-akselina on pyynnön aika (päivinä ensimmäisestä), ja toisessa tasoitettu jakauma.
Punainen viiva ensimmäisessä kuvassa on lineaarinen regressio – melkein vaakasuora ja tilastollisesti merkityksetön. Käytettävissä olevalla datalla ei pysty siis päättelemään onko AWS:n EC2-instanssin käyttöönoton nopeus muuttunut käytössä olevan datan 83 päivän aikana.
Toinen kuvaaja onkin mielenkiintoisempi. Silmämääräisesti katsottuna – en ole jaksanut tehdä tilastollista testiä – se näyttää Erlang/Poisson -jakaumalta. Jos näin on, sillä on omat seuraukset palvelun saatavuuden ja nopeuden odotusarvoille.
No, mutta eipä murehdita sitä vaan katsotaan mitä data kertoo. Tässä datajoukossa on siis 316 mittausta, joiden keskiarvo on 31 sekuntia ja odotusarvo 29 sekuntia, vaihteluväli 18-99 sekuntia ja 95% tuloksista on 47 sekuntia tai alle. Ja tuo 99 sekunnin tulos voi olla oma virheeni mittauksissa – outlier se ainakin on.
Eli mainostamani “30 sekuntia” on näiden tulosten mukaan ihan totta.
Älä kuitenkaan ota tätä liian vakavasti – olen testannut vain eu-west-1 regionia ja m1.small -instansseja aina samalla levykuvalla (AMI). Toisilla asetuksilla tulokset saattavat olla ihan jotain muuta.
Mutta minä voi nyt nukkua yöni rauhassa, en ole mennyt puhumaan läpiä päähäni 