Jos haluat julkaista uuden ominaisuuden muutama viikko ennen verkkokauppaviikkoa, kuinka varmistaa, että uusi ominaisuus kestää Black Friday -väkijoukon ja säilyttää asiakkaiden luottamuksen verkkosivustoon? Zalando otti sinä vuonna rohkean lähestymistavan ja loi uudelleen verkkokaupan räjähdysmäisen kuormituksen viikkoja etukäteen virallisessa ympäristössä arkisin testatakseen uusia ominaisuuksia.
Sen jälkeen kun Zalandon teknologiakehitys on saavuttanut kypsän vaiheen, tekninen päätöksenteko ei ole enää niin vapaata kuin Radical Agilen ensimmäisen lanseerauksen yhteydessä. Sen sijaan sitä johtaa vanhempi insinööriyhteisö, ja tekninen tutkakaavio (Tech Radar) on kehitetty auttamaan satoja ryhmiä teknisten päätösten tekemisessä. Kaikkien tiimien tulee viitata tähän yhteiseen teknologiasuosituslistaan referenssinä uusien projektien teknologioiden valinnassa. Heidän ei tarvitse tehdä teknisiä arviointeja alusta alkaen aina, kun uusi projekti käynnistetään, vaan viitata suoraan luettelosuosituksiin. Koska jokainen tiimi viittaa valinnassaan samaan teknologiatutkakaavioon, Zalando voi varmistaa, että eri projekteissa käytetyt teknologiat ovat tämän jaetun teknologialuettelon piirissä, jotta saavutetaan yrityksen laajuinen teknologiapainotus. / Zalandon teknologiakehitys on siirtynyt kypsään vaiheeseen, jossa teknologiatutka keskittyy satojen tiimien teknisiin päätöksiin Vuodesta 2009 vuoteen 2019 Zalandon organisatorinen puoli on kokenut monia muutoksia, ja myös sen tekninen puoli on kehittynyt erittäin laajasti. hajautettu mikropalveluarkkitehtuuri. Zalandon vuoden 2022 Berliinin DevOpsConissa paljastamien lukujen mukaan mikropalveluja oli vuonna 2019 jopa neljästä viiteen tuhatta. Tällä hetkellä Zalandon teknologiakehitys on saavuttanut kypsän vaiheen. Tekninen päätöksenteko ei ole enää niin vapaata kuin Radical Agilen ensimmäisen lanseerauksen yhteydessä. Sen sijaan sitä johtaa vanhempi insinööriyhteisö ja tekninen tutkakaavio (Tech Radar). kehitetty auttamaan kahta sataa tiimiä tekemään teknisiä päätöksiä. Tämän teknologiatutkakartan muotoilu viittaa ThoughtWorks Consulting Companyn käytäntöön, mutta siitä on kehitetty Zalandon oma eksklusiivinen versio. Tällä konsulttiyrityksellä on lähes sata teknistä termiä, jotka kattavat neljä luokkaa: teknologia, työkalut, alustat, kehykset ja kielet. Tässä tekniikan tutkakaaviossa on lueteltu erityyppisten tekniikoiden suositeltuja käyttötasoja. Mitä lähempänä ydintä rengas on, sitä korkeampi on tämän tekniikan suositus. Zalando arvioi tarpeitaan ja keskittyi lopulta ohjelmistokehitykseen liittyviin teknologioihin, mukaan lukien neljä pääluokkaa: tiedon tallennus, tiedonhallinta, infrastruktuuri ja kehityskielet. Suositeltu käyttöönottotaso on jaettu neljään tasoon, jotka muodostavat neljä rengasta, joista jokainen edustaa eri suositustasoa. Nämä neljä tasoa ovat: Adopt (suositellaan adoptoitavaksi), Kokeilu (suositellaan kokeilukäyttöön), Arvioi (arviointivaihe) ja Hold (varattu, mutta ei suositella). Suositeltavat kokeiluteknologiat viittaavat teknologioihin, joilla on jo onnistuneita sisäisiä projekteja ja joita käytetään ainakin todellisten ongelmien ratkaisemiseen simuloitujen tilanteiden sijaan. Ne pitävät tärkeänä myös laajaa käyttöönottoa, ja ne ovat teknologioita, joihin ylin johto on valmis investoimaan pitkällä aikavälillä . taso. Arviointivaiheessa luetellut teknologiat viittaavat joukkoon teknologioita, joilla on ilmeistä potentiaalista arvoa ja jotka ovat investoinnin arvoisia. Kaikkien tuotteiden koesuunnitelmien tiedot automaattisesti analysoimalla saadaan selville testatut ja arvokkaat teknologiat. teknologian kokeiluvaiheessa. . Viimeinen varattujen tasojen luokka on teknologia, jota ei suositella, mutta jota ylläpidetään edelleen. Sen lisäksi, että se ei ole käytettävissä uusissa projekteissa, sitä ei myöskään suositella käytettäväksi myynninedistämispalveluihin kaventunut. Jokaisen tekniikan mukana tulee myös tekninen kuvaus, jossa luetellaan edut, haitat, rajoitukset, käyttöolosuhteet ja tekniikan käytön jälkeen opitut opetukset. Zalando on myös koonnut mallit ja ohjeet näiden suositeltujen teknologioiden käyttöönottamiseksi teknologiatutkakaaviossa. Oppaissa on kuvauksia usein kysytyistä kysymyksistä niiden käytön yhteydessä tai niitä käyttäneiden ryhmien käyttötapauksia tai jopa vertailuja eri vaihtoehtoisten teknologioiden välillä. .

Ajoittain teknologiasuosituksen tason säätämiseksi pääinsinööri kerää olemassa olevalle teknologiatutkalle kunkin tekniikan todelliset käyttötiedot, mukaan lukien käyttömäärät, tapahtumatiedot ja käyttöönottokokemuksen (esimerkiksi kuinka monta vuotta tällä on ollut käytössä tekniikka on otettu käyttöön Zalandossa) ja suorittaa sitten pisteytys. Nimetty huoltopäällikkö luo ensin laskentataulukon uusista teknologiatuloksista ja avaa sen sitten pääinsinööriyhteisölle, jotta hän voi päättää, päivitetäänkö vai alennetaanko sitä.

Zalando edellyttää, että jokainen tiimi viittaa tähän jaettuun teknologialuetteloon uusien projektien valinnassa. Teknisiä arviointeja ei tarvitse tehdä alusta alkaen aina, kun uusi projekti käynnistetään. Koska jokainen tiimi viittaa valinnassaan samaan teknologiatutkakaavioon, Zalando voi varmistaa, että eri projekteissa käytetyt teknologiat ovat tämän jaetun teknologialuettelon puitteissa teknisen suunnan painopisteen saavuttamiseksi.

Zalando nimesi alkuperäisen digitaalisen infrastruktuurin osaston uudelleen rakennusosastoksi (Build) ja vastaa edelleen kehittäjäalustan rakentamisesta ja parantamisesta erityisesti kehittäjien palvelemiseksi. Rakennusosasto aloitti kehittäjän asiakaspolun eli kehittäjän päivittäisen työmatkan tutkimisen ja havaitsi, että kehittäjien käyttämät kehitysalustat olivat varsin hajallaan Kukin tiimi kommunikoi jäsentensä kanssa omalla tavallaan ja niistä oli puutetta yhteistä tietoa koko yrityksessä.

Ratkaise kehittäjäprosessin pirstoutumisen ongelma ja luo kehittäjäportaalin verkkosivusto

Hajanaisen kehittäjien työnkulun ongelman ratkaisemiseksi rakennusosasto loi kehittäjäportaalin Sunrise (Sunrise Platform) ensimmäisenä verkkosivustona, jonka kehittäjät avaavat joka päivä, kun he menevät töihin. Tämän alustan käyttäjiä ovat ohjelmistosuunnittelijat, tietosuunnittelijat, tekniset johtajat, datatieteilijät, projektipäälliköt, suunnittelijat jne.

Perustuen Spotifyn avoimen lähdekoodin ML-hallintaalustaprojektiin Backstage, rakennusosasto integroi monia Zalandon sisäisiä teknisiä työkaluja, kehityskomponentteja, toteutusmalleja ja teknisiä asiakirjoja suunnitellakseen tämän sisäisen itsepalvelukehitysalustan (Internal Developer Platform , käyttöliittymän toiminta). yhtä sujuvaa kuin kaupallinen yritystason yhteistyöalusta, ja UX-suunnittelun yksityiskohtia korostetaan auttamaan kehittäjiä pääsemään alkuun. Jopa kehittäjät voivat suoraan nähdä vastuullisten AP:iden yleiset seurantatiedot Sunrise-alustalla.

Ensimmäinen sivu, jonka kehittäjät näkevät avatessaan Sunrise Platformin, kokoaa kaikki heidän yleisesti käytetyt tietopisteensä tähän yhteen yöhön, jolloin he voivat helposti etsiä tiettyjä sovelluksia, joista he ovat vastuussa, ja yleisesti käytettyjä sovellusliittymiä ja nähdä nopeasti kuka on sivuston omistautunut omistaja. Jokainen sovellus tai API Tarvittaessa voit hakea apua suoraan tällä sivulla sen sijaan, että joutuisit hakemaan toisen järjestelmän kautta, kuten aiemmin. Sunrise Platformin kotisivulla on myös kaikki kaikkien kehittäjien vastuulla olevien AP:iden tapahtumatiedot sekä tilausviiteasiakirjat.

Insinöörit tai muut käyttäjät voivat tarkistaa tuotteen elinkaaren kunkin vaiheen edistymisen tai tilan, seurata sitä reaaliajassa ja tehdä yhteistyötä tiimien ja muiden henkilöiden kanssa CI/CD-prosessin ongelmien vianmäärityksessä. Zalando-tiimin jäsenet voivat jopa käynnistää ja ottaa käyttöön uusia sovelluksia Sunrisen avulla.

Tämän kätevän ja helppokäyttöisen sisäisen kehittäjäalustan luomiseksi Zalando on julkisesti jakanut useita avaimia.

He esimerkiksi muokkasivat suoraan K8s:n lähdekoodia ongelman ratkaisemiseksi ja muuttivat K8:t järjestelmäksi, jota he voivat hallita kehittääkseen oman pilvipohjaisen alustansa. Esimerkiksi Sunrise-alusta käyttää itse kehitettyä ja mukautettua kubectl-kapselointitoimintoa.

Kun tapahtuu hätätilanne ja sinun on luotava nopeasti tilapäinen k8s-klusteri, tämä kapselointitoiminto voi olla hyödyllinen Sinun ei tarvitse noudattaa alkuperäistä vakiokapselointitoimintoa, mikä lyhentää huomattavasti käyttöönottoaikaa. Toinen avain on, että Zalando digitalisoi myös "kehityskokemuksen", mikä tarkoittaa kehitysalustan tehokkuuden mittaamista kehittäjäkokemuksen ja tuottavuuden perusteella.

Zalando viittasi kirjan "Accelerate: The Science of Lean Software and DevOps" (taiwanilaisen kiinalaisen version nimi on "The Science Behind Lean Software & DevOps") suosituksiin määritelläkseen neljä kehittäjän suorituskykymatriisin indikaattoria.

Se sisältää läpimenoajan, julkaisutiheyden, keskimääräisen palautumisajan (Time to Restore Service) ja muutosvirhesuhteen (Change Fail Rate).

Kuitenkin Zalandon erityinen menetelmä neljän indikaattorin mittaamiseen on hieman erilainen. Valmisteluaika on sitoutumisesta ympäristön viralliseen julkaisuun. Julkaisutiheys: käyttöönottojen määrä kehittäjää kohti viikossa. Keskimääräinen palautumisaika lasketaan tapahtuman alkamisesta palvelun palautumiseen (ei palvelun kaatumisesta). Viimeisimmän muutoksen epäonnistumisprosentti lasketaan sen perusteella, kuinka monta vikaa esiintyy kaikkien käyttöönottoaikojen aikana.

Sunrise-kehittäjäalustan suurin etu on, että se pitää kaikki kehittäjät samalla raiteella. Lisäksi se pystyy vastaamaan myös eri organisaatioiden työnjaon tarpeisiin joustavuuden tarjoamiseksi Zalandon tekninen tutkakaavio ja kaikki tekniset käytännön kokemukset, tarkastusryhmän testiasiakirjat ja jopa asiaankuuluvat mallit kypsistä käytännöistä ja prosesseista. Se voidaan keskittyä yhden alustan kautta, ja on suositeltavaa, että kehitystiimi käyttää teknologiaa, jota he erityisesti haluavat lisätä.

Zalando sunrise -sivuston suunnittelutavoitteena on "tehdä kehittäjät onnelliseksi ja tuottavaksi." Se tarjoaa parhaan kehittäjäkokemuksen ja vähentää teknisen tiimin ja kehitystiimin kognitiivista kuormitusta mahdollisimman paljon kehitysnopeuden ja tuottavuuden lisäämiseksi. Tämä oli ensimmäinen kerta, kun Zalando julkisti Sunrise Platformin kehitysprosessin viime vuoden Platform Engineering -konferenssissa Henning Jacobs, Zalandon vanhempi pääinsinööri, korosti asiaa.

Hajanaisen kehittäjien työnkulun ongelman ratkaisemiseksi Zalandon rakennusosasto loi kehittäjäportaalin Sunrise (Sunrise Platform) ensimmäisenä verkkosivustona, jonka kehittäjät avaavat joka päivä, kun he menevät töihin. ／Zalando

Sunrise (Sunrise Platform) käyttää pohjana Spotifyn avoimen lähdekoodin ML-hallintaalustaprojektia Backstagea, joka integroi monia Zalandon sisäisiä teknisiä työkaluja, kehityskomponentteja, toteutusmalleja ja teknisiä dokumentteja suunnitellakseen tämän sisäisen itsepalvelukehitysalustan (Internal Developer Platform). Zalandon kehittäjät voivat käyttää Sunrise-alustaa hankkiakseen tietoa erilaisista työkaluista ja palveluista, joita eri osastojen ja tuotetiimien ovat luoneet eri puolilla yritystä, sekä saada kaikki tukipalvelut yhdestä paikasta. ／Zalando

Zalandon kehittäjät voivat nopeasti tarkastella ja hallita vastuullaan olevien tuoteprojektien edistymistä Sunrise-alustalla. ／Zalando

Ota SRE uudelleen aktiivisesti vastaan ja jopa perusta oma SRE-osasto

Toisaalta, kuten aiemmin mainittiin verkkoostosviikosta puhuttaessa, Zalando perusti jälleen SRE-tukiryhmän Vuonna 2019 se perusti suoraan SRE-osaston. Tämä osasto sisältää lokin tallennustiimin, seurantamatriisiryhmän vastaustiimi ja startup-valmennus antaa tälle ihmisryhmälle mahdollisuuden keskittyä samaan visioon ja tavoitteisiin samojen KPI-määritteiden avulla.

Andrew Howden huomautti: "SRE-osaston tavoitteena on luoda joukko keskeisiä liiketoiminnan ylläpitotoimintamalleja, jotka keskittyvät asiakaskokemukseen ja osastojen välisten yhdenmukaistamisongelmien ratkaisemiseen. Hän on ollut mukana Zalandon SRE-kehitysprosessissa viimeisen neljän ajan." vuotta.

Avainliiketoiminnan ylläpito on palvelutason tavoite (SLO), joka keskittyy asiakaskokemukseen Mittaamalla asiakkaiden ja verkkosivuston välistä vuorovaikutusta kehittäjien, johtajien ja asiakkaiden näkökulmat voidaan integroida samaan tietojoukkoon ja nämä tiedot voidaan integroida. käyttää luotettavuuden parantamiseen.

Perusta sulautettu SRE-tiimi ratkaisemaan erityisiä huolto- ja käyttöongelmia

Oma SRE-osasto ei riitä. Zalando on myös perustanut uuden SRE-tiimin nimeltä Embedded SRE ratkaisemaan kassaprosessin erityiset haasteet. Esimerkiksi jotkut hullut ostajat kohdistavat yhtäkkiä tiettyihin tuotteisiin suuria myyntiä varten, mikä aiheuttaa joitain järjestelmäongelmia. Tämän tyyppinen kassaprosessiongelma sisältää yli kymmenen sovelluksen, 4 tai 5 osaston ja satojen insinöörien välistä viestintää ja yhteistyötä. Andrew Howden on tämän tiimin johtaja ja johtaa kahta insinööriä.

Andrew Howden analysoi ensin toisiinsa liittyvien tuotejärjestelmien vaikutuksia eri kassapoikkeuksien takana ja löysi ratkaisut yksitellen. Hän on käsitellyt ongelmia, kuten lukuisia pyyntöjä, jotka ylikuormittivat järjestelmän ja eivät vastanneet, jolloin klusterinhallintaohjelmisto käynnistyi automaattisesti uudelleen, mutta aiheutti koko järjestelmän sammumisen.

Koska kassajärjestelmä on laajamittainen hajautettu mikropalveluarkkitehtuuri, se suunniteltiin alun perin katkaisijatilassa välttämään jatkuvaa kutsumista samalle epäonnistuneelle palvelulle. Koska katkaisijan rakenne on kuitenkin liian herkkä, järjestelmä epäonnistuu alkaa vaikuttaa Muiden järjestelmien katkaisijoiden virhesuhteen arvioinnissa on peräkkäisiä vaikutuksia.

Tai toinen ongelma on se, että kassajärjestelmä on suunnitellut luotettavuuden varmistamiseksi monia automaattisia laajennusmekanismeja. Kun asiakkaan kassapyyntöjen vastausnopeus on todettu, se laajenee automaattisesti Myöhemmin havaittiin, että pieni määrä asiakkaita tuottaa suuren määrän pyyntöjä ostokäyttäytymisensä vuoksi, mikä aiheuttaa sen, että kaikilla asiakkailla ei ole sama ongelma määritelty standardin mukaan, joka kattaa 99.9 % yleisistä asiakkaista. Asiakkaan pyyntöjen lukumäärän yläraja voi vähentää tietyn asiakkaan hullun käyttäytymisen vaikutusta automaattiseen laajennusmekanismiin.

Integroi kokemus ylläpitoongelmien ratkaisemisesta päivittäiseen huoltoon

Koska ongelman ratkaiseminen kestää yleensä vain 3 viikkoa, mutta tämän epänormaalin ongelman käsittelykokemuksen siirtäminen alustatiimille ja eri tuotevastuutiimeille kestää 3 kuukautta. Viimeinen haaste SRE-tiimin integroinnissa on kuinka muuttaa näiden ylläpitoongelmien ratkaisukokemus osaksi päivittäistä huoltoa.

Zalando pitää viikoittaisia toiminnantarkistuskokouksia (WORM:t) pääinsinööriyhteisön avulla tarkastellaan analyysin jälkeisiä raportteja ja tarkastellaan erilaisia ylläpitoongelmia. Näiden analyysiraporttien laatu vaihtelee kuitenkin suuresti, ja insinöörit käyttävät paljon vaivaa näiden asiakirjojen valmisteluun.

SRE-tiimin upottaminen auttaa automatisoimaan tällaisten analyysiraporttien tuotantoprosessia ja jopa lisää SRE-käytäntöihin liittyviä säätöehdotuksia. Raportti voidaan lähettää automaattisesti tälle tiimille, ja raportti voidaan lähettää automaattisesti myös suunnittelun johtotiimille viikoittain tarkistettavaksi .

Vuoden 2023 puolivälissä sulautettu SRE-tiimi sai valmiiksi ongelmat, jotka se alun perin perustettiin ratkaisemaan, ja päätti myös tämän tiimin tehtävän. Andrew Howden päätti myös matkansa Zalandossa elokuussa ja ryhtyi SRE-koulutusta tarjoavaksi konsultiksi.

Zalandon alustasuunnittelu ei kuitenkaan ole pysäyttänyt muutostahtia, ja se kehittyy edelleen.