Edellisestä QA Jamista saadut palautteet ja niiden pohjalta tapahtuman jalostaminen kannatti, sillä toinen QA Jam sai hienon startin kolmipäiväiseen tapahtumaan.
Hiotun materiaalin ansiosta, luento-osuus sujui paljon tehokkaammin ja osallistujat pääsivät keskustelemaan kehittäjätiimin edustajien kanssa ja tutustumaan sekä heihin että heidän peliprojekteihinsa.
Day 1 – Pohjustus
Kehittäjien aktiivinen mukana oleminen ensimmäisen päivän ajan oli kriittistä, koska se antoi mahdollisuuden osallistujien kysyä pelin eri osa-alueista sekä mekaniikoista. Tämä simuloi myös pitkälti sitä mitä QA tekee työskennellessään peliprojektissa: he keskustelevat ja käyvät projektia läpi yhdessä kehittäjätiimin kanssa, etenkin silloin, jos he tulevat kesken projektin mukaan esimerkiksi uutena työntekijänä.
Olimme varanneet aikaa myös siihen, että osallistujat pystyivät tutustumaan peliin omatoimisesti sekä käymään läpi materiaaleja ennen varsinaisen testauksen aloittamista.
Day 2 – Jammailu
Toinen päivä alkoi Business Collegen opettajan organisoimalla harjoituksella, jonka tarkoituksena oli auttaa osallistujia miettimään mitä eri osa-alueita peleissä voi testata. Hän oli ottanut kuvakaappauksia eri peleistä, ja pyysi osallistujia kirjaamaan muistilapuille ylös yksittäisiä mekaniikkoja, joiden on toimittava, jotta esimerkkipeli olisi pelattava. Harjoituksen aikana osallistujat keskustelivat ja jakoivat ajatuksia keskenään. Kun harjoitus oli päättynyt, osallistujien pöydät olivat täynnä muistilappuja, joihin oli listattu pelimekaniikkoja. Harjoituksen jälkeen osallistujille annettiin virallisesti lupa aloittaa “jammailu”.
Olimme antaneet heille rungon, jota seurata jamin ajan: ensin osallistujat suunnittelevat testejä, jonka jälkeen he toteuttavat ne. Mikäli bugeja ei löydy testien yhteydessä, he palaisivat testien jälkeen takaisin suunnittelemaan uusia testejä. Mikäli he löytäisivät ongelmia, he raportoisivat ne bugitietokantaan. Hyvin yksinkertainen ja helposti ymmärrettävä runko, joka toimi todella hyvin.
Näiden kysymysten lisäksi pyysimme osallistujia antamaan palautetta pelinkehittäjätiimeille heidän projekteistaan. Painotimme, että heidän tulisi perustella syy palautteelle mahdollisimman yksityiskohtaisesti. Jos jokin tuntui hyvältä, miksi? Jos jokin tuntui häiritsevältä, niin mikä aiheutti sen ja miksi?
Lopuksi kävimme läpi tiimien aikaansaannoksia: millaisia testejä he olivat suunnitelleet, mitä bugeja heille oli tullut vastaan, ja mitkä olivat heidän mielestään haastavimmat osa-alueet testata. Kukin tiimi oli onnistuneesti suoriutunut, ja yhteenlaskettuna he olivat löytäneet kaikkiaan 84 bugia tapahtuman aikana.
Osallistujat saivat myös käyttöönsä kaksi työkalua: työntekijämme Ilkan kehittämän testisuunnittelu-työkalun, sekä Business Collegen opettajan kehittämän bugitietokanta-työkalun. Näiden työkalujen tarkoituksena oli nopeuttaa ja helpottaa testien suunnittelua sekä bugiraportointia, sekä toimia myös havainnollistavana esimerkkinä siitä millaisia työkaluja testaajilla voi olla käytössä.
Päivän aikana vastasimme osallistujien esittämiin kysymyksiin, annoimme neuvoa ja lisäohjeistusta tarvittaessa. Osallistujilla oli todella hyvä “flow” päällä, jota oli ilo seurata. Olimme jakaneet heidät 2–3 hengen tiimeihin per peli ja huomasimme että he keskustelivat aktiivisesti myös keskenään, esittelivät toisilleen löydöksiään ja vaihtoivat ajatuksia. Ryhmätyöskentely toimi todella hyvin.
Päivän päätyttyä kävimme kysymässä tiimeiltä kuulumisia, ja olimme positiivisesti yllättyneitä siitä, kuinka paljon he olivat löytäneet bugeja sekä keksineet testitapauksia. Pari osallistujaa jopa kysyi, että olisivatko he voineet jatkaa testausta myös kotona, johon luonnollisesti annoimme luvan.
Day 3 – Läpikäynti
Edellisen jamin palautteen mukaisesti, annoimme osallistujille aikaa hioa heidän tekemiään bugiraportteja sekä suorittamaan viimeisiä testejä. Mutta tämän jälkeen siirryimme uutteen aiheeseen: riskiarviointiin sekä palautteeseen.
Annoimme osallistujille tehtäväksi arvioida heidän testaamiaan pelejä. Heidän piti miettiä ja perustella, mikä pelin tämänhetkinen tila on, laadunvarmistuksen näkökulmasta. Pyysimme heitä miettimään ja vastaamaan muun muassa seuraaviin kysymyksiin:
- Mitkä ongelmat pitäisi ehdottomasti korjata, jotta peli olisi valmis julkaisuun?
- Onko pelissä joitakin osa-alueita, jotka heidän mielestään nykytilassaan heikentävät pelikokemusta?
- Mitkä bugit olisivat sellaisia, jotka eniten vaikuttaisivat pelin myyntiin?
- Onko heidän mielestään joitakin mekaniikkoja, jotka tällä hetkellä ovat ristiriidassa muiden pelimekaniikkojen kanssa?
Mitä opimme?
Meillä on nyt kaksi QA Jamia takana. Näiden kahden tapahtuman tavoitteena oli validoida, onko tämä ideana sellainen, joka kiinnostaisi ihmisiä, sekä voisiko se toimia tapana oppia ja tutustua pelitestaukseen ja laadunvarmistukseen.
Näiden kahden ensimmäisen tapahtuman myötä on todettava, että tämä tapahtuma on konkreettisesti hyödyllinen ja toimiva. Ei pelkästään osallistujille, vaan myös pelitiimeille, jotka toivat oman pelinsä testattavaksi. Tätä voisi sanoa niin sanotuksi “win-win” tilanteeksi: osallistujat pääsevät oppimaan miten laadunvarmistusta suoritetaan peliprojekteissa, ja kehittäjät saavat arvokasta palautetta sekä bugiraportteja heidän pelistään. Kaikki osapuolet hyötyvät.
On myös tärkeää mainita, että osallistujiemme mielestä heillä on ollut hauskaa tapahtuman ajan, ja että he ovat ottaneet QA Jameilla olleita oppeja käyttöön omissa projekteissaan.
Varmaankin herää kysymys, mitä seuraavaksi?
Nämä tapahtumat ovat iteratiivinen prosessi, ja teimme myös viimeisimmästä tapahtumasta omia huomioita, joiden perusteella aiomme tehdä muutoksia rakenteeseen. Odottelemme vielä tarkempaa palautetta osallistujilta sekä kehittäjätiimeiltä, joiden perusteella teemme lisää muutoksia.
Laadunvarmistusta ei juuri opeteta Suomessa, ja näemme, että tällaisten tapahtumien kautta voimme auttaa niin opiskelijoita kuin jo alalla toimivia ymmärtämään lisää laadunvarmistuksen tärkeydestä pelinkehityksessä.
Haluamme jatkaa QA Jamien kehittämistä, ja tehdä siitä entistä paremman jokaisen iteraation myötä.
Me teimme tämän yhdessä!
Lopuksi haluamme vielä antaa suuret kiitokset tahoille, jotka olivat mukana QA Jameissa.
Kiitos Business College Helsingille, että annoitte meille mahdollisuuden järjestää nämä yhdessä teidän kanssanne ja että annoitte meille palautetta ja ehdotuksia. Iso kiitos myös tapahtumien organisoinnissa avustamisesta, teidän opettajanne tekemästä bugiraportointi-työkalusta, sekä siitä, että tarjositte meille tilat.
Kiitos Game Makers of Finland:ille sekä Tietoala Ry:lle tuestanne, tapahtuman ennakkoilmoittautumislomakkeesta ja teaserin teosta IGDA Helsinki meetupiin, sekä osallistujille tarjotuista motivaatiomakeisista sekä tarroista.
Kiitos myös kaikille osallistujille sekä kehittäjätiimeille. QA Jameja ei olisi ollut ilman teitä.