Szoftver írásakor hibák fordulhatnak elő a kódban. Ez lehet szintaktikai hibák, logikai hibák, futásidejű hibák, teljesítményhibák, adathibák vagy ami még rosszabb.
A szoftverírás során szinte mindenütt előforduló hibák miatt a szoftvertesztelés fontos lépés a szoftverfejlesztésben. A megfelelő és hatékony tesztelés nemcsak kiváló minőségű, a felhasználók igényeinek megfelelő szoftvereket eredményez, hanem olyan szoftvereket is, amelyek megfelelnek az előírásoknak, és alig vagy egyáltalán nem tartalmaznak olyan sebezhetőséget, amelyet a támadók kihasználhatnak.
A szoftvertesztelés történhet automatizált tesztelés, egységteszt, integrációs tesztelés, vagy a teljes szoftver tesztelése rendszerteszttel.
A szoftver során azonban fontos kérdés, hogy hogyan állapítja meg, hogy szoftverét átfogóan tesztelték-e. Elegendőek a szoftveren futtatott tesztek?
Teljesen tesztelte a szoftver minden részét, vagy vannak olyan kódrészletek, amelyeket egyáltalán nem teszteltek?
Ilyen kérdések biztosan felmerülnek a szoftvertesztelés során, és ez az, ami miatt olyan fontos a kód lefedettsége.
A kódlefedettség egy szoftvertesztelési mérőszám, amely megmondja, hogy a kódból mennyit hajtottak végre, és mennyit teszteltek a tesztelt szoftveren futtatott tesztek által. A kódlefedettség eredményeit százalékban fejezzük ki.
Ez a százalék azt mutatja meg, hogy a kódon végzett tesztek mekkora részét fedték le a kódból. Például, ha egy tesztet lefuttat, és visszakapja a 60%-os kódlefedettséget, az azt jelenti, hogy a kód 40%-át nem fedték le az Ön által írt tesztek, és így hibák és sebezhetőségek lehetnek a nem tesztelt kódban.
Emiatt a kódlefedettség lehetővé teszi a szoftveren futtatott tesztek hatékonyságának és teljességének elemzését. Ennek az az előnye, hogy biztosítja a szoftver megfelelő és átfogó tesztelését a kiadás előtt. Ez csökkenti a szoftverhibákat az éles szoftverekben, amelyek befolyásolhatják a felhasználók szoftverrel kapcsolatos tapasztalatait.
Bár a 100%-os kódlefedettség nem feltétlenül jelenti azt, hogy az Ön által írt szoftver teljesen hibamentes, nagy kódlefedettségre szeretne törekedni a szoftver hatékony tesztelésének biztosítása érdekében.
Az olyan kritikus iparágakban, mint a repülés és az orvostudomány, ahol a szoftverhibák halált okozhatnak, a szabályozások 100%-os szoftverlefedettséget írnak elő a tesztelés során.
Tartalomjegyzék
A kódlefedettségi mérőszámok típusai
A szoftver tesztelése során többféle kódlefedettségi mérőszám is mérhető. Tartalmazzák:
- Nyilatkozat lefedettség – a tesztelés során végrehajtott futtatható utasítások százalékos arányát méri a forráskódban.
- Funkciólefedettség – a tesztelés során meghívott meghatározott függvények százalékos arányát méri.
- Áglefedettség – a forráskód összes döntési pontjáról végrehajtott ágak vagy lehetséges útvonalak százalékos arányát méri. Annak biztosítására szolgál, hogy minden olyan ágat, amely a döntés-ellenőrzési struktúrákból ered, például if, switch utasítások és if else utasítások teljes mértékben tesztelve legyenek.
- Feltétel lefedettsége – az igaz és hamis értékekre egyaránt tesztelt logikai kifejezések százalékos arányát méri.
- Loop Coverage – a tesztelés során végrehajtott ciklusok százalékos arányát méri a forráskódban.
- Útvonal lefedettség – a forráskódban található összes lehetséges végrehajtási útvonal tesztelt százalékos arányát méri.
A fenti mutatók általában szerepelnek a kódlefedettségi jelentésben.
A kódlefedettség legjobb gyakorlatai
A kódlefedettség végrehajtása során bizonyos bevált módszerek ajánlottak a kódlefedettség hatékonyságának és minőségének biztosítása érdekében. Tartalmazzák:
Legyen világos lefedettségi céljai
Minden végrehajtott szoftverteszt során állítson be céllefedettségi százalékot minden megfelelő tesztlefedettségi mutatóhoz. Ennek az az előnye, hogy nem csak egyértelmű tesztelési célokat ad, hanem segít a szoftverhibák csökkentésében is azáltal, hogy a csapat erőfeszítéseit a kódlefedettség növelésére irányítja. Segít abban is, hogy a szoftvertesztelés megfelelő figyelmet kapjon a szoftverfejlesztés során.
Fókuszáljon a teszt minőségére
Fontos megjegyezni, hogy a kódlefedettség egyszerűen a tesztelt kód százalékos arányát mutatja, és nem mutatja, hogy megfelelően tesztelték-e, vagy hogy a szoftver hibamentes-e. Ezért ahelyett, hogy egyszerűen a 100 százalékos kódlefedettségre összpontosítanánk, a hangsúlyt a minőségi és hatékony tesztek írására kell helyezni, amelyek megfelelően tesztelik a szoftvert és hozzáadott értéket.
Növelje a kódlefedettséget a gyakran változó kódban
Míg nagy projektekben nehéz lehet magas kódlefedettséget elérni, erőfeszítéseket lehet tenni annak biztosítására, hogy a kódlefedettség idővel javuljon.
Ennek nagyszerű módja az, ha a projekt kódbázisára tett minden új commit esetében magas, 90 százalék feletti kódlefedettséget ír elő.
A commit szintű kódlefedettség érvényesítése nemcsak reális és megvalósítható, hanem azt is biztosítja, hogy a szoftveren végrehajtott új módosítások kiváló kódlefedettséggel rendelkezzenek.
Mérje és elemezze a kódlefedettségi adatokat
Használja fel a kódlefedettségből származó eredményeket a még tesztelésre szoruló területek azonosítására, valamint a jövőbeni tesztelési erőfeszítések irányítására, kiemelten kezelve az alacsony kódlefedettségű területeket.
Elemezze a kódlefedettség adatait, hogy azonosítsa az alkalmazás még tesztelésre váró kritikus területeit, és irányítsa erőfeszítéseit a még nem tesztelt kritikus területek teljes körű tesztelésére. A kódlefedettség adatainak felhasználása a szoftver fejlesztésére és rangsorolására jobban tesztelt szoftvert eredményez, kevesebb hibával.
Kód lefedettség vs. teszt lefedettség
Míg mindkettőt a tesztek hatékonyságának megállapítására használják, addig a kódlefedettség és a tesztlefedettség alapvetően különbözik a használatuk és a mérésük tekintetében.
A tesztlefedettség egy mérőszám, amellyel meghatározható, hogy az írásbeli tesztek milyen mértékben fedik le a szoftver követelményeit. Ez magában foglalja az egyes szoftverkövetelmények tesztelését, és segít megbizonyosodni arról, hogy a szoftvert mennyire tesztelték a követelményeknek való megfelelés tekintetében.
A tesztlefedettség eredményei a tesztelt szoftverkövetelmények százalékos arányát mutatják. A tesztek lefedettségét jellemzően minőségbiztosítási szakemberek végzik.
Másrészt a kódlefedettség egy szoftvertesztelési mérőszám, amelyet az írásos tesztek által végrehajtott forráskód százalékos arányának meghatározására használnak.
A kódlefedettség eredményei azt mutatják meg, hogy a forráskódban lévő utasításokat, függvényeket, elérési utakat, ciklusokat, ágakat és feltételeket milyen mértékben hajtották végre az írott egységtesztek. A kódlefedettséget annak értékelésére használják, hogy a megírt tesztek mennyire fedik le a forráskódot, és ezt általában a szoftverfejlesztők végzik.
A kódlefedettség fontos mérőszám a szoftvertesztelés során. Íme néhány eszköz, amelyek segítenek a kód lefedettségében:
Lóhere
A Clover egy nyílt forráskódú lefedettségi eszköz, amelyet eredetileg az Atlassian, egy ausztrál szoftvercég fejlesztett ki, amely szoftverfejlesztő csapatok számára fejleszt termékeket. Az eszköz tisztán Java nyelven készült, és bármilyen operációs rendszeren futhat, amely megfelel a Java Runtime Environment követelményeinek.
A Clover használható kódlefedettség végrehajtására Java, Groovy vagy AspectJ programozási nyelven írt kódon. Támogatja az olyan tesztkeretrendszereket, mint a JUnit, a TestNG és a Spock, és integrálható olyan IDE-kkel is, mint az IntelliJ IDEA és az Eclipse.
A Clover használható kódlefedettségi mérőszámok mérésére, például metódus, utasítás, ág, globális és tesztenkénti lefedettség.
A kódlefedettségi gyakorlatból nagymértékben konfigurálható HTML-jelentéseket tud készíteni, amelyek a szoftver legveszélyeztetettebb területein kívül a kódlefedettség eredményeit is megmutatják, és felhasználhatók a tesztoptimalizáláshoz.
A jelentések PDF, XML, JSON vagy egyszerű szöveg formátumban is előállíthatók. A lóhere fő előnye, hogy számos különféle eszközzel integrálható, és folyamatosan fejlesztik és fejlesztik.
JaCoCo
A JaCoCo egy ingyenes kódlefedettségi könyvtár a Java programozási nyelvhez, amelyet az EclEmma csapat fejlesztett ki. A könyvtár az EclEmma-ban van megvalósítva, amely egy ingyenes Java kódlefedési eszköz az Eclipse IDE számára.
A JaCoCo gazdag lefedettség-elemzést biztosít, amelynek eredményeit azonnal összefoglalja és kiemeli a Java Forráskód-szerkesztő, és lehetővé teszi a felhasználók számára, hogy a lefedettség eredményeit a módszer szintjéig lefúrják.
Az eredmények egy testreszabható színkóddal jelennek meg, amely kiemeli azokat a kódsorokat, amelyeket teljesen, részben vagy még nem fedtek le a forráskódon futtatott tesztek. Lehetővé teszi a különböző tesztfutások összevonását és figyelembevételét a forráskód teljes kódlefedettségének elérése érdekében.
A JaCoCo egy könnyű eszköz, amely nem igényli a projektek módosítását vagy más beállítások elvégzését a kódlefedettség elemzéséhez.
Cobertura
A Cobertura egy ingyenes és nyílt forráskódú Java kódlefedési eszköz, amely a Jcoverage-en alapul, és önmagában, Ant szkripten vagy a Maven beépülő modulon keresztül használható. A Maven beépülő modulon keresztüli használata a Cobertura kódlefedettségi használatának leggyakoribb módja.
A Cobertura a Java forráskódon futtatott tesztek által végrehajtott sorok vagy ágak százalékos arányát méri. Olyan mérőszámokat biztosít, mint a vonallefedettség, amely megmutatja a tesztek során végrehajtott utasítások százalékos arányát, valamint az áglefedettséget, amely a tesztek során lefedett ágak százalékos arányát mutatja.
Ez egy összetettségi tényezőt is mutat, amely növekszik a Java kód ágainak számának növekedésével.
A kódlefedettség eredményei HTML vagy XML formátumban jelennek meg, megmutatva, hogy a forráskód mely részeit nem tesztelték. A tesztlefedettség eredményein kívül a Cobertura a nem tesztelt kódok és hibák felkutatására, valamint az elérhetetlen kódok azonosítására is használható.
Isztambul
Az Istanbul egy kódlefedő eszköz JavaScript kódhoz, amely támogatja az ES6+-t. Ez az eszköz bármely Javascript projektbe telepíthető fejlesztési függőségként a csomóponti csomagkezelő segítségével.
Isztambul olyan kódlefedettségi mutatókat biztosít, mint például az utasítás, az elágazás, a funkció és a vonal lefedettsége. Megmutatja a forráskód azon sorait is, amelyekre a tesztek nem vonatkoztak. Ezt úgy teszi, hogy sorszámlálókat ad hozzá a JavaScript-kódhoz, így nyomon tudja követni, hogy az egységtesztek milyen mértékben hajtják végre a forráskódot.
Az isztambuli kódlefedettség eredményei a terminálban vagy HTML formátumban is kiadhatók. Ezenkívül Isztambul támogatja az alfolyamatokat létrehozó alkalmazásokat, valamint a Babel és a TypeScript projektek forrásleképezett lefedettségét.
Pytest-cov
A Pytest-cov egy ingyenes Python-bővítmény, amellyel kódlefedettségi jelentéseket készítenek Python-kódhoz. A Python Pip csomagtelepítőjével telepíthető, és a parancssorból működtethető.
A kódlefedettségi jelentés megmutatja a Python-projekt állításait, a tesztek által nem lefedett állításokat, és megadja a tesztlefedettség százalékos arányát, amely megmutatja a Python-kód tesztekkel lefedett százalékát.
A Pytest-cov alfolyamatok támogatását, xdist támogatást és konzisztens pytest viselkedést kínál. A Pytest-cov alapértelmezett viselkedése tesztek végrehajtása során a meglévő lefedettségi adatfájlok törlése, hogy minden új tesztfutáshoz új és tiszta adatokat biztosítson. Ugyanakkor lehetővé teszi a felhasználók számára, hogy kombinálják a korábbi tesztfutások kódlefedettségi teszteredményeit.
Coverage.py
A Coverage.py egy kódlefedési eszköz Python-programokhoz, és a pip használatával telepíthető projektekben.
Alapértelmezés szerint méri a sorok vagy utasítások lefedettségét, és olyan eredményeket ad, amelyek megmutatják a programban lévő utasítások számát, a tesztek által kihagyottakat, valamint a tesztből származó százalékos lefedettséget, valamint megjeleníti a Python-forráskód azon sorait is, amelyeket a program kihagyott. a teszteket. Azonban továbbra is konfigurálható az ágak lefedettségének mérésére a Python programokban.
A Coverage.py segítségével meg lehet állapítani, hogy mely tesztek a forráskód mely sorait futották le. Kódlefedettségi jelentése a terminálon, valamint HTML, XML, JSON és LCOV formátumban is megjeleníthető.
SimpleCov
A SimpleCov egy robusztus kódlefedési eszköz a Ruby programozási nyelvhez. A Ruby beépített lefedettségi könyvtárát használja a releváns adatok összegyűjtésére, amelyeket a tesztek futtatása után a kódlefedettség meghatározásához használ.
A SimpleCov legjobb tulajdonsága a kódlefedettség eredményeinek bemutatása. Ezenkívül egyesíti a különböző típusú tesztek eredményeit, így a generált jelentés megjeleníti az összes elvégzett teszt eredményét, lehetővé téve a kód nem tesztelt részeinek egyszerű azonosítását.
A forráskódot színkódokkal is formázza, amelyek segítségével könnyen azonosítható a kód tesztelt és nem tesztelt részei. Alapértelmezés szerint a SimpleCov méri és jelenti a tesztek vonallefedettségét. Beállítható azonban, hogy mérje és jelentést készítsen az elvégzett tesztek lefedettségéről.
Mély fedél
A Deep Cover egy pontos kódlefedési eszköz a Ruby kódhoz. Pontosabb vonallefedettségi jelentéseket kínál, mivel biztosítja, hogy a vonal csak akkor tekintsen lefedettnek, ha teljesen végrehajtódik, nem pedig részben.
Ezenkívül támogatja a csomópontok és ágak lefedettségét, amely opcionálisan használható annak megállapítására, hogy vannak-e olyan ágak, amelyeket nem vettek át a tesztek.
A Deep Cover nem csak egyszerűen használható konfigurációk nélkül, de más kódlefedési eszközökkel, például a Ruby beépített kódlefedettségi könyvtárával vagy a SimpleCov-val is integrálható projektekbe. Ilyen esetekben a Deep Cover szigorúbbá teszi az eszközöket azzal, hogy csak akkor jelöli meg a sorokat végrehajtottként, ha a kódsorban minden teljesen végrehajtódik.
Következtetés
Bár a nagyobb kódlefedettség nem feltétlenül eredményez hibamentes szoftvert, ez egy kulcsfontosságú mérőszám, amelyet figyelembe kell venni a szoftver tesztelésekor. A kódlefedettség fontos annak kiértékelésében, hogy a megírt tesztek valójában mennyire tesztelik a szoftver forráskódját.
Ezenkívül a tesztelés során a kódlefedettség javításán végzett munka jobban tesztelt szoftvereket eredményez, amelyek kevésbé hajlamosak a gyártási hibákra. A szoftver tesztelése közben a kódlefedettség végrehajtásához fontolja meg a cikkben javasolt eszközök használatát.
Felhőalapú terheléstesztelő eszközöket is felfedezhet.