System and software engineering - Software testing

Il nuovo standard nasce dall'esigenza di fare ordine nella pletora di norme esistenti nel campo del software testing (IEEE 829 che tratta della documentazione, IEEE 1008 che tratta dello Unit Testing e BS 7925-1 e 2, altri due standard che trattano dello Unit Testing).

La pletora di cui prima lasciava scoperte le aree relative al test d'integrazione, al test di sistema, a quello di accettazione. Mancava comunque una norma sul processo di testing. carenze erano rilevate anche in fatto di politiche e strategie per l'organizzazione di test. altra carenza era individuata nella gestione del test all'interno dei progetti (Project Management). Mancavano anche tecniche comuni per i test e indicazioni specifiche sui test non funzionali (di usabilità, di performance, ecc.).

Conflitti nelle definizioni, nei processi e nelle procedure esistenti generavano inoltre perplessità e inconvenienti. I professionisti, in sintesi, non avevano un riferimento preciso sul tema.

Ambito e struttura della norma

La figura che segue mostra la struttura della norma fatta di quattro parti.

Stato dell'arte

La norma consta di quattro parti come riportato nella tabella che segue.

Alla data sono disponibili solo la parte 2 e 3. La parte 1 sarà disponibile nel 2013 e la parte 4 a fine 2012.

ISO/IEC 29119-1 Concepts & Vocabulary

La prima parte conterrà due sezioni: Software testing concepts e Testing Vocabulary. La prima sezione, Software testing e concepts tratterrà i seguenti argomenti: Introduzione al software testing; Relazione tra testing, sviluppo e manutenzione; Implicazioni dei modelli dei cicli di vita; Approccio al testing. La seconda sezione, Testing vocabulary, conterrà invece un vocabolario della terminologia specifica del software testing.

ISO/IEC 29119-2 Testing processes

Già disponibile, la seconda parte presenta i processi previsti dal modello. Tale modello (Test Process Model), sintetizzato nella figura che segue, prevede quattro tipi specifici di processo: Organizational Test Process, Test Management Processes, Static Test Process e Dynamic Test Processes.

Il modello dei processi di test prevede una stretta correlazione tra di essi, come mostrato dalla figura che segue. Gli input e i relativi out di ciascun processo sono definiti e mostrati nella figura.

Il livello di dettaglio cui ogni processo giunge è molto alto e permette ad ogni organizzazione di personalizzarli secondo le esigenze specifiche. Per ogni processo è definito quanto segue: Scopo (Purpose); Risultati (Outcomes); Attività (Activities and Tasks); Informazioni di dettaglio (Information items); Criteri di entrata e uscita (Entry and Exit criteria).

ISO/IEC 29119-3 Documentation

Già disponibile, la terza parte è divisa in quattro parti con relativi dettagli come mostrato qui di seguito.

Organizational. A livello organizzativo la documentazione prevede: Test Policy e Test Strategy.

Project. A livello di progetto la documentazione prevede:  Project Test Plan e Test Completion Report.

Testing. A livello di test specifico la documentazione è più ricca e prevede: Test Specification; Test Results; Incident Reports; Test Environment Report; Test Status Report e Test Completion Report.

Appencices. Le appendici riportano esempi di documenti specifici per ciascun livello di test.

ISO/IEC 29119-4 Techniques for Dynamic Testing

Non ancora disponibile (si pensa non prima dell'anno prossimo), la quarta prevederà tecniche specifiche per i test dinamici (cioè quelli che prevedono l'esecuzione del software nei computer previsti. Le tecniche sono relative a diversi aspetti del testing.

Specification-Based Testing Techniques. Si tratta di tecniche adatte a verificare le specifiche software e prevedono: Equivalence Partioning; Classification Tree Method; Boundary Value Analysis; State Transition Testing; Cause-Effect Graphing e altre tecniche del genere.

Structure-Based Testing Techniques. Si tratta di tecniche basate sulla struttura del codice: Statement Testing; Branch Testing; Decision Testing; Condition Testing; Data Flow Testing.

Quality-Related Types of Testing. Si tratta di tecniche rivolte alla verifica della qualità del software come, ad esempio: Accessibility Testing; Backup/Recovery Testing ecc.

Parte 5: Test Process Assessment

E' stata proposta una quinta parte della norma per la valutazione dei processi implementati dall'organizzazione. La quinta parte dovrebbe prendere in considerazione altre norme esistenti su cui basarsi:

• ISO/IEC 15504-2 come "Modello di riferimento della valutazione"

• ISO/IEC 29119-2 come "Modello di riferimento del processo di test"

• TMMi come modello di "Testing Maturity Model Integration"

• TPI come modello per "Testing Process Improvement"

Si considera l'opportunità di includere la quinta parte in una nuova versione della ISO/IEC 15504 Information Technology - Process Assessment (meglio conosciuta come SPICE) nella Serie 33000:

• ISO/IEC 33063: Process Assessment Model for Software Testing Processes