El cliente estadounidense pidió a a1qa que realizara un ciclo completo de pruebas del sistema. El producto era un sistema ERP SaaS a gran escala para gestionar todos los procesos de provisión de viviendas subvencionadas:

• presentación y tramitación de solicitudes, verificación de las condiciones necesarias para la concesión de viviendas subvencionadas
• gestión de la ocupación/desocupación de viviendas, inspección del estado de la vivienda
• asignación de tareas, notificaciones y gestión del tiempo.

El cliente se propuso alcanzar los siguientes objetivos:

• automatizar los procesos empresariales actuales
• aumentar la satisfacción de los usuarios reduciendo el tiempo necesario para procesar los documentos
• permitir a los usuarios rellenar ellos mismos los formularios para seguir trabajando con los organismos de ayuda a la vivienda
• recopilar estadísticas sobre el servicio al cliente para mejorar los procesos empresariales existentes
• establecer un proceso de recopilación de información financiera para informar a los inversores.

Para garantizar la calidad de todos los procesos del sistema, los especialistas de a1qa han elaborado un conjunto personalizado de servicios de pruebas (pruebas de ciclo completo), teniendo en cuenta los planes de lanzamiento del producto al mercado, así como las especificaciones del producto y su público objetivo.

Se realizaron distintos tipos de pruebas en diferentes momentos, en función de la fase de desarrollo. Por ejemplo, en la fase de crecimiento activo de la funcionalidad, los especialistas de a1qa realizaron pruebas funcionales en paralelo con pruebas de rendimiento y automatización de pruebas.

También se añadió una auditoría de usabilidad para ayudar a mejorar el producto y hacerlo fácil de usar y comprensible a pesar de su complejidad.

Antes de lanzar el producto, se realizaron pruebas de extremo a extremo para ayudar a evaluar hasta qué punto el sistema estaba preparado en general para el mercado.

Se elaboró un conjunto de casos de prueba para verificar la implementación de los requisitos funcionales. Para asegurarse de que los casos de prueba cubrían todos los requisitos, el equipo de a1qa implementó una fase de revisión cruzada en la que cada tester pasaba cada caso de prueba que creaba a otro miembro del equipo para su revisión.

La Matriz de Casos de Prueba (Test Cases Matrix) se introdujo para permitir un trabajo eficaz:

• asegurarse de que los casos de prueba cubren todos los requisitos del sistema
• combinar varias comprobaciones y reducir así varias veces el número de casos de prueba.

El desarrollo del sistema vino acompañado de cambios en la funcionalidad que exigían actualizar los casos de prueba. Para que el ingeniero de control de calidad no tuviera que dedicar mucho tiempo a seleccionar los casos de prueba afectados por los cambios, se decidió utilizar la matriz de componentes.

La matriz de componentes incluye matrices de casos de prueba para un componente (módulo) del sistema.

Cuando se desarrollaba una nueva funcionalidad, la matriz de casos de prueba se añadía a la matriz de componentes correspondiente.

Elaboración de documentación técnica

El cliente recurrió al equipo de redactores técnicos de a1qa para crear y actualizar un amplio paquete de documentación de ayuda. Los documentos debían tener en cuenta diversas características del sistema y describir todas las funcionalidades.

El equipo de redactores técnicos de a1qa realizó las siguientes tareas:

• creación de ayuda contextual
• elaboración de instrucciones prácticas y páginas de preguntas frecuentes
• elaboración de documentación para las sesiones de formación.

A lo largo del proyecto, los redactores técnicos de a1qa han elaborado más de 90 documentos con un total de más de 1000 páginas.

El producto se describió detalladamente en la documentación. El cliente apreció el enfoque flexible y personalizado a la hora de proporcionar la documentación necesaria para todos los requisitos, así como la considerable experiencia y conocimientos de los redactores técnicos.

Pruebas de aceptación (UAT)

Antes de cada lanzamiento de un nuevo producto, el equipo de control de calidad realizó pruebas de aceptación según los escenarios preparados por el analista de negocio y el representante del cliente.

Dificultades:

• gran cantidad de tiempo para preparar escenarios de pruebas de aceptación
• la necesidad de modificar/crear escenarios de prueba para cada UAT.

Tras dos rondas de pruebas de aceptación, se descubrió que la mayoría de los defectos de regresión estaban relacionados con el algoritmo básico de acción del usuario y la introducción de nuevas funcionalidades. Además, la nueva funcionalidad obligó al equipo de pruebas a modificar los escenarios de pruebas de aceptación existentes o a crear otros nuevos.

Solución:

El equipo de control de calidad desarrolló un nuevo enfoque de la redacción de guiones para las pruebas de aceptación. Se decidió crear scripts de UAT que describieran las acciones básicas del usuario y, para las nuevas funcionalidades, utilizar casos de prueba creados previamente para probar los requisitos del usuario.

Así, la preparación de las pruebas de aceptación se redujo a la selección de los casos de prueba adecuados. Posteriormente, se automatizaron todos los casos de prueba QSC y BAS (Business Analyst Scenarios). El comportamiento de cada función fue descrito por los analistas de negocio en los BAS. El equipo de control de calidad los desarrolló y los transfirió al equipo de automatización. Cada función sometida a prueba tenía al menos una prueba automatizada, lo que ayudó a ahorrar 3 horas de pruebas por función dentro de la fase UAT.

Transición de Scrum a SAFe

Inicialmente, el desarrollo del proyecto se llevó a cabo utilizando la metodología Scrum. Pero al cabo de varios años se decidió cambiar al Scaled Agile Framework (SAFe). SAFe está dirigido a grandes empresas y permite una gestión más eficiente del desarrollo de software, incluidos los proyectos en los que participan varios equipos.

El equipo de a1qa necesitaba una comprensión más profunda de los valores y principios subyacentes del desarrollo SAFe.

La ventaja más evidente del cambio a SAFe fue el trabajo coordinado de todos los equipos y la rápida entrega del producto final.

Métricas de prueba

En consulta con el cliente, los ingenieros de control de calidad siguieron la dinámica de las métricas seleccionadas.

Ejemplo:

Explicación:

Rechazados, % defectos sobre el número total de todos los defectos comprobados.

Calidad de la corrección de defectos:

• Del 0% al 3,9% de los defectos reabiertos — alta
• Del 4% al 9,9% de los defectos reabiertos — media
• El 10 % o más de los defectos reabiertos — bajo.

Objetivo: mantener menos del 10 % de todos los defectos corregidos reabiertos.

Defectos del sprint por Severidad - el número de todos los defectos asociados con los requisitos de usuario del sprint actual, clasificados por Severidad. El número de defectos abiertos se muestra entre paréntesis.

Equipo de control de calidad

Inicialmente, un equipo de control de calidad (2 ingenieros y 1 jefe de equipo) participó en el proyecto.

En 2014, la garantía de calidad corría a cargo de 7 equipos, entre ellos un coordinador de proyecto, un gestor de proyecto, jefes de equipo, ingenieros de pruebas, ingenieros de automatización de pruebas, un equipo de pruebas de rendimiento, redactores técnicos y expertos en UX.

Antes de finalizar el proyecto El equipo se amplió a tres especialistas. especialistas de a1qa que participaron se dedicaban a apoyo al producto, validando defectos y probando la funcionalidad adicional desarrollada según los requisitos del usuario. 

Contribución de a1qa

El equipo de a1qa participó en el proceso de garantía de calidad del producto desde el principio de su desarrollo. Unos procesos claramente estructurados de trabajo paralelo de varios equipos de garantía de calidad permitieron distribuir eficazmente la solución de tareas, así como resolver problemas de trabajo.

A lo largo del periodo de pruebas, más de más de 12000 defectos graves y críticos que se han corregido con éxito. 

El equipo de a1qa garantizó una migración de calidad al nuevo sistema ERP.

Los especialistas de a1qa llevaron a cabo una serie de eventos de formación para los empleados del cliente, y los directivos de a1qa asesoraron al cliente en la contratación de nuevos ingenieros de control de calidad.

Gracias a la participación del equipo de redactores técnicos de a1qa y a la preparación de documentación detallada, fue posible optimizar considerablemente el proceso de transferencia de conocimientos, ahorrando tiempo y recursos para las pruebas.

Todos los objetivos del proyecto se cumplieron puntualmente y el producto se lanzó con éxito y a tiempo.