Sistematicas Calculo Precision en Microbiologia
Sistematicas Calculo Precision en Microbiologia
Sistematicas Calculo Precision en Microbiologia
PRECISIN DE LOS MTODOS CUANTITATIVOS EN MICROBIOLOGA. COMPARATIVA DE DISTINTAS SISTEMTICAS DE CLCULO C. de la Cruz Remn1 y J. Laso Snchez1
1
Gabinete de Servicios para la Calidad. C/Caridad, 32 - local. 28007 Madrid, Espaa. E-mail: [email protected]
RESUMEN. La presente comunicacin presenta una comparativa entre cuatro planteamientos para la estimacin de la precisin del los resultados de los ensayos cuantitativos en microbiologa recogidos en la normativa existente, publicados por entidades de acreditacin o en la bibliografa. Los cuatro mtodos valorados no presentan diferencias en cuanto a sus resultados aunque s en su planteamiento inicial. PALABRAS CLAVE. Validacin, reproducibilidad, incertidumbre. precisin,
Limits of Detection in Chemical and Microbiological Testing Laboratories -The American Association for Laboratory Accreditation. G108 11/05/2007 Guidelines for Estimating Uncertainty for Microbiological Counting Methods. -IBEROLAB 2005: Situacin de la validacin de los ensayos microbiolgicos en los laboratorios (J. Laso Snchez).
2.- Sistemticas de clculo En el presente artculo, para realizar la comparativa se van a emplear los resultados procedentes de diez muestras en las que se ha realizado una adicin con material de referencia para obtener un recuento de 390 ufc/g (Valor de referencia VR). De cada muestra dos tcnicos realizan un ensayo (VL1 y VL2). Dichos valores son transformados como su logaritmo decimal (tabla 1 y figura 1).
Tabla 1. Valores iniciales de ejemplo y transformacin logartmica Log(VL1 Log(VL2) VR VL1 VL2 Log (VR) ) 1 3,9E+02 3,5E+02 4,0E+02 2,591 2,544 2,602 2 3 4 5 6 7 8 9 10 3,9E+02 3,9E+02 3,9E+02 3,9E+02 3,9E+02 3,9E+02 3,9E+02 3,9E+02 3,9E+02
2,700 2,650 2,600
Log (ufc/g)
1.- Introduccin La estimacin de la precisin en los mtodos cuantitativos en microbiologa basados en el recuento en placa puede ser abordada por diferentes vas. Algunas de estas vas han sido trasladadas a documentos normativos (ISO/TS 19036:2006, ISO/TS 19036:2006/Amd.1:2009, ISO 16140:2003, ISO/TR 13843:2000), otras han sido recogidas por entidades de acreditacin como guas tcnicas (International Accreditation New Zeland AS TG5, May 2004; Singapore Accreditation, Technical guide 2, March 2008, The American Association for Laboratory Accreditation. G108 11/05/2007) y otras son empleadas por organismos oficiales (Health Protection Agency, Uncertainty of measurement in testing, QSOP 4). El presente artculo no pretende realizar un anlisis exhaustivo de los distintos planteamientos, sino realizar una comparativa entre ellos y el procedimiento propuesto en una de las comunicaciones del congreso de IBEROLAB 2005 por uno de los autores del presente artculo. En este ltimo planteamiento se incluye una estimacin de la veracidad del mtodo de ensayo que servir como base en las actividades de evaluacin de la calidad de los ensayos. En el presente artculo se compara la sistemtica propuesta en: -ISO/TS 19036:2006 Microbiology of food and animal feeding stuffs- Guidelines for the estimation of measurement uncertainty for quantitative determinations. -UNE-EN ISO 16140:2003 Microbiologa de los alimentos para consumo humano y animal Protocolo para la validacin de mtodos alternativos. -International Accreditation New Zeland (ANZ) AS TG 5, May 2004. Uncertainty of Measurement, Precision and
VI IBEROLAB
-ISO/TS 19036:2006. Microbiology of food and animal feeding stuffs- Guidelines for the estimation of measurement uncertainty for quantitative determinations. Esta norma plantea una sistemtica bastante sencilla de realizar por los laboratorios en la que nicamente incluye como componente de incertidumbre la debida a la precisin no teniendo en cuenta el componente debido al sesgo del mtodo de ensayo (exactitud o recuperacin). En el clculo de la precisin se emplean los resultados obtenidos por tcnicos a partir de dos submuestras de una misma muestra. En estas condiciones no entran en juego demasiadas variaciones en las condiciones de reproducibilidad salvo que se incluyan diferentes lotes de medios de cultivo y condiciones de incubacin que tienen su influencia en el comportamiento del mtodo de forma general. El laboratorio por tanto, realiza duplicados de muestras naturales o contaminadas artificialmente, variando entre las distintas matrices que tenga incluidas en el alcance del mtodo de ensayo, y calcula para cada par de valores su varianza (1) (tabla 2):
2 SR = 1
laboratorio realiza un replicado de la muestra. Los clculos son realizados mediante estimadores robustos basados en la mediana para no ser sensibles a los valores extremos. Aunque los clculos planteados en esta norma son realizados con los datos procedentes de diferentes laboratorios, con el fin de poder comparar las distintas sistemticas que se recogen en el presente artculo, se van a aplicar dichos clculos a los mismos valores que se emplean en los otros planteamientos. La repetibilidad es estimada a partir de la mediana de las desviaciones estndar de las replicas de cada laboratorio (3) multiplicada por la constante k2=1,4826 (Tabla 3):
Si = Log10 (VL1i ) Log10 (VL2i )
(3)
De cada par de valores (en logaritmo) se obtiene el valor medio que ser empleado en la estimacin de la reproducibilidad (4):
VLi = Log 10 (VL1i ) + Log 10 (VL2 i ) 2
(1)
(4)
Tabla 2. Clculo de la varianza de reproducibilidad Log (VL1) 2,544 2,544 2,477 2,681 ,602 2,653 2,653 2,462 2,477 2,477 Log (VL2) 2,602 2,477 2,602 2,477 2,580 2,602 2,544 2,544 2,398 2,681
Tabla 3. Clculo valor medio ensayos y Si Log (VL1) 2,544 2,544 2,477 2,681 2,602 2,653 2,653 2,462 2,477 2,477 Log (VL2) 2,602 2,477 2,602 2,477 2,580 2,602 2,544 2,544 2,398 2,681
Si
0,041 0,047 0,088 0,144 0,016 0,036 0,077 0,058 0,056 0,144
0,00168 0,00224 0,00780 0,02083 0,00025 0,00131 0,00596 0,00333 0,00313 0,02083
VLi
2,573 2,511 2,540 2,579 2,591 2,628 2,599 2,503 2,438 2,579
A partir de dichas varianzas, se calcula la varianza media como estimacin de la precisin del mtodo (2):
S =
2 R
S
i =1
2 R1
= 0,00674
(2)
Para el clculo de la reproducibilidad se incluye la debida a la repetibilidad y a la variabilidad debida a los distintos laboratorios empleando para ello un estimador robusto basado en la mediana recursiva (Sn) de Roussew. Su clculo se basa en la mediana de las distintas medianas de las diferencias en valor absoluto de cada valor medio ( VLi ) frente al resto de los valores (5):
dif = VLi VL j
En Febrero de 2009, ISO public una enmienda a dicha norma para incluir en la estimacin de la incertidumbre una componente debida a los recuentos bajos en placa. Dicha enmienda no se ha tenido en cuenta en el presente artculo ya que slo afecta a la estimacin de la incertidumbre y no a los clculos en la precisin del mtodo. -UNE-EN ISO 16140:2003. Microbiologa de los alimentos para consumo humano y animal Protocolo para la validacin de mtodos alternativos. En el planteamiento seguido por esta norma se parte de la realizacin de un estudio interlaboratorio en el que cada
(5)
VI IBEROLAB
2,573 2,511 2,540 2,579 2,591 2,628 2,599 2,503 2,438 2,579 0,062 0,033 0,006 0,018 0,055 0,026 0,070 0,136 0,006 0,029 0,069 0,080 0,117 0,088 0,007 0,073 0,069 0,040 0,051 0,088 0,059 0,036 0,102 0,040 0,012 0,048 0,019 0,076 0,142 0,000 0,037 0,008 0,088 0,153 0,012 0,029 0,124 0,190 0,048 0,095 0,161 0,019 0,066 0,076 0,142
Se calcula la precisin intermedia como desviacin estndar de las diferencias frente al valor medio (7):
S d (VL ) = =
(d (VL) d (VL))
n 1
2
2,591 0,018 0,080 0,051 0,012 2,628 0,055 0,117 0,088 0,048 0,037
(d (VL) 0)
20 1
(7)
2,599 0,026 0,088 0,059 0,019 0,008 0,029 2,503 0,070 0,007 0,036 0,076 0,088 0,124 0,095
2,438 0,136 0,073 0,102 0,142 0,153 0,190 0,161 0,066 2,579 0,006 0,069 0,040 0,000 0,012 0,048 0,019 0,076 0,142
MED 0,033 0,069 0,040 0,040 0,037 0,055 0,029 0,076 0,142 0,040 {dif} S n = MEDIANA {MEDIANA {dif }} = 0,040
Se calcula la mediana de las medianas de las diferencias ( S n = MED{MED{dif }}) y se multiplica por el factor k1.
S b = k1 * S n = 1,1926 * 0,040 = 0,047 En el clculo de la desviacin estndar de reproducibilidad se tienen en cuenta ambas componentes (6):
S2 0,084 2 S R = S + r = 0,047 2 + = 0,076 Log10 (ufc / g ) 2 2
2 b
-The American Association for Laboratory Accreditation. G108. Guidelines for estimating uncertainty for microbiological counting methods. En esta gua se recogen tres protocolos para la estimacin de la incertidumbre, el primero de ellos tiene el mismo fundamento que el de la ISO 19036, el tercero se basa en la realizacin de un ejercicio de intercomparacin segn la ISO 21748, y el segundo protocolo tiene un fundamento similar al recogido en el artculo de Iberolab de 2005 analizado en la presente comunicacin. Este protocolo ser el que recojamos en la comparativa que estamos realizando. De cada muestra adicionada calculamos la recuperacin obtenida de forma logartmica como (8) (tabla 6):
% Re c Log = Log (Vmtodo) *100 Log (Vreferencia )
(8)
(6)
Log (VR) 2,591 2,591 2,591 2,591 2,591 2,591 2,591 2,591 2,591 2,591
-International Accreditation New Zeland (ANZ) AS TG 5, May 2004. Uncertainty of Measurement, Precision and Limits of Detection in Chemical and Microbiological Testing Laboratories La gua tcnica AS TG 5, May 2004 en su punto 5.6.3. indica que la reproducibilidad en un laboratorio se puede estimar a partir de una muestra analizada de forma repetida. Se indica que es aconsejable que se emplee un material de referencia con efecto matriz o una adicin estandarizada en el laboratorio y analizada repetidamente. Con todos los valores obtenidos se calcula su desviacin estndar, constituyendo la precisin intermedia (SR intralaboratorio). Para calcular la desviacin estndar, se obtiene el valor medio de las rplicas, y se calcula la diferencia de cada valor frente a dicho valor medio (tabla 5):
Tabla 5. Diferencias frente al valor medio Log (VL1) 2,544 2,544 2,477 2,681 2,602 2,653 2,653 2,462 2,477 2,477 Log (VL2) 2,602 2,477 2,602 2,477 2,580 2,602 2,544 2,544 2,398 2,681
Log (VL1) 2,544 2,544 2,477 2,681 2,602 2,653 2,653 2,462 2,477 2,477
Log (VL2) 2,602 2,477 2,602 2,477 2,580 2,602 2,544 2,544 2,398 2,681
Rec%Log VL1 98,2% 98,2% 95,6% 103,5% 100,4% 102,4% 102,4% 95,0% 95,6% 95,6%
Rec %Log VL2 100,4% 95,6% 100,4% 95,6% 99,6% 100,4% 98,2% 98,2% 92,5% 103,5%
Aunque esta forma de clculo de la recuperacin puede ser objeto de discusin debido a que la recuperacin en un ensayo debera ser independiente de la dilucin en la que se realice el recuento, en esta gua se realiza una valoracin de la incertidumbre a travs de la desviacin estndar de las recuperaciones, considerando la incertidumbre como dos veces la desviacin estndar aplicada sobre el valor de recuento en logaritmos. Para nuestra comparativa entre las distintas sistemticas, reconvertimos dicha desviacin estndar relativa a su correspondiente valor logartmico del recuento obtenido (9):
S Re c Log =
(Re c
Log
VLi ) Re c Log VL n 1
= 3,13%
(9)
VI IBEROLAB
Para un valor de referencia de 2,591 log, la desviacin estndar, se traduce en 0,081 (10):
S = 2,591 * 3,13 100 = 0,081 Log 10 (ufc / g )
(10)
Esta estimacin de la precisin, como ya seala la gua, permite su clculo a lo largo del tiempo, sin necesidad de realizar el ensayo por duplicado de forma simultnea, y permitiendo tener en cuenta muchas ms fuentes de incertidumbre (analistas, equipos, medios de cultivo, condiciones de incubacin, etc. incrementando as, las condiciones de reproducibilidad. -IBEROLAB 2005: Situacin de la validacin de los ensayos microbiolgicos en los laboratorios (J. Laso Snchez). En 2005 se public en el congreso IBEROLAB una comunicacin que plantea una sistemtica de validacin que permite estimar la reproducibilidad del mtodo en el laboratorio mediante la realizacin de ensayos en diferentes das y/o tcnicos al relativizar cada resultado con el valor obtenido debido a la adicin del inculo o el material de referencia. Este esquema de validacin aporta el valor aadido de permitir calcular la recuperacin del mtodo y servir as de referencia en las actividades de evaluacin de la calidad de los ensayos, requerimiento que se solicita tanto en la ISO 17025:2005 como expresamente en la NT-32 de ENAC. Si el laboratorio durante la validacin del mtodo no calcula qu recuperacin presenta el mtodo, como se planteaba en la primera revisin de la NT-32, y que variabilidad asociada tiene (reproducibilidad), en el control de calidad deber marcarse una referencia no obtenida de forma experimental. Con este esquema de validacin es necesario realizar un control de la muestra para comprobar la ausencia del microorganismo que puede realizarse de forma simultnea al ensayo o previo al mismo. El sistema se basa en obtener un conjunto de pares de valores en el que uno constituye el valor de referencia y el segundo el valor obtenido con el mtodo a validar. Se obtiene la diferencia (en logaritmos) entre el valor de referencia y el obtenido con el mtodo (tabla 7).
Tabla 7. Diferencias logartmicas frente al valor de referencia d i = Log (VRi ) Log (VLi ) Log (VR) Log (VL1) Log (VL2) 2,591 2,544 2,602 0,047 -0,011 2,591 2,544 2,477 0,047 0,114 2,591 2,477 2,602 0,114 -0,011 2,591 2,681 2,477 -0,090 0,114 2,591 2,602 2,580 -0,011 0,011 2,591 2,653 2,602 -0,062 -0,011 2,591 2,653 2,544 -0,062 0,047 2,591 2,462 2,544 0,129 0,047 2,591 2,477 2,398 0,114 0,193 2,591 2,477 2,681 0,114 -0,090
Para emplear los mismos valores utilizados con los otros esquemas se ha calculado la diferencia con el valor de referencia con ambos valores obtenidos por el laboratorio. En la prctica no sera necesaria la realizacin de un duplicado pudiendo realizarse en das diferentes. A partir de las diferencias frente al valor de referencia se calcula su desviacin estndar que constituye la reproducibilidad del mtodo (11):
Sd =
(d d )
n 1
(11)
Dado que la recuperacin de un mtodo se calcula como el cociente entre el valor obtenido por el laboratorio frente al valor de referencia (12):
Re c (%) = VL * 100 VR
(12)
Entonces, si,
Re c (%) = VL
* 100
= 10
* 100
o si lo aplicamos sobre el valor medio de las recuperaciones, lo que es lo mismo, la recuperacin del mtodo, Re cuperacin(%) = 10 d *100 = 10 0,037 *100 = 91,8% en base a este esquema, los ensayos no necesariamente deben ser realizados ni en el mismo da, ni necesariamente con un mismo material de referencia, ya que pueden ser adicionadas las muestras con niveles de contaminacin diferentes y obtener de cada ensayo la diferencia frente al valor de referencia. De acuerdo a todo lo anterior, con una probabilidad del 95% los resultados de ensayos de evaluacin de la calidad de los ensayos deberan estar incluidos en el intervalo de d 2 * S d . Y en el caso de muestras duplicadas la diferencia entre ambos resultados (en logaritmo) no debe ser superior al lmite de reproducibilidad calculado como R = 2 * 2 * S d . Por ejemplo, si recopilamos datos procedentes de adiciones sobre muestras dentro del plan de evaluacin de la calidad de los ensayos o recopilados de la participacin en ensayos de aptitud difiriendo o no en el nivel logartmico (tabla 8 y figura 2):
Tabla 8. Ejemplo en distintos niveles microbianos
VR 1 2 3 4 5 6 7 8 9 10 8,9E+02 1,4E+03 3,4E+02 6,4E+03 8,9E+02 8,4E+03 1,6E+03 1,3E+03 8,9E+02 1,4E+03 VL1 8,0E+02 1,2E+03 2,6E+02 7,9E+03 9,1E+02 9,7E+03 1,8E+03 9,6E+02 6,8E+02 1,1E+03 1,7E+03 3,5E+02 4,9E+03 8,7E+02 VL2 9,1E+02 Log (VR) 2,949 3,143 2,531 3,806 2,949 3,924 3,201 3,111 2,949 3,143 Log (VL1) 2,902 3,096 2,418 3,896 2,960 3,986 3,264 2,982 2,835 3,029 3,233 2,542 3,692 2,938 Log (VL2) 2,960
d=
di
i =1
= 0,037
VI IBEROLAB
Si al mismo ejemplo anterior le aplicamos la sistemtica de clculo de la Gua G108 de la A2LA (tabla 10):
Tabla 10. Recuperacin logartmica de cada ensayo Rec%Log Log (VR) Log (VL1) Log (VL2) VL1 2,949 2,902 2,960 98,4% 3,143 2,531 3,806 2,949
Log VR Log VL1 Log VL2
Log(ufc/g)
98,5% 2,542 3,692 2,938 95,5% 102,4% 100,4% 101,6% 101,9% 95,9% 96,1% 3,233 96,4% 102,9%
10
Si calculamos la diferencia de cada valor obtenido frente al valor de referencia d = Log (VR) Log (VL) o lo que es lo mismo si grficamente trasladamos dichos valores a un mismo eje en base a sus diferencias frente al valor de referencia (tabla 9 y figura 3):
Tabla 9. Diferencias logartmicas frente al valor de referencia Log (VR) 2,949 3,143 2,531 3,806 2,949 3,924 3,201 3,111 2,949 3,143 Log (VL1) 2,902 3,096 2,418 3,896 2,960 3,986 3,264 2,982 2,835 3,029 3,233 2,542 3,692 2,938 Log (VL2) 2,960
d i = Log (VRi ) Log (VLi )
S Re c Log = 2,52%
Tomando el valor medio de los valores de referencia en logaritmos para poderlo comparar con la sistemtica anterior (12) comprobndose que se obtiene un resultado similar:
S = 3,171 * 2,52 100 = 0,080 Log 10 (ufc / g )
0,047 0,047 0,114 -0,090 -0,011 -0,062 -0,062 0,129 0,114 0,114
(12)
3.- Conclusiones 1. Las diferentes alternativas que se han descrito en el presente artculo no presentan diferencias en sus resultados incluso teniendo planteamientos diferentes (tabla 11):
Tabla 11. Resumen datos diferentes planteamientos
-0,090
2
S R = 0 ,082
Sd =
(d d )
S R = 0,076
S d (VL ) = 0,081
S = 0,081
S d = 0,081
Resultados expresados en Log 10 (ufc / g )
1
-0,050 -0,100
10
d VL1
-0,150
d VL2
N de muestra
Esta transformacin es equivalente a haber realizado todos los ensayos con un mismo material de referencia con la ventaja de permitir su realizacin en distintos das y en distintos niveles de adicin y no necesariamente por duplicado cada da.
-ISO/TS 19036:2006 Microbiology of food and animal feeding stuffs- Guidelines for the estimation of measurement uncertainty for quantitative determinations.. -UNE-EN ISO 16140:2003 Microbiologa de los alimentos para consumo humano y animal Protocolo para la validacin de mtodos alternativos. -International Accreditation New Zeland (ANZ) AS TG 5, May 2004. Uncertainty of Measurement, Precision and Limits of Detection in Chemical and Microbiological Testing Laboratories -The American Association for Laboratory Accreditation. G108: Guidelines for Estimating Uncertainty for Microbiological Counting Methods.
VI IBEROLAB
-IBEROLAB 2005: Situacin de la validacin de los ensayos microbiolgicos en los laboratorios (J. Laso Snchez). 2. Dado que la validacin de los mtodos debera sentar las bases para las actividades de evaluacin de la calidad de los ensayos, si en dicha validacin no se aborda la estimacin de la recuperacin del mtodo, el laboratorio no dispone de un criterio experimental sobre el cual realizar la evaluacin de dichos ensayos. 3. Aunque la sistemtica planteada en la ISO 19036:2006 es indicada como una referencia adecuada para el estudio de la precisin por la Entidad Nacional de Acreditacin (ENAC) en su nota tcnica NT-32 rev. 2 (Anlisis microbiolgicos - documento aclaratorio), no es la nica va en la estimacin de la precisin en los mtodos cuantitativos microbiolgicos.
Bibliografa
International Organization for Standardization.- ISO/TS 19036:2006 Microbiology of food and animal feeding stuffs- Guidelines for the estimation of measurement uncertainty for quantitative determinations.. International Organization for Standardization.- ISO 13843:2000 Water quality- Guidance on validation of microbiological methods Comit Europeo de Normalizacin.- UNE-EN ISO 16140:2003 Microbiologa de los alimentos para consumo humano y animal Protocolo para la validacin de mtodos alternativos. International Accreditation New Zeland (ANZ).- AS TG 5, May 2004. Uncertainty of Measurement, Precision and Limits of Detection in Chemical and Microbiological Testing Laboratories. www.ianz.govt.nz/publications2/pdfs/AS_TG5_uncert_of_measure.pdf Laso Snchez, J.- IBEROLAB 2005: Situacin de la validacin de los ensayos microbiolgicos en los laboratorios. www.iberolab.org/opencms/opencms/congreso/IberolabIII2005/index Health Protection Agency.- QSOP 4. Uncertainty of measurement in testing. www.hpa-standardmethods.org.uk/documents/qsop/pdf/qsop4.pdf Singapore Accreditation.- Technical guide 2, March 2008. A guide of measurement Uncertainty in Chemical & Microbiological analysis www.sac-accreditation.gov.sg/DOCs/SACSINGLAS/Technical%20Guide%202,%20Mar%2008.pdf ENAC.- NT-32. Rev 2- Anlisis microbiolgico: Documento aclaratorio (Julio 2010) www.enac.es/web/enac/inicio The American Association for Laboratory Accreditation. G108: Guidelines for Estimating Uncertainty for Microbiological Counting Methods (11/05/2007). http://www.a2la.org/guidance/MU_for_Micro_Labs.pdf