GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS DE ANALISIS DE ALIMENTOS
FORTALEZAS Y DEBILIDADES PROPUESTAS DE GESTION
RED INTERAMERICANA DE LABORATORIOS DE ANALISIS DE ALIMENTOS
1
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
PARTICIPARON DE LA REDACCION DEL PRESENTE DOCUMENTO BASE PARA UN FUTURO TRATAMIENTO DEL TEMA EN EL GRUPO DE CALIDAD DE LA RILAA
Lic. Verónica María TORRES LEEDHAM
Director General de Laboratorios y Control Técnico – SENASA
M.V. Susana BINOTTI
Coordinador de Análisis de Productos Alimenticios y Conexos - SENASA
M.V. Ana NICOLA
Jefe Departamento de Brucelosis SENASA
Lic. Eva SACCO
Economía -Estadística- SENASA
Act. Pablo CALELLO
Actuario en Economía- SENASA
D.G. Damian ZELAYA
Diseñador Gráfico- SENASA
Sr. Rodrigo RAMPELLO
Despachante de Aduana
Srta. Andrea BUSTAMANTE
Asistente- SENASA
2
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
INDICE 01.
INTRODUCCIÓN
Pág. 05
02.
IDENTIFICACIÓN DE PROBLEMAS DE GESTION A NIVEL REGIONAL
Pág. 07
03.
SELECCIÓN DE ENSAYOS ENSAYO DE APTITUD
Pág. 11
04.
FRECUENCIA DE PARTICIPACIÓN
Pág. 17
05.
INTERPRETACIÓN DE LOS RESULTADOS DE UN ENSAYO DE APTITUD
Pág. 21
06.
¿QUE REQUISITOS Y CARACTERISTICAS DEBO CONSIDERAR CUANDO ADQUIERO UN ENSAYO DE APTITUD?
Pág. 25
07.
¿CUÁLES SON LAS CARACTERÍSTICAS DESEABLES QUE DEBO CONSIDERAR CUANDO PRODUZCO UN ENSAYO DE APTITUD?
Pág. 31
08.
CONSIDERACIONES PARA ASEGURAR UNA ADECUADA DISTRIBUCION DE LAS MUESTRAS PARA ENSAYOS DE APTITUD EN LA REGION
Pág. 39
09.
BASES PARA LA MEJORA DEL INTERCAMBIO REGIONAL DE ENSAYOS DE APTITUD
Pág. 47
10.
DEFINICIONES
Pág. 51
11.
REFERENCIAS
Pág. 57
12.
HERRAMIENTAS
Pág. 61
ANEXO 1
LISTA COMPACTADA DE PROVEEDORES DE ENSAYOS DE APTITUD
Pág. 62
ANEXO 2
ORGANISMOS DE ACREDITACIÓN DE AMÉRICA
Pág. 94
ANEXO 3
BASES ESTADISTICAS PARA LA EVALUACION DE ENSA- YOS DE APTITUD
Pág. 97
ANEXO 4
PROPUESTA PARA EL PROCESAMIENTO Y EVALUACIÓN DE LOS DATOS DE ENSAYOS DE APTITUD CUAN-TITATIVOS Y CUALITATIVOS
3
Pág. 114
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ANEXO 5
UNA RONDA DE ENSAYO DE APTITUD ORGANIZADA SEGÚN LA NORMA ISO 17043, ANALISIS DE PUNTOS CRITICOS
Pág. 121
ANEXO 6
EJEMPLO SECUENCIA DE TRABAJO
Pág. 125
ANEXO 7
CONFORMACION DE UNA BASE DE DATOS DE ORGANISMOS RESPONSABLES DE EMISION DE DOCU-MENTACION DE TRANSITO EN LOS DISTINTOS PAISES DE LA REGION DE LAS AMERICAS
Pág. 128
ANEXO 8
ENCUESTA: ESTADO DE SITUACION Y RELEVAMIENTO DE NECESIDADES DE ENSAYOS DE APTITUD 2013-2015
Pág. 133
ANEXO 9
ORGANISMOS INTERNACIONALES QUE FINANCIAN PRO-YECTOS CIENTÍFICOS, TECNOLÓGICOS
Pág. 137
4
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
01. INTRODUCCION
5
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
El presente trabajo no es una guía sino un marco de referencia que tiene como objetivo, a partir de una visión global del estado de situación regional respecto a la producción y comercialización de ensayos de aptitud, orientar y minimizar los problemas que se presentan en la gestión de las mismas en el marco de Redes Nacionales e Internacionales de Laboratorios. En particular la Red Interamericana de Laboratorios de Análisis de Alimentos (RILAA) de la Organización Panamericana de la Salud (OPS) Organización Mundial de la Salud (OMS) es un desafío en este aspecto ya que conformada por sesenta y dos (62) laboratorios de control de alimentos de veintinueve (29) países la región de las Américas y extendida su acción a las Redes Nacionales de Laboratorios Oficiales de Análisis de Alimentos constituye un campo propicio, estadísticamente solido, para el desarrollo y la implementación de pruebas de este tipo facilitando a los laboratorios el acceso a evidencia de su desempeño técnico a través de su comparación con otros laboratorios similares y mejorando y manteniendo la calidad de sus resultados. Ejemplos exitosos en este aspecto han sido los ensayos que en el marco de la RILAA han realizado instituciones como la Unidad de Test de Proficiencia del Laboratorio de Microbiología de alimentos de la Canadian Food Inspection Agency - Ottawa (CANADA), el Instituto Nacional de Tecnologia Industrial - INTI (ARGENTINA) y el Laboratorio Nacional Agropecuario de Minas Gerais – LANAGRO (BRASIL), no obstante la diversidad de alcances contenidos en los procesos de acreditación de nuestros laboratorios no es cubierto por esta oferta y en muchos casos no existe una oferta concreta alternativa a nivel regional o mundial. En los siguientes apartados se desarrollan temas específicos vinculados a las fortalezas, debilidades y oportunidades que afectan el proceso de adquisición, distribución e intercambio de ensayos de aptitud a nivel regional propiciando herramientas para la adecuación o mejora de los mismos.
6
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
02. IDENTIFICACIÓN DE LOS PROBLEMAS DE GESTION A NIVEL REGIONAL
7
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Los Ensayos de Aptitud son una herramienta de gestión que permite evaluar el desempeño de los laboratorios a través de comparaciones entre laboratorios. Estas comparaciones son indispensables en los procesos de aseguramiento de la calidad de los resultados de los ensayos, la evidencia de la participación en los mismos es un requisito previo para obtener la acreditación y la participación continua en tiempo con posterioridad a la acreditación como parte de un plan sistemático se halla estipulado en el apartado 5.9 de la NORMA ISO/IEC 17025:2005 que establece que “el laboratorio debe tener procedimientos de control de la calidad para monitorear la validez de los resultados de ensayo y que se debe planificar dicho monitoreo”. La participación de los laboratorios en ensayos de aptitud, como herramienta de gestión, permite además de evaluar el desempeño, verificar la capacidad de un método, detectar problemas y necesidades de capacitación del personal o verificar la adecuación de los procedimientos utilizados con determinado objetivo. Si bien es deseable que un laboratorio participe en un Ensayo de Aptitud específico para cada técnica de medición que utilice y para cada propiedad medida no en todos los casos esto es viable, desde el punto de vista técnico, logístico o económico. Los Organismos de acreditación de la Región generalmente aceptan alcances definidos en base a una metodología analítica y una determinada matiz siendo pocos aquellos Organismos que han optado por permitir a la fecha acreditaciones con alcances flexibles. En este contexto la oferta de ensayos de aptitud generados en la región es escasa o no existe, su frecuencia es azarosa y en muchos casos es impactada por inconvenientes administrativos que afectan los trámites de importación y exportación. La retención en las aduanas de paquetes conteniendo ensayo de aptitud por desconocimiento o incumplimiento de legislaciones de los países de destino ya sea por restricciones vinculadas al tránsito de sustancias catalogadas como peligrosas o que se encuentran prohibidas por su posible uso por el bioterrorismo, producen perdidas en muchos 8
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
casos irreparables ya que las muestras del ensayo de aptitud se deterioran o pierden su vigencia durante su estadía en puerto de entrada o porque no son evaluados y respondidos en tiempo y forma. Por lo antes expuesto la correcta selección del ensayo de aptitud, del dador de este servicio y el conocimiento anticipado de las legislaciones, procedimientos aduaneros y requisitos particulares de los países que intervienen en la transacción, son factores determinantes de una cadena de eventos que conduce a un resultado satisfactorio en el proceso de gestión de estas pruebas de aptitud a nivel regional.
9
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
10
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
03. SELECCIÓN DE ENSAYOS DE APTITUD
11
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Conceptualmente existe una diferencia entre lo que son pruebas interlaboratorio y los ensayos de aptitud o pruebas de proficiencia: En las comparaciones interlaboratorio, se compara la performance de los participantes en función de un estándar, dado por el grupo de los mismos, mientras que en el caso de una prueba de aptitud, el estándar viene dado por la utilización de un material de referencia o una medida aportada por el organizador. Sin embargo, es usual englobar en un mismo término a todo el conjunto de ensayos y de esa manera debe entenderse a continuación. Esquemáticamente un ensayo de aptitud se fundamenta en el reparto de una serie de muestras homogéneas y estables, a un conjunto de laboratorios participantes, los cuales deben remitir al organizador los resultados para los ítems de ensayo requeridos. La evaluación de los resultados se realiza a partir del tratamiento estadístico de los mismos. Cuando se analizan resultados individuales, se dice que el ensayo de aptitud es de analitos independientes, y si se analiza un conjunto de resultados global el ensayo de aptitud es mutianalito. El ensayo de aptitud será cualitativo o cuantitativo, en caso de que el resultado se exprese como una variable cuantitativa o cualitativa. A cada uno de estos casos corresponde un tratamiento estadístico diferente. Es de destacar, que esta clasificación es esquemática, y existen zonas grises donde es difícil asignar alguna de esta categorías (Como las variables ordinales entre otras) , en estos casos, la decisión del tratamiento adecuado deberá ser evaluada conjuntamente por el estadístico, el organizador y el comité asesor. Nuestros laboratorios tienen distintas posibilidades de acción frente a este requisito las que básicamente se hallan relacionadas con la infraestructura y capacidades de los laboratorios:
12
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ACCION
RECAUDO
ADQUIRIR UN ENSAYO DE APTITUD
¿QUE REQUISITOS Y CARACTERISTICAS DEBO CONSIDERAR CUANDO ADQUIERO UN ENSAYO APTITUD?
PRODUCIR UN ENSAYO APTITUD
¿CUÁLES SON LAS CARACTERISTICAS DESEABLES QUE DEBO CONSIDERA CUANDO PRODUZCO UN ENSAYO APTITUD?
Si en el marco de los procedimientos de su Sistema de Gestión de Calidad, haya acreditado o no ensayos, Ud. define adquirir un ensayo de aptitud en el campo del control analítico de alimentos, podría hacerlo seleccionándolos de Bases de Datos pre existentes como EPTIS (www.eptis.bam.de), participar de Ensayos de Aptitud organizados por Organismos de Acreditación u Organizaciones como ILAC, EA, APLAC e IRMM (http://irmm.jrc.ec.europa.eu/html/interlaboratory_comparisons) o por redes especificas conformadas por un numero estadísticamente adecuado de laboratorios.
HERRAMIENTA
Con el objetivo de facilitar una visión global y ágil de la oferta de ensayos de aptitud en el mercado y conocer los proveedores existentes a nivel mundial, en ANEXO No 1 encontrara una LISTA COMPACTADA DE PROVEEDORES DE ENSAYOS DE APTITUD e información que podrá orientarlo en la primera fase de la elección.
13
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Si bien esta lista contiene una muestra de los proveedores existentes le permite ver a Ud. ver la distribución geográfica de los productores de ensayos y analizar su situación respecto a la oferta del mercado.
56
4
6 3
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Puede observarse en el siguiente cuadro confeccionado a partir la evaluación de la base de datos EPTIS 2010 sobre una muestra de proveedores de ensayos de aptitud, de 17 paises, para distintos tipos análisis de alimentos que la mayor parte de los mismos son generados el MERCADO COMUN EUROPEO.
EUROPA AMERICA DEL NORTE AMERICA DEL SUR AUSTRALIA
PAISES 13 2 3 1
de 70 de en
PROVEEDORES 56 4 6 1
DINAMARCA, ECUADOR, EE.UU., ESPAÑA, FRANCIA, GRAN BRETAÑA, GRECIA, HOLANDA, ITALIA, NORUEGA, PORTUGAL, SUECIA, CANADA, SUIZA
Lo antes expuesto muestra la necesidad de fortalecer capacidades de producción de ensayos de aptitud en la región y la RILAA sería un actor importante si interviene en este proceso.
15
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
16
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
04. FRECUENCIA DE PARTICIPACIÓN
17
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Los Documentos “EA-4/18 - GUÍA PARA EL NIVEL Y LA FRECUENCIA DE PARTICIPACIÓN EN ENSAYOS DE APTITUD” y la “ILAC-P9:11/2010” establecen que los Organismos de Acreditación deben determinan la adecuación de la “frecuencia” y el “nivel” de participación en ensayos de aptitud de un laboratorio que desea acreditar o mantener su estado de acreditación. Para cumplir con este objetivo los Organismos desarrollan e incluyen en sus procedimientos orientaciones sobre el nivel mínimo y la frecuencia de participación que un laboratorio debe cumplir, así como directivas para la evaluación de los planes o cronogramas de participación y verifican su adecuación a los objetivos en concordancia con los alcances propuestos. Es interesante saber que los distintos Organismos de Acreditación pueden tener posturas que difieren al momento de establecer los lineamientos para definir la frecuencia y el alcance de un programa de ensayos de aptitud, no obstante todos son consientes de que la disponibilidad de este tipo de ensayos se halla influenciada por distintos factores como la metodología analítica a evaluar, la accesibilidad al mercado donde se comercializa, la zona geográfica donde se ubica el laboratorio, los costos, la disponibilidad de materiales de referencia, la cantidad de laboratorios que en la región utilizan el mismo ensayo (masa crítica). etc. En una red de las características de la RILAA, en la que participan 29 (VEINTINUEVE) países, es provechoso informarse no solo de los requisitos que propicia el Organismo de Acreditación del país donde se halla radicado el laboratorio, sino también de los requisitos, las publicaciones y las capacitaciones que producen otros Organismos de Acreditación ya que esto facilita la comprensión y permite recorrer caminos alternativos en base al conocimiento de experiencias exitosas de otros. Organismos de Acreditación tales como el ENAC, UKAS, NATA, DAP y muchos de los de América, tienen en sus páginas WEB excelente información destinada a facilitar estos procesos. 18
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
HERRAMIENTA
En ANEXO NO 2 encontrara Ud. información necesaria para contactar a los ORGANISMOS DE ACREDITACIÓN DE AMÉRICA facilitando de esta forma la comunicación e identificación de posibles contactos para obtener documentos, bibliografía, publicaciones, cronogramas de capacitaciones publicas, etc. o facilitar la búsqueda de documentación para iniciar actividades de Acreditación en el marco de los procesos de reconocimiento mutuo.
19
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
20
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
05. INTERPRETACIÓN DE LOS RESULTADOS DE ENSAYOS DE APTITUD
21
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
La evaluación de los laboratorios participantes está basada en los denominados “indicadores estadísticos de desempeño”. La utilización de indicadores estadísticos asigna valores límites claros a los resultados para la evaluación de los resultados con base en el concepto de confianza estadística.
En el caso de INTERLABORATORIOS CUANTITATIVOS, (El valor de la determinación es cuantitativo), si la distribución de las mediciones es aproximadamente normal, se acostumbra la utilización del parámetro Zscore: Los valores de Z entre -2 y 2 indican un desempeño satisfactorio, mientras que valores superiores a 3 o inferiores a -3 indican un rendimiento no satisfactorios, siendo los superiores a 4 o inferiores a -4 no aceptables. z < 2 Satisfactorio
2 < z < 3 Cuestionable z > 3 No satisfactorio
Donde el Z-score, se calcula como:
Z=
x−X σˆ
x : Valor informado por los laboratorios (Por lo general es el promedio de las determinaciones)
X : Valor asignado
σ : Desvío.
22
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
En el caso de INTERLABORATORIOS CUALITATIVOS, (donde lo que se evalúa es por lo general la presencia o ausencia de un atributo), el parámetro de evaluación es el porcentaje de concordancia entre el laboratorio de Referencia (El que provee el ensayo de aptitud o subcontratado por el organizador, pero que debe demostrar su pericia en la técnica) y el participante, o el número de muestras correctamente clasificadas.
HERRAMIENTA
La razón de porqué se utiliza estos parámetros para la clasificación de los resultados, y detalles sobre el significado del valor asignado y el desvío usted la podrá encontrar en el ANEXO NO 3. BASES ESTADÍSTICAS PARA LA EVALUACIÓN DE ENSAYOS DE APTITUD.
HERRAMIENTA
Usted la podrá encontrar en el ANEXO NO 4. una PROPUESTA PARA LA EVALUACIÓN Y PROCESAMIENTO DE LOS DATOS DE UN ENSAYO DE APTITUD CUANTITATIVO Y CUALITATIVO.
23
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
24
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
06. ¿QUE REQUISITOS Y CARACTERISTICAS DEBO CONSIDERAR CUANDO ADQUIERO UN ENSAYO DE APTITUD?
25
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
La participación en una ronda de ensayos de aptitud debería servir al participante como una herramienta de aseguramiento de la calidad, para comparar el desempeño con laboratorios similares, implementar acciones correctivas y facilitar la mejora; y ser utilizado como herramienta para la acreditación de ensayos. Según la importancia relativa que cada una de estas funciones tiene para usted, serán las características que usted debería evaluar. Un pobre desempeño en la ronda es una señal de alarma que no debe dejar de ser escuchada por la gerencia del laboratorio. Un proveedor acreditado tiene la responsabilidad de suministrar esta información en los informes de resultados. También es deseable y muy útil para el cliente contar con información adicional acerca de las posibles causas del mal desempeño por sobre aquellos que informan sólo el resultado en la evaluación. La guía ISO 17043 hace referencia a la importancia que implica en términos de oportunidad de aprendizaje la participación en ensayos de aptitud. La principal razón para la participación en una ronda interlaboratorios es la evaluación de la actividad cotidiana del mismo. Por eso es importante que tenga en cuenta que en este tipo de ensayos la evaluación se realiza en relación a una serie de índices estadísticos o estadísticos de desempeño. Por lo general, esta se realizará utilizando el denominado Z-Score. Es importante que usted tome en cuenta la forma de cálculo del mismo, ya que esto influirá en la interpretación y valor del resultado final. En el caso en que el valor asignado y el desvío se calculen como un valor target a partir de un material de referencia, el criterio es externo, a diferencia de lo que ocurre cuando el valor surge del consenso de los participantes. La interpretación de un resultado no satisfactorio difiere en ambos casos. El valor asignado que surge del análisis de un material de referencia certificado o analizado por un proveedor competente, es lo más cercano al “valor verdadero” que puede obtenerse para una técnica determinada. En el caso de obtener un puntaje no satisfactorio, esto es 26
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
una señal inequívoca de una mala performance. Pero debe tomarse en cuenta que diferentes técnicas pueden operar con diferencias en el nivel por ej. en sus valores de limite de detección o su sesgo relativo de una técnica respecto a otra y por lo tanto lo anterior será válido siempre y cuando se tenga la completa seguridad de que teóricamente, el nivel de la medición del proveedor y el propio son equivalentes. En el caso en que los valores surjan del consenso de los participantes, el valor asignado y el desvío dependen de la performance relativa del conjunto. Si esta es sensiblemente distinta del grupo con el cual se compara y estas causas no son atribuibles a una falla del laboratorio, esto se verá reflejado en un pobre Z-score. Esto puede deberse a la utilización de un método de ensayo diferente, por lo tanto al interpretar el informe de resultados debe prestar especial atención a los métodos de ensayo utilizados por todos los participantes. OTRAS UTILIDADES DE LOS RESULTADOS DE UN ENSAYO DE APTITUD: Los resultados favorables en un ensayo de aptitud pueden ser utilizados por los participantes para la acreditación ya que es uno de los puntos a tener en cuenta en la misma. Existe mucha información importante en un informe que puede ser utilizada para el cálculo de parámetros de validación: El componte del Bias de la incertidumbre y la reproducibilidad. Debe tomarse en cuenta que la estimación a partir de interlaboratorios, por lo general sobreestimará estos valores respecto de las que podrían obtenerse calculándolas a partir de determinaciones realizadas específicamente para tal fin. (ver Nordtest: Handbook for Calculation of Measurement Uncertainty in Environmental Laboratories, pp 17) Puede utilizarse los resultados sucesivos en ensayos de aptitud para evaluar el desempeño de un laboratorio a través de las rondas: El análisis de una serie de Z-score a lo largo de un período de tiempo brinda información acerca del desempeño de la evaluación del laboratorio. Usted debe elaborar una gráfica donde los valores Z se ubiquen en el eje vertical y las sucesivas rondas en el horizontal. 27
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
0 -2
-1
Z-Score
1
2
Evolución del desempeño del Laboratorio
2
4
6
8
10
Rondas
Cuadro: Evolución del Z-Score a través de las rondas. La variabilidad fue decreciendo en el tiempo.
En este caso, el participante obtuvo resultados satisfactorios en todas las rondas, pero se observa una marcada mejora, ya que los datos se encuentran cada vez menos dispersos alrededor del 0.
Tome en cuenta este otro caso, en el que el participante obtuvo siempre valores de Z también satisfactorios, pero sine embargo todos los valores Z son positivos, lo que india una tendencia a la sobreestimación de la medida.
28
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
0 -2
-1
Z-Score
1
2
Evolución del desempeño del Laboratorio
2
4
6
8
10
Rondas
Cuadro: Evolución del Z-Score a través de las rondas. El laboratorio tiene un sesgo a la sobreestimación.
Idealmente, los resultados deberían estar dispuestos de manera homogénea alrededor del cero, si la mayoría se encuentra por sobre o por debajo de esta línea, nos está indicando una tendencia sistemática a la sobreestimación o subestimación de la medida. Si los resultados se encuentran sucesivamente más alejados del 0, esto indica una mejora, y sucesivos alejamientos un empeoramiento.
29
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
30
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
07. ¿CUÁLES SON LAS CARACTERISTICAS DESEABLES QUE DEBO CONSIDERAR CUANDO PRODUZCO UN ENSAYO DE APTITUD?
31
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
LA NORMA ISO 17043 El documento guía a nivel internacional para los organizadores de ensayo de aptitud es la Norma ISO 17043. El cumplimiento de la Norma ISO 17043 será en el futuro una condición exigida a los proveedores, por lo tanto, desde el punto de vista de la competitividad la acreditación de ensayos de aptitud en distintos campos es una condición impostergable con miras al futuro. Por otro lado la implementación de normas, prevé una estandarización de los procesos, por lo que es necesario establecer criterios de comparabilidad y de evaluación. Respecto de este punto, dos dudas se plantean usualmente para el organizador de un ensayo de aptitud: ¿CUÁL ES LA VENTAJA DE ACREDITAR EL ENSAYO DE APTITUD? y en caso de no tener interés en acreditar el ensayo de aptitud ¿QUÉ VENTAJAS TIENE CUMPLIR LA NORMA DE TODOS MODOS? La Norma ISO 17043 fue elaborada por un grupo de especialistas de diversos países, reconocidos en el tema, por lo cuál se trata de de un documento de gran calidad que cubre un amplio espectro de situaciones, surgidas de la práctica cotidiana. La misma puede dar respuesta a muchas situaciones y dudas que se plantean en la práctica, por esto es recomendable, que aunque no esté interesado en acreditar el ensayo de aptitud, utilice como guía la Norma. QUE CONDICIONES ES NECESARIO CUMPLIR PARA ACREDITAR COMO PROVEEDOR DE ENSAYOS ENSAYO DE APTITUD: Se listan a continuación los aspectos mas relevantes a ser considerados: ANTECEDENTES: Se deben tener por lo menos una ronda de un ensayo de aptitud previas al proceso de acreditación organizadas según la norma ISO 17043 (este requisito cambia según el Organismo de Acreditación).
32
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
RECURSOS HUMANOS: El organizador debe contar con un equipo sólido técnico en lo referente a la organización del mismo. El mismo debe estar compuesto mínimamente por un COORDINADOR O DIRECTOR TÉCNICO con sólido conocimiento sobre los ensayos evaluados, el cuál será el encargado de la gestión del ensayo de aptitud, y un EXPERTO ESTADÍSTICO, como responsable del procesamiento de datos, y la gestión en lo referente a esta temática (potencialmente podría ser la misma persona). Un comité de expertos externos, debería ser consultado cuando se introducen cambios en las rondas (cambios en la forma de evaluar, cambios en la preparación e muestras, etc). El contar con un comité asesor de expertos prestigia y da transparencia a la organización. Las tareas de gestión cotidianas, son responsabilidad de los organizadores. Si bien la organización debe contar con una serie de documentos donde se evalúe previamente las acciones a seguir en casos de posibles desviaciones, la organización de un ensayo de aptitud es una tarea de gestión que exige estar capacitado para la toma de decisiones. La posibilidad de que existan desviaciones no consideradas, es mayor en el caso de ensayo de aptitud con poca trayectoria, ya que si bien la organización de un ensayo de aptitud debe ser una tarea sumamente planificada y estructurada, la gran diversidad de análisis existente y la diferencia que existe en la organización de los diversos ensayo de aptitud, hacen que la organización de un ensayo de aptitud, en las etapas iniciales donde se organizan las primeras rondas sea una tarea que dista de ser rutinaria, y es por esta razón que la figura de un coordinador y un estadístico con sólido conocimiento del tema es imprescindible en las etapas iniciales, y que los mimos deben estar suficientemente preparados para dar respuesta a temas que pueden surgir de manera inesperada. La Norma ISO 17043 considera la posibilidad de subcontratar todos los demás servicios, inclusive la distribución y la preparación de las muestras. En caso de que esta opción sea elegida, debe mantenerse registro explícito de esto. INSTALACIONES AMBIENTALES Y EQUIPAMIENTO: La preparación de muestras es un punto clave para lograr la calidad de los ensayo de 33
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
aptitud. Los laboratorios deben tener su plan de mantenimiento, controles, calibraciones. Los ensayos de aptitud pueden organizarse tanto en Laboratorios propios como subcontratados. Si el organizador no cuenta con laboratorios propios, deberá constar en la documentación la forma en que se controlarían esos temas en los laboratorios subcontratados. También debe especificarse el software, el control del sistema informático utilizado y el back up, (tanto para la gestión como para el procesamiento de datos). Es usual que el organizador genere sus propios programas para agilizar el procesamiento de datos. En caso de ser así, estos deben estar validados. DOCUMENTACIÓN: La organización debe contar con registro de toda la documentación. La misma debe contar de una serie de guías y comunicaciones que deben ser correctamente diseñados, distribuidos (en caso de corresponder) y luego archivados. El correcto manejo de la documentación hace a la trazabilidad del ensayo de aptitud. Las siguiente es una lista de la documentación mínima que debe generarse en cada ronda. •
PLANIFICACIÓN: Para la planificación, debe generarse un documento por programa, cada vez que se inicia un programa, el cual debe contener las condiciones de almacenamiento, el embalaje, el etiquetado, la distribución de los ítems del ensayo, especificar si se va a pedir algún método en particular o es libre, y el tratamiento que tendrá la evaluación con los distintos métodos, el tratamiento estadístico y análisis de datos que se utilizará. Algunos de estos puntos pueden estar en documentos distintos, pero en la planificación se debe hacer referencia a si se utilizarán esos documentos tal cual están o ese programa en particular requiere alguna modificación un documento por programa, cada vez que se inicia un programa). Este documento idealmente debe cubrir todas las posibles contingencias que pueden surgir en una ronda, como muestras que se deterioran, o se pierden.
•
También debe explicitarse el DISEÑO ESTADÍSTICO: Todo lo referente a cómo se establece el valor asignado y la incertidumbre de éste. Debe decir si se va a pedir la incertidumbre a los
34
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
participantes y el evaluador de desempeño que se usará de acuerdo a lo que surja del programa o que se pueda preestablecer. Debe contener las justificaciones correspondientes y decir cómo se procesarán los datos. El diseño estadístico puede estar incluido en otro documento general para todas las rondas pero en la planificación debe hacerse referencia a este.
HERRAMIENTA
En ANEXO NO 3 encontrara Ud. CONSIDERACIONES ESTADÍSTICAS de utilidad para abordar el punto anterior.
COMUNICACIÓN CON LOS PARTICIPANTES: Lo que va a comunicarse a los participantes (tanto la forma como el contenido), debe estar incluido en la planificación. La forma de comunicación es usualmente vía mail, o por medio de una página de Internet. La comunicación está constituida al menos por cuatro documentos: •
Una INVITACIÓN DE PARTICIPACIÓN, donde se dan a conocer las características del ensayo de aptitud, grado de confidencialidad (si los resultados se informaran solamente a los participantes, o serán de acceso público), posibilidades de apelación, costo, características técnicas (analito, matriz, método, etc), y en caso de que los hubiera requisitos específicos para la participación.
•
INSTRUCCIONES PARA LA REMISIÓN DE LOS RESULTADOS Y TRATAMIENTO DE LAS MUESTRAS: Este documento acompaña a las muestras, y puede replicar información de la invitación de participación. Explicita la forma que deben remitirse los resultados (resultados nominal o cuantitativo, cifras significativas, etc), fechas máximas, e instrucciones para el tratamiento de las muestras.
•
INFORME DE RESULTADOS: El documento donde se informan los resultados, debe incluir el detalle del tratamiento estadístico. La norma ISO resalta el ensayo de aptitud como una instancia de aprendizaje y mejora para los participantes, por lo cual este
35
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
documento debe ser claro y explícito. Se pueden agregar definiciones, explicaciones de desarrollos e interpretaciones teóricas (en especial a lo referente al cálculo estadístico) y todo aquello que el coordinador considere necesario y útil para que los participantes mejoren el entendimiento que los participantes pueden tener de los resultados. Si en alguna ronda es introducida alguna modificación en la evaluación, es recomendable que durante una figuren los dos criterios alternativamente. •
Es importante destacar que el éxito del ensayo de aptitud depende del éxito de las comunicaciones con los participantes. Se pueden generar formatos preestablecidos de comunicaciones, que dinamicen la organización y den una continuidad en el aspecto formal de los ensayo de aptitud.
MUESTRAS E ITEMS DE ENSAYO: En el documento de Planificación, deben constar las instrucciones de la preparación de las muestras, mantenimiento y tratamiento de las mismas por los participantes, como así conservar los registros que correspondan. Las muestras deben suficientemente estables y homogéneas. Los resultados para la homogeneidad y estabilidad de las muestras, se deben informar en el informe de resultados. Los análisis de homogeneidad deben realizarse en todas las rondas, mientras que la estabilidad puede o no realizarse en todas las rondas según el caso. La norma ISO 17043 destaca la importancia de que el organizador cumpla con los compromisos asumidos, al organizar un ensayo de aptitud. Esto transparenta la gestión y el proceso de toma de decisiones. Para cumplir con este requerimiento, es importante planificar y detectar los puntos críticos en la organización. Existen software especializados en gestión de proyectos que se obtienen comercialmente que usted puede utilizar en la gestión.
HERRAMIENTA
36
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
En ANEXO NO 5 se propone una ORGANIZACIÓN, y se analizan los PUNTOS CRÍTICOS más usuales como así también algunas propuestas para gestionarlos.
37
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
38
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
08. CONSIDERACIONES PARA ASEGURAR UNA ADECUADA DISTRIBUCION DE LAS MUESTRAS PARA ENSAYOS DE APTITUD EN LA REGION
39
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
La distribución de los ensayo de aptitud en el marco regional es uno de los puntos críticos más relevantes del proceso que condiciona el éxito del mismo. El conocimiento anticipado de los requisitos de importación y exportación de los ensayos de aptitud debe ser comprendido por el exportador. Las legislaciones de los países no involucrados en un mercado común, son reglamentadas por distintos procedimientos administrativos y su desconocimiento o incumplimiento puede hacer fracasar la distribución del material en los tiempos pautados. Por lo antes expuesto cuando se intercambian muestras de ensayos de aptitud se debe contar con un distribuidor confiable (preferiblemente radicado en el país), envases adecuados para el tránsito internacional y toda la información necesaria que evite retrasos en las aduanas.
¿QUÉ DOCUMENTACIÓN SE INTERCAMBIA NORMALMENTE EN LOS PROCESOS DE EXPORTACION / IMPORTACION DE MUESTRAS O ENSAYO DE APTITUD? A continuación se describen los distintos tipos de documentos que pueden intervenir en una transacción comercial de importación o exportación, se deja constancia que no todos son necesarios en todos los países y que su utilización depende de las legislaciones especificas. 1.- DECLARACIÓN DE ADUANA (MANIFIESTO DE EXPORTACIÓN): Este documento forma parte de los trámites aduaneros, debe ser realizado y presentado por un personal especializado (un agente de aduanas debidamente inscripto ante el Ministerio de Finanzas) al momento de formalizar la exportación, no todos los países requieren este documento. 2.- DOCUMENTO DE TRANSPORTE: Constituye el documento de contrato entre el expedidor (exportador) y el transportista para el traslado de determinadas mercancías de un lugar a otro. Es decir, es el contrato de fletamento entre el transportista y el exportador, el cual tiene carácter de título de propiedad sobre la mercancía. 40
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
De acuerdo a la modalidad de transporte acordada con el comprador para la realización de la exportación puede ser: 2.1 CONOCIMIENTO DE EMBARQUE: Cuando se trate de transporte marítimo, contendrá datos como: nombre y dirección del embarcador y del consignatario; lugares de embarque y de destino; marcas y numeración; clase; cantidad; peso; volumen; contenido de los bultos; tipo de fletes; valor de la mercancía; otros gastos; condición de entrega. etc. 2.2 GUÍA AÉREA: Cuando se trate de transporte aéreo contendrá datos como: nombre y dirección del embarcador y del consignatario; lugares de embarque y de destino; marcas y numeración; clase; cantidad; peso; volumen; contenido de los bultos; tipo de fletes; valor de la mercancía; otros gastos; condición de entrega; etc. 2.3 CONOCIMIENTO DE EMBARQUE TERRESTRE O GUÍA DE ENCOMIENDA GUIA DE EMBARQUE: Cuando se trate de transporte terrestre, contendrá datos como: nombre y dirección del remitente; lugar y fecha de embarque de la carga; lugar previsto para la entrega; nombre y dirección del destinatario; cantidad; clase de bultos; marcas y números; denominación corriente de la denominación de la carga; flete; gastos suplementarios y valor de la Mercancía; etc. Este documento siempre tiene un número único, que lo diferencia para poder identificar y rastrear la carga. Este documento a nombre de quien recibe la carga, tiene el valor de título de propiedad sobre la misma. es de vital importancia que este documento pueda ser adelantado o pre avisado a quien recibe. 3.- FACTURA COMERCIAL DEFINITIVA O FACTURA DE EXPORTACIÓN ELECTRÓNICA (CUANDO HAY COMPRA-VENTA COMERCIAL) O FACTURA PROFORMA (PARA MUESTRAS O MERCADERÍA SIN VALOR COMERCIAL): La factura comercial es un recibo emitido por el exportador por concepto de los bienes adquiridos por el importador, debe ser detallada como sea posible y estar claramente redactada. 4.- CERTIFICADO DE ORIGEN: Documento que acredita el origen y procedencia de las mercancías, este documento no es obligatorio para 41
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
todas las mercaderías y en todos los países, hay que consultarlo con quien recibe el envío. 5.- PLANILLA DE INTENCIÓN DE EXPORTACIÓN: Planilla que el exportador deberá presentar ante la aduana respectiva, en un plazo que no exceda los diez (10) días hábiles bancarios antes de consignar la Declaración de Aduana para la exportación. En aquellos países donde el cruce del Banco Central con la Aduana es electrónico y automático este formulario no es necesario, las muestras sin valor comercial no suelen tener requisitos específicos. 6.- AUTORIZACIÓN DE EXPORTACIÓN/IMPORTACIÓN del organismo con competencia en sanidad animal, protección vegetal o inocuidad alimentaria cuando corresponda en la importación, generalmente este se obtiene previo a realizar la operación y se adelanta por fax o email al exterior ¿QUE REQUISITOS DEBEN CUMPLIMENTARSE? Si bien cada país desarrolla procedimientos administrativos en acuerdo a la legislación vigente, existen estructuras de base que son comunes a todos, que influyen en los procesos de gestión debiendo ser conocidos por los profesionales responsables de los laboratorios a fin de asegurar la trazabilidad del trámite y la eficiencia del proceso de adquisición o distribución de la ronda ensayo de aptitud.
PROCEDIMIENTOS PARA LA RECEPCIÓN DE MERCADERÍAS DESDE EL EXTERIOR. A continuación se nuestra un diagrama de flujo que describe las etapas de un trámite modelo para la importación ensayos de aptitud.
42
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
TRAMITE DE IMPORTACION DE UNA RONDA ENSAYO DE APTITUD
43
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
44
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
HERRAMIENTA
En ANEXO NO 6 Encontrara Ud. desarrollado un EJEMPLO DE SECUENCIA DE TRABAJO que muestra su complejidad.
En ANEXO NO 7 se propicia generar una BASE DE DATOS con la filiación de los ORGANISMOS RESPONSABLES DE LA EMISION DE DOCUMENTACION DE TRANSITO que toman intervención en los procesos de importación y exportación en cada uno de los países, la que a disposición de los Jefes de Laboratorios facilita la realización de los trámites.
45
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
46
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
09. BASES PARA LA MEJORA DEL INTERCAMBIO REGIONAL DE ENSAYOS DE APTITUD
47
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Es claro que los problemas de gestión de ensayos de aptitud entre laboratorios de distintos países están relacionados con la disponibilidad en tiempo y forma de los mismos en el mercado y a la eficiencia del intercambio de muestras y documentación. El suministro de ensayos de aptitud sin costo alguno para los participantes es un beneficio que poco a poco se aleja de nuestras aspiraciones. Si bien han aparecido nuevos proveedores de ensayos de aptitud no llegan a cubrir las necesidades regionales en cuanto al alcance y la distribución de los mismos. No obstante la RILAA tiene una fortaleza: está conformada en su mayor parte por Laboratorios de Referencia Nacionales en el Control de Alimentos. Gracias a esa estructura mancomunada podría ser candidata a obtener financiamiento externo a través de un proyecto que gestionado por la Red permitirá aumentar las capacidades regionales para la producción de ensayos de aptitud. Este proyecto cubrirá los aspectos de capacitación, mejora o creación de la infraestructura edilicia y adquisición de equipamiento para aquellos laboratorios que se comprometan a cubrir los requerimientos estratégicos de la región. Este proceso sin duda será beneficioso también para las Redes Nacionales. Con este objetivo se proponen las siguientes herramientas
HERRAMIENTA
Encontrara adjunto en ANEXO No 8. ENCUESTA: RELEVAMIENTO DE LOS REQUERIMIENTOS DE ENSAYOS DE APTITUD DE LOS LABORATORIOS DE LA RILAA PARA EL PERIODO 2013-2015.
48
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
HERRAMIENTA
Financiamiento externo: Se lista en ANEXO No 9 ORGANISMOS CON CAPACIDAD DE FINANCIAMIENTO DE PROYECTOS INTERNACIONALES y sus contactos.
49
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
50
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
10. DEFINICIONES
51
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
DEFINICIONES ENSAYO DE APTITUD
COMPARACIÓN ENSAYO DE APTITUD: Organización, desempeño y evaluación de medidas y/o ensayos en ítems idénticos o similares, realizados por dos o más laboratorios de acuerdo con condiciones predeterminadas. ENSAYO DE APTITUD: Evaluación del desempeño de los participantes, contra criterios preestablecidos por medio de comparaciones ensayo de aptitud. NOTA: El término ensayo de aptitud se toma en el sentido más amplio e incluye, pero no se limita, a: PROVEEDOR DE ENSAYO DE APTITUD: Organización que toma la responsabilidad por todas las tareas en el desarrollo y operación de un programa de ensayo de aptitud. CLIENTE: Organización o individuo al cual se le provee un esquema de ensayo de aptitud por medio de un acuerdo contractual PARTICIPANTE: Laboratorio que recibe las muestras del ensayo de aptitud y presenta los resultados para ser revisados por el proveedor - organizador del ensayo de aptitud. RONDA DE ENSAYO DE APTITUD: Secuencia individual completa de distribución de los ítems de ensayos de aptitud, y la evaluación e informe de los resultados a los participantes. ÍTEM DE ENSAYO DE APTITUD: Muestra, producto, artefacto, material de referencia, pieza de equipo, estándar de medición, conjunto de datos u otra información usada para el ensayo de aptitud. PROGRAMA DE ENSAYO DE APTITUD: Ensayo de aptitud diseñado y operado en una o más rondas para un área especificada de ensayo, medición, calibración o inspección.
52
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
TÉCNICA DE MEDICIÓN: El proceso de ensayar/calibrar/identificar la propiedad, incluido todo pretratamiento requerido para presentar la muestra, como la recibe el laboratorio, al dispositivo de medición (por ejemplo, ICP-MS, Dureza Rockwell, PCR, Microscopía, Medición de Fuerza) PROPIEDAD: La magnitud que se mide (por ejemplo, arsénico, grasa, creatinina, longitud, dureza, fuerza) PRODUCTO: El ítem al que se aplica la técnica de medición (por ejemplo, suelo, vegetales, suero, poliestireno, hormigón) NIVEL DE PARTICIPACIÓN: El número de subdisciplinas que una organización identifica en su alcance, y por consiguiente el número de ensayos de aptitud específicos que debe considerarse para la participación FRECUENCIA DE PARTICIPACIÓN: Significa cuán seguido determina un laboratorio que tiene que participar en Ensayos de Aptitud para un determinada subdisciplina, lo que puede variar de una subdisciplina a otra dentro de un laboratorio y entre laboratorios con la misma subdisciplina. SUBDISCIPLINA: Área de competencia técnica definida por, al menos, una Técnica de Medición, Propiedad y Producto relacionados. (por ejemplo, Determinación de arsénico en suelos por ICP-MS) GRUPO TÉCNICO: Expertos o laboratorios técnicos con experiencia y especialidad en el área relevante para el campo del ensayo, medición o calibración a desarrollar. Debe incluir, o tener acceso, a un especialista con formación estadística para diseñar e implementar cada ensayo, medición o calibración, y analizar los resultados remitidos por los participantes. Este grupo técnico esta integrado además por un coordinador quien cumple con lo establecido en el ítem EXPERTO O LABORATORIO TÉCNICO: Laboratorio o persona con capacidad y aptitud técnica para realizar o evaluar los ítems de 53
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ensayos, medición o calibración que participan en los ensayos de aptitud. PERSONAL OPERATIVO: persona con aptitud y capacidad para realizar tareas auxiliares, técnicas o colaborativas en la organización del EA.
DEFINICIONES ESTADÍSTICAS Y DE GESTIÓN
MÉTODO ESTADÍSTICO ROBUSTO: Método estadístico insensible a pequeñas desviaciones de supuestos subyacentes que rodea a un modelo probabilístico subyacente. VALOR ASIGNADO A LA MUESTRA / INSTRUMENTO: VALORES DE REFERENCIA CERTIFICADOS: Cuando el material o artefacto usado en un ensayo de aptitud es un material de referencia certificado o un patrón trazable, con incertidumbre adecuadamente baja para los propósitos del ejercicio. El valor certificado de este material o artefacto es adoptado como valor de referencia, y la incertidumbre del valor de referencia se toma de la información sobre incertidumbre provista en el certificado correspondiente. VALORES ESTABLECIDOS POR FORMULACIÓN: El material de ensayo puede ser preparado con cantidades especificadas. En este caso el valor de referencia es calculado a partir de las masas utilizadas. La incertidumbre del valor de referencia es calculada por combinación de los componentes de incertidumbre asociados a la preparación del material CONSENSO ENTRE LABORATORIOS DE REFERENCIA: En este caso se eligen muestras al azar para ser analizadas por un grupo de laboratorios expertos. El valor asignado y su incertidumbre se calculan a partir de los valores obtenidos por los laboratorios expertos, utilizando métodos estadísticos adecuados. 54
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
CONSENSO ENTRE LABORATORIOS PARTICIPANTES: El valor asignado y su incertidumbre se calculan a partir de los valores obtenidos por los laboratorios participantes, utilizando procedimientos estadísticos adecuados. Estos procedimientos pueden involucrar métodos estadísticos robustos o el descarte de resultados anómalos, previo al cálculo del valor medio correspondiente.
Nota: algunas de las presentes definiciones fueron extraídas de la norma ISO/IEC 17043 y de la ILAC G13. Otras fueron adaptadas o definidas por el INTI-SAI, para facilitar la comprensión de la estructura organizativa propuesta en el presente sistema de gestión de calidad.
55
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
56
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
11. REFERENCIAS
57
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ILAC G-22:2004 USO DE ENSAYOS DE APTITUD COMO UNA HERRAMIENTA PARA LA ACREDITACIÓN DE ENSAYOS EA-4/18 - GUÍA PARA EL NIVEL Y LA FRECUENCIA DE PARTICIPACIÓN EN ENSAYOS DE APTITUD. ILAC P9/11: 2010 POLÍTICA DE ILAC PARA PARTICIPAR EN ACTIVIDADES DE ENSAYOS DE APTITUD NACIONALES INTERNACIONALES. DOCUMENTO OBLIGATORIO PARA EL MLA DE IAAC DE LABORATORIOS. ISO/IEC 17043:2010 EVALUACIÓN DE LA CONFORMIDAD. REQUISITOS GENERALES PARA LOS ENSAYOS DE APTITUD. IRAM 301 - ISO/IEC 17025 REQUISITOS GENERALES PARA LA COMPETENCIA DE LOS LABORATORIOS DE ENSAYO Y DE CALIBRACIÓN. ISO 13528 STATISTICAL METHODS FOR USE IN PROFICIENCY TESTING BY INTERLABORATORY COMPARISONS. (FIRST EDITION 2005-09-01). ISO 5725-1 ACCURACY (TRUENESS AND PRECISION) OF MEASUREMENT METHODS AND RESULTS. PART 1: GENERAL PRINCIPLES AND DEFINITIONS. (FIRST EDITION 1994-12-15). ISO 5725-5 ACCURACY (TRUENESS AND PRECISION) OF MEASUREMENT METHODS AND RESULTS. PART 5: ALTERNATIVE METHODS FOR THE DETERMINATION OF THE PRECISION OF A STANDARD MEASUREMENT METHOD. (FIRST EDITION 1998-07-15). NORMA ISO 9000: SISTEMAS FUNDAMENTOS Y VOCABULARIO.
DE
GESTIÓN
DE
LA
CALIDAD
-
NORMA ISO REQUISITOS
DE
GESTIÓN
DE
LA
CALIDAD
–
9001:
SISTEMAS
NORMA IRAM-ISO/IEC 17000: EVALUACIÓN DE LA CONFORMIDAD – VOCABULARIO Y PRINCIPIOS GENERALES NORMA ISO 14001: SISTEMAS DE GESTIÓN AMBIENTAL – REQUISITOS CON ORIENTACIÓN PARA SU USO NORMA ISO/ IEC 17043: CONFORMITY ASSESSMENT – GENERAL REQUIREMENTS FOR PROFICIENCY TESTING 58
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
UNDERSTANDING ROBUST AND EXPLORATORY DATA ANALYSIS, HOAGLIN, DAVID C.; MOSTELLER, FREDERICK; TUKEY, JOHN W. –JOHN WILEY & SONS, INC. (UNITED STATES OF AMERICA, 1983). ASTM E 691 - 79. STANDARD PRACTICE FOR CONDUCTING AN INTERLABORATORY TEST PROGRAM TO DETERMINE THE PRECISION OF TEST METHODS. DOCUMENTO EURACHEM 1995: (EN REVISIÓN POR EURACHEM Y CITAC) “CUANTIFICACIÓN DE LA INCERTIDUMBRE EN MEDICIONES ANALÍTICAS QUANTIFYING UNCERTAINTY IN EURACHEM, SECOND EDITION (2000).
ANALYTICAL
MEASUREMENT.
ISO 13528 (2005). STATISTICAL METHODS FOR USE IN PROFICIENCY TESTING BY INTERLABORATORY COMPARISONS. THE INTERNATIONAL HARMONIZED PROTOCOL FOR THE PROFICIENCY TESTING OF ANALYTICAL CHEMISTRY LABORATORIES. PURE & APPL. CHEM, VOL. 78, 1, 145 - 196 (2006) ISO 5725. PARTS 1-6 (1994). ACCURACY (TRUENESS AND PRECISION) OF MEASUREMENT METHODS NORDTEST: HANDBOOK FOR CALCULATION OF UNCERTAINTY IN ENVIRONMENTAL LABORATORIES
MEASUREMENT
NOTA: En todos los casos se hace referencia a la versión vigente del documento.
59
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
NOTAS DEL LECTOR:
60
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
12. HERRAMIENTAS
61
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ANEXO No 1 LISTA COMPACTADA DE PROVEEDORES DE ENSAYOS DE APTITUD
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ANEXO NO 2 ORGANISMOS DE ACREDITACIÓN DE AMÉRICA ORGANISMOS DE ACREDITACION
CONTACTO
ARGENTINA
Email:
[email protected], web: http://www.oaa.org.ar
ORGANISMO ARGENTINO DE ACREDITACION (OAA)
BOLIVIA DIRECCIÓN TÉCNICA DE ACREDITACIÓN INSTITUTO BOLIVIANO DE METROLOGÍA - DTAIBMETRO.
BRASIL
Email:
[email protected], web: http://www.ibmetro.gob.bo
Email:
[email protected], web: http://www.inmetro.gov.br
COORDENAÇÃO GERAL DE CREDENCIAMENTO (CGCRE).
CANADA
Email:
[email protected], web: http://www.ceaeq.gouv.qc.ca
CENTRE D’ EXPERTISE EN ANALYSE ENVIRONNEMENTALE DU QUEBEC (CEAEQ).
CHILE
Email:
[email protected], web: http://www.inn.cl
INSTITUTO NACIONAL DE NORMALIZACIÓN (INN).
COLOMBIA ORGANISMO NACIONAL DE ACREDITACIÓN DE COLOMBIA (ONAC)
Email:
[email protected] , web: http://www.onac.org.co
COSTA RICA ENTE COSTARRICENSE DE ACREDITACIÓN (ECA).
Email:
[email protected], web: http:// www.eca.or.cr
CUBA ORGANO NACIONAL DE ACREDITACIÓN DE LA REPÚBLICA DE CUBA (ONARC).
Email:
[email protected], web: http://www.onarc.cubaindustria.cu
REPÚBLICA DOMINICANA DIRECCIÓN GENERAL DE NORMALIZACIÓN (DIGENOR).
ECUADOR ORGANISMO DE ACREDITACION ECUATORIANO (OAE).
94
Email:
[email protected], web: http://www.oae.gob.ec
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ORGANISMOS DE ACREDITACION
CONTACTO
GUATEMALA
Email:
[email protected], web: http://www.oga.org.gt
OFICINA GUATEMALTECA DE ACREDITACION (OGA).
HONDURAS
Email:
[email protected], web: http://www.seplan.gob.hn
DIRECCIÓN DE COMPETITIVIDAD E INNOVACIÓN SECRETARÍA DE PLANEACIÓN Y COOPERACIÓN EXTERNA, SEPLAN.
JAMAICA
Email:
[email protected]
JAMAICA NATIONAL AGENCY FOR ACCREDITATION (JANAAC).
MEXICO
Email:
[email protected], web: http://www.ema.org.mx
ENTIDAD MEXICANA DE ACREDITACIÓN A.C. (EMA).
NICARAGUA OFICINA NACIONAL DE ACREDITACIÓN, (ONA).
PANAMA CONSEJO NACIONAL DE ACREDITACIÓN (CNA).
PARAGUAY
Email:
[email protected], web: http://www.mific.gob.ni
Email:
[email protected], web: http://www.cna.gob.pa
Email:
[email protected], web: http://www.conacyt.gov.py
ORGANISMO NACIONAL DE ACREDITACIÓN (ONA).
PERU
Email:
[email protected], web: http://www.indecopi.gob.pe
INSTITUTO NACIONAL DE DEFENSA DE LA COMPETENCIA Y DE PROTECCIÓN DE LA PROPIEDAD INTELECTUAL - SERVICIO NACIONAL DE ACREDITACIÓN, (INDECOPISNA).
EL SALVADOR
Email:
[email protected], web: http://www.conacyt.gob.sv
CONSEJO NACIONAL DE CIENCIA Y TECNOLOGÍA, (CONACYT).
TRINIDAD Y TOBAGO
Email:
[email protected], web: http://www.ttbs.org.tt
TRINIDAD & TOBAGO LABORATORY ACCREDITATION SERVICES (TTLABS).
ESTADOS UNIDOS DE AMERICA
E-mail:
[email protected] web: www.a2la.org
AMERICAN ASSOCIATION FOR LABORATORY ACCREDITATION (A2LA).
95
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ORGANISMOS DE ACREDITACION
CONTACTO
ESTADOS UNIDOS DE AMERICA
Email:
[email protected] web: http://www.aiha.org
AMERICAN INDUSTRIAL HYGIENE ASSOCIATION, LABORATORY ACCREDITATION PROGRAM, LLC (AIHA LAP).
ESTADOS UNIDOS DE AMERICA
Email:
[email protected] web: www.anab.org Email:
[email protected] web: www.aclasscorp.com
ANSI-ASQ NATIONAL ACCREDITATION BOARD, LLC.) - ACLASS PARA EL PROGRAMA DE ACREDITACIÓN DE LABORATORIOS.
ESTADOS UNIDOS DE AMERICA
Email:
[email protected] web: http://www.ascld-lab.org
AMERICAN SOCIETY OF CRIME LABORATORY DIRECTORS / LABORATORY ACCREDITATION BOARD (ASCLD/LAB).
ESTADOS UNIDOS DE AMERICA
Email:
[email protected] web: http://www.forquality.org
FORENSIC QUALITY SERVICES (FQS).
ESTADOS UNIDOS
Email:
[email protected] web: http://www.nist.gov/nvlap
NATIONAL VOLUNTARY LABORATORY ACCREDITATION PROGRAM (NVLAP).
URUGUAY
Email:
[email protected] web: www.organismouruguayodeacreditacion.org
ORGANISMO URUGUAYO DE ACREDITACIÓN (OUA).
96
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ANEXO NO 3 BASES ESTADISTICAS PARA LA EVALUACION DE ENSAYOS DE APTITUD MODELO PROBABILÍSTICO SUBYACENTE O MODELO PROBABILÍSTICO GENERADOR DE LOS DATOS Todo experimento mediante el cual se obtengan datos, a pesar de ser repetido en igualdad de condiciones (repetibilidad y/o reproducibilidad), tienen en cada una de sus realizaciones algún grado de discrepancia, es por esta razón que se asume el resultado de estos como una variable aleatoria. La función que indica la proporción de veces que determinado resultado será obtenido es el modelo probabilístico subyacente o modelo probabilístico generador de los datos. Se espera que si se repite el experimento un número suficiente de veces, el histograma de los datos, se aproxime al gráfico de la función de densidad o función probabilidades que es la forma matemática que toma el modelo probabilístico. Se exploran a continuación algunos modelos especialmente utilizados en los laboratorios: DISTRIBUCIÓN NORMAL Para las variables cuantitativas como pesos, concentración de un analito en una matriz, porcentajes de proteínas, grasas, etc existe numerosas funciones matemáticas que las describen, la más importante de todas (Por ser la que mejor ajusta a los resultados de mediciones en un laboratorio, y que coincide con hipótesis matemáticas que facilitan su explicación) es la denominada Distribución Normal o Campana de Gauss en alusión a su gráfica. La función de densidad que describe un conjunto de datos con esta distribución es:
f X ( x) =
−
1 2πσ
2
e
( x−μ )2 2σ 2
Las probabilidades se calculan como el área bajo la curva. Los parámetros μ y σ indican la forma y posición de la distribución.
97
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
A modo de ejemplo expondré diferentes gráficos para comprender el rol de μ (media) y σ (desvío). Se observa claramente los corrimientos de la función para cada valor de μ . El siguiente dibujo corresponde a una 1.5 y σ = 1 . Puede familia de normales con parámetros: μ = −2, - 1 , 1 , observarse en el gráfico que las tres campanas son congruentes, esto se debe a que el desvío es el mismo para todas. Los valores alternativos de μ indican la posición del valor central, y por lo tanto de la campana.
Gráfico 1: Familia de Normales con diferentes medias
Este otro corresponde a tres normales con μ = 0 y σ = 1; 2; 0.1 respectivamente.
98
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Gráfico 2: Familia de Normales con diferentes desvíos
Aquí puede observarse que a menor desvío, mayor altura máxima de la campana (CURTOSIS) y mayor concentración en torno al valor central. Una de las características principales de una distribución normal es la simetría, cuando esto sucede, la media, mediana y moda coinciden. El concepto más importante que debe comprender de la distribución normal es la forma en u los datos se concentran alrededor del promedio: Si una variable aleatoria se distribuye como una norma el 68% de los datos está alrededor de la media a una distancia de a lo sumo 1 desvío. Si ampliamos el intervalo a 2 desvíos estándar se concentraran el 95% de los datos, en síntesis:
•
El intervalo [μ − σ ; μ + σ ] concentra el 68% de los datos.
•
El intervalo [μ − 2σ ; μ + 2σ ] concentra el 95% de los datos.
•
El intervalo [μ − 3σ ; μ + 3σ ] , concentra el 99.7% de los datos.
•
El intervalo [μ − 4 ⋅ σ ; μ + 4 ⋅ σ ] , concentra el 99.9% de los datos.
99
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Observe la baja probabilidad de que un dato se aleje más de 2 desvíos de la media. En los casos en que una distribución, aún siendo simétrica tiene más cantidad de datos fuera del intervalo, se dice que tiene colas pesadas. A pesar de ser simétrica su distribución no es normal. DISTRIBUCIÓN NORMAL ESTÁNDAR: Si una variable tiene una distribución normal con media μ y desvío σ , x−μ Z= σ , tiene puede demostrarse que la transformación de los datos también distribución normal con μ = 0 y σ = 1 . En particular, se cumplirá que el 95% de los datos se encontrará en el intervalo [− 2; 2] .
Aplicación de la distribución Normal a los ensayos Ensayo de aptitud: En las comparaciones ensayo de aptitud, la distribución norma desempeña un papel fundamental. La elección de un estadístico de desempeño en particular, supone la aceptación de un modelo probabilístico subyacente. Frecuentemente, este modelo probabilístico es la distribución normal. En este caso, el estadístico de desempeño será:
Z=
x−X
σ
,
donde X es el valor asignado, (el valor esperado de la medida), y σ el desvío. El valor x incorpora la información del laboratorio, y es por lo general el promedio de las mediciones informadas. En el caso de que x ~ N ( X , σ ) , entonces el estadístico Z adoptará valores entre -2 y 2 con una probabilidad de aproximadamente el 95%. Por lo tanto, se considera aceptable un estadístico entre estos valores. DETERMINACIÓN DEL VALOR ASIGNADO Y DEL DESVÍO DE UN TEST DE PROFICIENCIA: La especificación de un modelo probabilístico implica definir una función de densidad o de probabilidad generadora de datos y valores para los parámetros de la misma. Por ejemplo, en el caso de una
100
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
distribución normal, se deben especificar valores para la media y para el desvío, Estos valores pueden determinarse: *De manera externa, a partir por ejemplo del valor informado por un material de referencia, o en el caso del desvío, un valor “target” que el organizador considera que deberían poder alcanzar los participantes. *Como valor de consenso entre los laboratorios participantes, a partir de algún método de estimación que toma como muestra los datos informados por los participantes. Más adelante en el apartado sobre estadística robusta se agregan detalles. DISTRIBUCIÓN BINOMIAL La distribución binomial es un modelo utilizado con frecuencia en el caso de variables cualitativas, en particular será útil en el caso en que se estén determinando el número de veces que aparece una característica en una serie de ensayos o experimentos: Por ejemplo, durante diez días, se realiza un análisis con 6 ratones inoculados con una vacuna y posteriormente expuestos a un virus y estamos interesados en la cantidad de ellos que sobrevive, o el caso en que se toma una serie de cortes vacunos de un mismo lote de un alimento cárnico, y estamos interesados en saber el número de ellos que supera cierta cantidad de proteínas. Formalmente, las condiciones para que puedan utilizarse la distribución binomial están dadas por: a) Se repite n veces (n fijo) un mismo ensayo, el cual solo puede arrojar dos resultados, por ejemplo ausencia o presencia de determinado anticuerpo o analito, ausencia o presencia de color, etc. El resultado de interés para el analista se denomina Éxito (E), y el otro Fracaso (F) b) Los ensayos o pruebas son independientes (un resultado no afecta ni es afectado por otros) c) La probabilidad de que se presente el evento exitoso es contante, en las n pruebas, lo cual simbólicamente se expresa como P(E)=p. 101
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
d) Estamos interesados en la variable X, número de veces que se presenta un éxitos en las n repeticiones Las
características
anteriores,
constituyen
un
experimento
k~B (n,p)
i binomial, y la notación para el mismo es: (Se lee: k se distribuye como una binomial de parámetros n y p). n: Número de veces que se repite el ensayo, y p: Probabilidad de éxito en cada repeticiones individual.
La función de probabilidades está dada por:
⎛n⎞ px (k) = ⎜⎜ ⎟⎟ pk (1 − p) n−k ⎝k ⎠
1
Tomar en cuenta que el número de éxitos, k, no puede superar a la cantidad de repeticiones, por lo cuál: 0 ≤ k ≤ n . Aplicación de la distribución Binomial a los ensayos Ensayo de aptitud: La distribución binomial se aplica especialmente en el caso de ensayo de aptitud cualitativos (La característica a analizar es de tipo cualitativo). Para ejemplificar su uso, suponga que usted organiza un ensayo de aptitud donde uno de los ítems de ensayo corresponde a identificar la presencia o ausencia de un microorganismo. Usted considera que los laboratorios deben ser capaces de evaluar una muestra correctamente con una probabilidad de al menos el 95%. (Esto significa que si realizan la misma determinación unas 100 veces sobre la misma muestra, al menos 95 de ellas deben informar un resultado correcta). Claro que usted no puede pedirle a los participantes que informen la misma determinación varias veces, ni enviar réplicas de la misma muestra, entonces envía un panel con 20 muestras contaminadas y no 1
El símbolo
⎛n⎞ ⎜⎜ ⎟⎟ se lee: Número combinatorio de n elementos tomados en k. Se encuentra en las calculadoras ⎝k ⎠
científicas y en los software básicos como por ejemplo Planillas de Cálculo.
102
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
contaminadas a los participantes y les pide que informe los resultados para cada una de ellas. Puede utilizar la distribución binomial, para determinar la cantidad de muestras correctamente clasificadas que se debe exigir para aprobar el ensayo de aptitud. En este caso, se trata de una distribución binomial de parámetros n=20 y p=0.95, la variable k indica el número de muestras correctamente clasificadas. El problema consiste en determinar el valor de k apropiado (número de muestras correctamente clasificadas) que se les exigirá a los participantes.
Tabla : Probabilidades y valores de corte para un ensayo de aptitud cualitativo
En la tabla anterior, la primera fila indica el número de muestras correctamente clasificadas y la segunda fila muestra la probabilidad asociada. Si se elige tomar como valor de corte 18, entonces el 92,4% de los laboratorios que participan estarían correctamente evaluados si cumplen con los requisitos exigidos. Tomar ese valor como 19 o 20 no es una buena práctica, ya que en ese caso solo el 73% o el 35% de los laboratorios que cumplen con los requisitos estarían en condiciones de pasar. COMBINACIÓN DE ESTADÍSTICOS: Hay ocasiones donde se pretende evaluar el desarrollo global en una serie de pruebas, por ejemplo: la correcta cuantificación de una cantidad grande de analitos en una misma muestra, o la cuantificación de un mismo ítem de ensayo en un panel de muestras de diferente matriz. Lo que importa en estos casos, no es obtener una evaluación particular de cada resultado, sino un análisis global del mismo
103
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Z=
x−X
~N (0,1) σ Partiendo del estadístico , hace falta una manera de combinar los resultados de los estadísticos de desempeño parciales. Una n
∑Z
2 i
manera de combinarlos sumando los valores al cuadrado: i =1 . Esta manera de combinarlos tiene la ventaja de ponderar con mayor peso los valores que tienen mayores discrepancias de la media, y con menor peso a los que discrepan menos. Matemáticamente, este estadístico de desempeño se comporta como una distribución Chi-Cuadrado. Los valores críticos se encuentran tabulados, y dependen de la cantidad de determinaciones individuales (n). Se suele elegir el criterio del 95% análogamente a los ensayos de analito único.
Tabla : Valores límites para el estadístico Chi, según la cantidad de observaciones (n: analitos o muestras).
Una desventaja de este tipo de estadístico es que solo toma valores positivos por lo cual no se puede analizar el comportamiento de los signos. Valores de Z bajos pero siempre negativos o positivos, son indicadores de sesgos sistemáticos. Se recomienda acompañar el cálculo 104
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
del estadístico con un gráfico de los valores Z. Los valores deberían estar todos distribuidos alrededor de cero de manera uniforme.
ESTADÍSTICA ROBUSTA: Una innovación importante de la norma ISO 17043 es la especial importancia que se hace en la utilización de estadística robusta. Sin embargo usted probablemente se pregunte: ¿QUÉ ES LA ESTADÍSTICA ROBUSTA?. Tómese un minuto para plantear un ejemplo extralaboratorio que le dejará claro el concepto de Robustez: En una fiesta infantil, hay 5 niños entre 5 y 6 años, el promedio de altura es de 1 metro. Luego llega el hermano del cumpleañero, de 15 años, cuya altura es de 1, 8 metros ahora el promedio de altura es de 1,13; valor que no es representativo. Probablemente a usted se le ocurre que sería mucho más conveniente utilizar la mediana como valor de resumen para las alturas: Esto sucede porque la media no es una medida robusta y la mediana si lo es. Formalmente, se denomina estadística Robusta al empleo de métodos y técnicas poco sensibles a pequeñas variaciones en los parámetros. Para seguir explorando la diferencia entre estadística robusta y clásica, considerar un ensayo de aptitud en el cuál el 90% de las medidas se realizan con un método de medida, cuya media es 1 y su desvío es 0.05. Sin embargo, el 10% de las restantes medidas puede tener una media idéntica, pero su desvío es el triple: 0.15. La distribución de los datos puede describirse como una distribución normal contaminada. 1000 datos provenientes de esta distribución se simularon y se graficó el histograma al cuál se le superpuso una distribución normal 2 con μ = 1 y σ = 0.05 . Puede observarse claramente que las colas de la distribución contaminada son distribución no contaminada.
más
105
pesadas
que
las
colas
de
la
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
0
2
4
6
Densidad (en %)
8
10
Distribución normal contaminada
0.6
0.8
1.0
1.2
1.4
valores simulados
Gráfico 4: Distribución Normal contaminada: El 10% de los datos tiene una varianza mayor.
Otra situación posible es un ensayo de aptitud en el cuál el 90% de las medidas arrojan datos con distribución normal, cuya media es 1 y su desvío 0,05. Sin embargo el 10% restante, pese a tener idéntica varianza, arroja una media levemente superior (1,1, un 10% superior), También obsérvese la simulación, la cuál arroja una distribución con una cola derecha pesada que marca una leve asimetría.
6 4 0
2
Densidad (en %)
8
10
Distribución normal contaminada
0.8
1.0
1.2
1.4
valores simulados
Distribución Normal contaminada: El 10% de los datos tiene una media superior.
106
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Si bien se acepta que la distribución normal es un modelo aplicable a la mayoría de medidas que pueden realizarse en un laboratorio, por lo generar se trata de normales contaminadas. Ejemplos claros de este tipo de comportamiento surge cuando de agregan mediciones de un mismo analito con técnicas diferentes (Normal contaminada por pequeñas discrepancias en la media o en el nivel de las mediciones), o variaciones en el nivel de repetibilidad de los datos (distribuciones contaminadas por discrepancias en las varianzas) VALORES ATÍPICOS U OUTLIER La existencia de datos atípicos u outliers afecta mucho la calidad de la estimación de la media y del valor asignado, es por esto muy importante que usted tenga en claro el concepto de outliers y sus implicaciones. Un valor atípico es un dato que tiene una probabilidad muy baja de ser observado bajo cierta distribución subyacente de los datos, es decir un dato muy alejado del valor central. Si la distribución generadora es una normal, un valor con un Z sensiblemente superior o inferior a 3 o -3 es un dato claramente atípico. Sin embargo, el concepto de outiler es frecuentemente confundido con el concepto de valor extermo. Una distribución normal contaminada como la que se muestra en el gráfico 2, tiene una probabilidad superior a la establecida por la normal (0.01) de presentar datos a una distancia superior a 3 desvíos de la media. Pero en este caso, el dato no es un outlier, sino que es un solo un valor extremo, porque la distribución tiene colas pesadas. Para resumir, se puede afirmar que todo outlier es un valor extremo, pero no es cierto que todo valor extremo sea un outlier. Si consideramos las propiedades de la distribución normal, es esperable que 1 de cada 100 datos presente un valor de Z superior o inferior a 3 o -3 respectivamente. En una muestra mucho más pequeña, como las que se presentan en los ensayo de aptituds, donde el número de participantes no supera en general los 30, la existencia de más de un valor extremo está indicando que el modelo subyacente probablemente no sea normal. Otro problema que se presenta con la presencia de estos valores extremos, es que el hecho de quitarlos puede afectar la calidad de la 107
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
estimación (sobre todo del desvío), cuando en realidad las colas son pesadas. Pero si los dejamos, pueden sobreestimarlo y tender a aceptar datos que en realidad deberían ser eliminados. Sintetizando: las muestras que presentan valores extremos u outliers, constituyen un problema porque son fuente de variabilidad y sesgo. La estadística robusta, es la solución que se plantea a este problema. La idea detrás de las estimaciones de este tipo es generar un método de trabajo que sea poco sensible a pequeñas variaciones en los supuestos subyacentes del modelo. En particular, será útil si debemos “lidiar” con distribuciones contaminadas, como es usual en los laboratorios. A Esta altura, usted se estará preguntando. ¿Qué debo hacer con los Outliers, incluirlos o no en la estimación del valor asignado y el desvío? Como la estadística clásica no está preparada para trabajar con las distribuciones contaminadas, necesitamos aplicar un método que sea capaz de diferenciar los outliers de los valores extremos, y por otro lado, indicarnos si estamos en presencia de una distribución contaminada o no. A continuación se expone un método para identificarlos y diferenciarlos: BOX PLOT O DIAGRAMA DE CAJA Y BOGOTES El box Plot es una forma gráfica para analizar ciertos aspectos salientes de un conjunto de datos. La información más relevante que puede brindarnos el BoxPlot es la referida a la homogeneidad/heterogeneidad (En relación al concepto de colas pesadas) de los datos, la presencia de valores influyentes u outliers, y la asimetría de la distribución. Hay dos ideas importantes para entender la idea detrás del box-plot:
•
La medida de variabilidad que utiliza el Box-Plot es una medida “Super-Robusta” (Muy insensible ante valores grandes, solo toma en cuenta la variabilidad de los valores centrales): El rango intercuartílico, es la diferencia entre el tercer y primer cuartil, por lo tanto el intervalo que determina concentra por definición el 50% de los datos. En una distribución normal, el intervalo [ μ − σ ; μ + σ ] concentra el
108
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
68% de los datos, por lo tanto, el rango intercuartílico aproximadamente con 1.5 desvíos. Como medida de tendencia central, se reemplaza la media por la mediana. En caso de que los datos provengan de una distribución normal, deberían coincidir, y se prefiere la mediana por su robustez.
•
En una distribución normal, el 99.7% de los datos se encuentra a no más de 3 desvíos de los datos. Asumiendo de el rango intercuartílico es una buena aproximación para el desvío, los valores que se encuentran a una distancia superior a 1.5 Rangos intercuartílicos a partir del primer o tercer cuartil respectivamente, se encuentran a una distancia aproximadamente de 3 desvíos a partir de la media.
Para construir el Box-Plot, se parte de graficar una caja con los cuartiles primer y tercero y la mediana:
VEI
VIS
VII Q1 Me
VES
Q2
Gráfico 6: Esquema de un Box-Plot
Para construir los brazos, se calcula la distancia intercuartil: dQ=Q2-Q1 Se contruyen las vallas:
•
La valla interna inferior: VII=Q1-1.5dQ
•
La valla interna superior: VIS=Q2+1.5dQ
109
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
•
La valla externa inferior: VEI=Q1-3dQ
•
La valla externa superior: VES=Q2+3dQ
Frecuentemente las vallas internas/externas en los paquetes estadísticos se grafican hasta el datos mayor/menor que no es outliers, por esa razón el diagrama no queda simétrico. La clasificación de las observaciones a partir del Box Plot consiste en: Los datos que se encuentra entre las vallas externas, son valores extremos (podrían o no ser outliers, en función de si hay o no más de uno), y los que se encuentra más allá de las vallas externas, son outliers severos. La forma de la caja, nos permite clasificar la distribución en simétrica o asimétrica en función de la ubicación relativa de la mediana. La recomendación es quitar los outliers severos del conjunto de datos, y quedarse solo con los datos que se encuentran entre las vallas superiores/inferiores. Luego aplicar métodos robustos a la estimación para obtener el valor asignado y el desvío, en caso de que se trate de un valor de consenso. LA DISTRIBUCIÓN DE LOS DATOS DE UN ENSAYO DE APTITUD: La forma que presenta la distribución de datos en un ensayo de aptitud contiene mucha información valiosa para el organizador, que usted como debe tomar en cuenta antes de realizar una evaluación. Una diferencia pocas veces tomada en cuenta es la que existe entre el modelo generador de los datos, o modelo subyacente, y el modelo que se considera deberían cumplir, y se utiliza como herramienta para evaluar, al cual podemos llamar “modelo target”. Considerar por ejemplo: la distribución de los datos puede ser una normal contaminada, porque un conjunto de laboratorios opera con una variabilidad sensiblemente superior. Pero si se utiliza el criterio del ZScore, el parámetro es la normalidad. Implícitamente, el organizador considera que el exceso variabilidad es una característica negativa, que debe ser corregida. 110
de En
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
este caso la estimación robusta funciona de manera tal que le asigna mayor peso en la estimación del desvío a lo datos que se encuentran cerca de media, y por lo tanto provienen con mayor probabilidad del subconjunto de laboratorios que funciona con una varianza menor. El criterio y experiencia técnica del organizador es esencial para discernir la razón por la cual los datos reales se alejan del modelo teórico. Por ejemplo, podría darse el caso en que un conjunto de datos para un ensayo de aptitud, tenga una asimetría a izquierda con una cola pesada. Esto puede deberse a dos fuentes de variabilidad diferentes: Una posibilidad es que los datos provengan de una distribución normal contaminada, donde un conjunto de laboratorios opera con nivel sensiblemente superior al resto, lo cual sesga la distribución. La otra posibilidad es que la distribución de la variable sea asimétrica, como podría ser el caso en que se recuente el número de colonias de bacterias, o la cuantificación de un residuo en un valor apenas por sobre el límite mínimo de detección. En estos últimos casos, no es deseable imponer el criterio de normalidad para la evaluación, ya que la asimetría de los resultados es una característica propia del ensayo, y se debería proponer otra manera de evaluar que la tome en cuenta. Por esta razón, es imprescindible que la decisión de utilizar un criterio de evaluación por sobre otro sea tomada en cuenta por el organizador, y esté fundamentada en un amplio y profundo conocimiento de los ensayos a evaluar. Es difícil, desde un marco general, dar respuesta a cual debe ser el criterio de evaluación en cada uno de los casos, ya que cada ensayo tiene sus especificidades y un mismo comportamiento estadístico puede ser leído de diferentes maneras. Asimismo, es importante alertar que el criterio de evaluación debe ser dinámico y acompañar a los avances de la técnica. Ciertas desviaciones que son aceptables en la actualidad, probablemente no lo sean en 5 o 10 años, ya que el perfeccionamiento de los participantes y la mejora de los instrumentos de medición, tienden a disminuir la variabilidad a lo largo del tiempo. En líneas generales, existe una serie de herramientas estadísticas que se exponen a continuación para evaluar la consistencia de un 111
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
conjunto de datos con una distribución. Sin embargo, a la luz de lo expuesto en los párrafos anteriores, estas constituyen puntos de vista estadísticos que deben ser complementados con el conocimiento específico del ensayo, otros test de validación estadísticos y resultados de experiencias anteriores. TEST DE DISTRIBUCIÓN: Los test de distribución deben ser utilizados para probar si los datos son o no consistentes estadísticamente (en términos de significancia/ no significancia 2 ) con la hipótesis sobre el modelo generador de los datos. Todos los test de distribución plantean en la hipótesis nula la consistencia con la distribución de interés y en la hipótesis alternativa la no consistencia con la misma. Por lo tanto, el no rechazo de la misma, indica que el rechazo de misma no es significativo estadísticamente. Por lo general interesa la consistencia con la distribución normal, y en este caso los test más frecuentes son los test de Shapiro Wilks, Kolmogorov-Smirnov y Chi-Cuadrado.
•
El test de Kolmogorov-Smirnov analiza la discrepancia entre la distribución teórica y la distribución empírica (acumulada), el estadístico es la máxima diferencia en valor absoluto entre ambos conceptos. Los valores críticos se encuentran tabulados para diversos niveles de significación. Un estadístico inferior que el valor crítico indica el no rechazo de la misma.
•
El Q-Q Plot (Gráfico Cuantil-Cuantil) es una herramienta gráfica que permite observar el grado de discrepancia entre dos distribuciones. En el eje de abscisas de dibujan los cuantiles de la distribución normal, y en el eje de ordenadas los cuantiles de la distribución empírica. Si ambas distribuciones no fuera diferente significativamente, entonces el gráfico obtenido debería ser aproximadamente una recta de 45°. La diferencia entre ambas indicará el grado en que la recta se diferencia de la recta identidad.
2
La significancia es una medida estadística del riesgo. Específicamente, el nivel de significancia india la probabilidad de rechazar una hipótesis verdadera.
112
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
•
DE ANALISIS DE ALIMENTOS
El test de Shapiro Wilks es una formalización de este concepto. Al igual que el test de Kolmogorov-Smirnov, el no rechazo de la hipótesis nula implica la normalidad, por lo cual es deseable que el p-valor del test sea un número grande (superior al menos al 10%).
Gráfico : Q-Q Plot para una distribución Normal. Los datos deberían estar sobre la recta de 45º en caso de normalidad
113
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
ANEXO No 4 PROPUESTA PARA EL PROCESAMIENTO Y EVALUACIÓN DE LOS DATOS DE UN ENSAYO DE APTITUD CUANTITATIVO:
Los ensayos cuantitativos son por lo general aquellos en los cuales se evalúa la cuantificación de determinado analito o característica (Por ejemplo: Concentración de un residuo y por otro lado, características como porcentaje de grasas o humedad). El caso en que el parámetro de evaluación sea una distribución normal, se utilizará el parámetro Z-score, como se indica en la sección: INTERPRETACION DE LOS RESULTADOS DE UN ENSAYO DE APTITUD. El valor asignado puede calcularse a partir de un material de referencia certificado, o un material de referencia sin certificación (por ejemplo, muestras elaboradas por el proveedor). Otra posibilidad es que se tome un valor de consenso. (Una estimación del valor medo a partir de las determinaciones realizadas por los participantes). Para el cálculo del desvío puede tomarse el mismo criterio. Respecto de la incertidumbre del valor asignado, tome en cuenta que Cuando se informa un valor asignado, la misma no se corresponde con el “valor verdadero”, sino con una estimación del mismo. El margen de error esperado o incertidumbre de la medición del X , debe ser tomado en cuenta, e introducido como una fuente de variabilidad adicional a la reproducibilidad entre los participantes, (debe ser sumado al desvío) siempre que la variabilidad de la misma supere el 30% de la reproducibilidad. De esta manera, el desvío en un test de proficiencia se calculará como:
σ = σ r2 + u X2 en el caso en que u X > σ r .
σ = σ r2 en el caso en que u X < σ r .
114
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
La reproducibilidad se calcula como un valor target (impuesto por el organizador a partir de su experiencia con un criterio específico para el ensayo), o como el consenso de los participantes. Por su lado la incertidumbre proviene siempre del valor asignado. En el caso de materiales de referencia certificados, estos informan el valor y en el caso de un material de referencia del propio organizador, la misma coincidirá con la incertidumbre del laboratorio para la determinación.
Resumiendo para:
A) ENSAYOS DE APTITUD EN LOS CUALES SE CUENTA CON UN MATERIAL DE REFERENCIA CERTIFICADO (Se corresponde con el caso en que el valor de referencia es tomado a partir del valor informado por el fabricante) 1) Si la incertidumbre estándar del valor asignado no supera el 30% de la estimación de la reproducibilidad entre participantes, se utilizará el estadístico
Z=
x − X MRC σˆ
2) Si la incertidumbre estándar del valor asignado supera el 30% de la estimación de la reproducibilidad entre participantes, se utilizará el estadístico z´ :
z´=
x − X MRC u X + σˆ 2 2
En este caso se toma el valor de margen de error informado por el proveedor del material de referencia certificado como valor de incertidumbre. 115
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
B) ENSAYOS DE APTITUD EN LOS CUALES NO SE CUENTA CON UN MATERIAL DE REFERENCIA CERTIFICADO ADECUADO, PERO SE CUENTA CON MATERIAL DE REFERENCIA. (Se corresponde por lo general a casos en que el valor de referencia es tomado a partir de una serie de mediciones del laboratorio proveedor del ensayo)
1) Si la incertidumbre estándar del valor asignado no supera el 30% de la estimación de la reproducibilidad entre participantes, se utilizará el estadístico
Z=
x − X MR σˆ
2) Si la incertidumbre estándar del valor asignado supera el 30% de la estimación de la reproducibilidad entre participantes, se utilizará el estadístico z´
z´=
x − X MR u X + σˆ 2 2
En este caso se toma el desvío de las mediciones del laboratorio que prepara las muestras y/o que midió el valor asignado como incertidumbre. C) ENSAYOS DE APTITUD EN LOS CUALES NO SE CUENTA CON UN MATERIAL DE REFERENCIA ADECUADO (CON CERTIFICACIÓN O SIN ELLA)
z=
x−X σˆ
116
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
En el caso en que tanto el valor asignado y el desvío se calculen como valor proveniente del consenso entre participantes, no puede calcularse la incertidumbre. La norma ISO 17043 indica que este caso no se aplique a menos que la cantidad de laboratorios participantes sea superior a 9. El informe de resultados puede organizarlo en forma de una tabla, donde se muestren los resultados por laboratorio (según el código que usted asignó), e valor promedio de determinaciones, y el estadístico.
Tabla cuantitativo.
: Informe de resultados de un Ensayo de aptitud
Usualmente los valores de Z se grafican conjuntamente, con lo cual se da una idea del comportamiento general de los laboratorios. En el eje horizontal se indican los laboratorios, mientras que en el eje vertical, los resultados. Los resultados se ordenan de menos a mayor, según el valor Z.
117
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Cuadro: valores Z para todos los laboratorios participantes.
PROPUESTA PARA EL PROCESAMIENTO Y EVALUACIÓN DE LOS DATOS DE UN ENSAYO DE APTITUD CUALITATIVO:
La Guía ISO 17043 es muy poco específica en las recomendaciones que hace para la evaluación y organización de interlaboratorios cualitativos. Por esta razón, mostramos una propuesta a continuación donde se exponen lineamientos generales para la organización de un ensayo de aptitud cualitativo. Por lo general los ensayos cualitativos son ensayos de tipo Biológico (Elisa), aunque es de aclarar que no todo ensayo de este tipo puede resumirse en un resultado del tipo Presencia–Ausencia. En esos casos, usted debería elaborar otro indicador alternativo.
Para organizar un Laboratorio cuantitativo, el organizador envía un panel o lote de muestras positivas y negativas. Debe tener cuidado de incluir suficientes muestras con concentraciones bajas (de difícil detección). Denominemos: N = n1 + n 2 el número de muestras en el lote. En los análisis de tipo cualitativo interesa la clasificación que realice el laboratorio sobre las muestras, las cuales serán: presencia o ausencia del atributo a identificar. 118
GESTION DE ENSAYOS DE APTITUD EN EL MARCO DE LA RED INTERAMERICANA DE LABORATORIOS
DE ANALISIS DE ALIMENTOS
Las muestras dudosas, n1 son las que el laboratorio proveedor del ensayo considera de una dificultad superior en la clasificación. El resto de las muestras se consideran de dificultad moderada, y se corresponden con la cantidad n 2 .
Por lo general se asume que las muestras dudosas deben ser clasificadas correctamente en al menos el 95% de los casos y en las muestras de fácil clasificación en el 100% de los casos. Para lograr este objetivo, si se arman paneles e 20 muestras, se deben proveer n1 = 14 muestras de difícil detección y n 2 = 6 de fácil detección. Los estadísticos de desempeño son: Número de muestras de fácil detección correctamente clasificadas y Número de muestras de difícil detección correctamente clasificadas. Para el análisis de los resultados deberá seguirse la siguiente regla: Si Número de muestras de difícil detección coincidentes=13 ó 14 y Número de muestras de fácil detección coincidentes=6, el resultado es Satisfactorio. Si el Número de muestras de difícil detección coincidentes
