The Emergency Medicine Milestones: A Validation Study
Abstract
enObjectives
The Accreditation Council for Graduate Medical Education (ACGME) and the American Board of Medical Specialties sought to define milestones for skill and knowledge acquisition during residency training. Milestones are significant objective observable events. The milestones are listed within a structure that is derived from the ACGME general competencies. Major groups of milestones are called “subcompetencies.” The original 24 subcompetencies containing 255 milestones for emergency medicine (EM) were developed through a multiorganizational group representing most EM stakeholder groups. To assure that the milestones reflected EM resident progress throughout training, the EM Milestones Working Group (EM MWG) sought to validate the individual milestones.
Methods
A computer-based survey was sent to all EM residency programs. The survey period began on April 30, 2012, and concluded on May 15, 2012. Respondents were asked to assign each milestone to a specific level of skill or knowledge acquisition. These levels ranged from a beginning resident to an accomplished clinician. There were two different forms that divided the milestones into two groups of 12 subcompetencies each. Surveys were randomly assigned to programs.
Results
There were five respondents (the program director and four key faculty) requested from each of the 159 residences. There were responses from 96 programs (60.4%). Of the 795 survey recipients, 28 were excluded due to prior exposure to the EM milestones. Of the remaining 767 potential respondents, 281 completed the survey (36.6%) within a 16-day period. Based on the survey results, the working group adjusted the milestones in the following ways: one entire subcompetency (teaching) was eliminated, six new milestones were created, 34 milestones were eliminated, 26 milestones were reassigned to a lower level score, and 20 were reassigned to a higher level. Nineteen milestones were edited to provide greater clarity. The final result was 227 discrete milestones among 23 subcompetencies.
Conclusions
The EM milestones were validated through a milestone assignment process using a computer-based survey completed by program directors and key faculty. Milestones were revised in accordance with the results to better align assignment within each performance level.
Resumen
esLos Objetivos por Áreas de la Medicina de Urgencias y Emergencias: Un Estudio de Validación
Objetivos
El Accreditation Council for Graduate Medical Education (ACGME) y la American Board of Medical Specialties buscaron definir los objetivos por áreas para la adquisición de las habilidades y el conocimiento durante la formación de la residencia. Los objetivos por áreas son hechos observables objetivos y significativos. Los objetivos por áreas se enumeran en una estructura que se deriva de las competencias generales del ACGME. Los grupos mayores de los objetivos por áreas se denominan subcompetencias. Las 24 subcompetencias originales que contienen 255 objetivos por áreas para la medicina de urgencias y emergencias (MUE) se desarrollaron a través de un grupo de varias organizaciones que representan a la mayoría de los grupos interesados en la MUE. Para asegurar que los objetivos por áreas reflejaron el progreso del residente de MUE mediante la formación, el grupo de trabajo de los objetivos por áreas de la MUE buscó validar individualmente estos objetivos.
Metodología
Se envió una encuesta electrónica a todos los programas de residencia de MUE. El periodo de la encuesta comenzó el 30 de abril de 2012 y concluyó el 15 de mayo de 2012. Se solicitó a los respondedores que asignaran a cada uno de los objetivos por áreas un nivel específico de adquisición de habilidades o conocimiento. Estos niveles variaron desde el residente a su inicio hasta un clínico consumado. Hubo dos formularios diferentes que dividieron los objetivos por áreas en dos grupos de 12 subcompetencias cada uno. Las encuestas se asignaron de forma aleatoria a los programas.
Resultados
Se seleccionaron cinco respondedores (el director de programa y cuatro profesores representativos de la facultad) para cada una de los 159 programas de residencia. Hubo respuestas de 96 programas (60,4%). De las 795 encuestas recibidas, 28 se excluyeron debido a la experiencia previa en los objetivos por áreas de la MUE. De los restantes, 767 respondedores potenciales, 281 completaron la encuesta (36,6%) en un periodo de 16 días. En base a los resultados de la encuesta, el grupo de trabajo ajustó los objetivos por áreas de la siguiente manera: se eliminó una subcompetencia íntegra (enseñanza), se crearon 6 nuevos objetivos por áreas, se eliminaron 34 objetivos por áreas, se reasignaron 26 objetivos por áreas a un nivel menor y 20 a un nivel mayor. Se corrigieron 19 objetivos por áreas para proporcionar una mayor claridad. El resultado final fueron 227 objetivos por áreas distintos en 23 subcompetencias.
Conclusiones
Los objetivos por áreas de la MUE se validaron a través de un proceso de asignación de objetivos por áreas mediante una encuesta electrónica completada por los directores de los programas y profesores representativos de la facultad. Los objetivos por áreas se revisaron de acuerdo a los resultados para una mejor alineación de las asignaciones en cada nivel de realización.
