Este artículo muestra que cuando los índices de fiabilidad de un cuestionario de evaluación docente en la universidad se descomponen y se separan los componentes personales del alumno y los componentes contextuales se produce una considerable reducción de la fiabilidad. Los resultados sugieren la necesidad de considerar otras alternativas metodológicas respecto de la fiabilidad calculada por los métodos tradicionales, e interpretar los resultados obtenidos de las encuestas con cautela, especialmente si van a ser utilizadas por los responsables académicos con fines sumativos.