En ocasiones, el contenido y calidad de un examen no se adecúa a los objetivos marcados para la prueba. Por eso, se pretende desarrollar una herramienta capaz de reconocer las respuestas de contenido más pobre, facilitando feedback al estudiante y/o al profesor. En este trabajo, se estudia la influencia del reconocimiento de palabras clave como método de evaluación semiautomático en relación a la calificación final de una respuesta. Para ello, se elaboran técnicas de segmentación, lematización y desambiguación del sentido de las palabras mediante un corpus seleccionado. Además de analizar palabras clave en la respuesta pre-procesada del alumno, se estudian sus sinónimos y antónimos recogidos en dos tesauros creados automáticamente. Los resultados obtenidos avalan el funcionamiento del método desarrollado pero indican una falta de relación entre la técnica de evaluación desarrollada y la real, evidenciando la falta de impacto de las palabras clave sobre la nota.