Cuando se habla de si las puntuaciones de un test son más o menos fiables se hace referencia a la cantidad de error de medida presente en las mismas, es decir, si las puntuaciones son más o menos precisas. En los Standards for Educational and Psychological Testing de 2014 definen la validez como «el grado en el que la evidencia y la teoría respaldan la interpretación de las puntuaciones de un test en función del uso propuesto para dicho cuestionario«. Por ejemplo, un metro puede ser un instrumento muy preciso (fiabilidad) pero si el atributo que queremos medir es la temperatura diríamos que no es válido para ello. Por este motivo, tanto la fiabilidad como la validez de las puntuaciones son los dos aspectos más importantes a tener en cuenta a la hora de valorar un cuestionario.
Actualmente, la validez no se contempla como una propiedad que un cuestionario puede o no tener, sino que un instrumento puede acumular diferentes tipos de evidencias de validez en función de la fuente. Las más habituales, aunque no las únicas, son las evidencias de validez en base a la estructura interna del test y las evidencias de validez en base a la relación con otras variables.
La validez en base a la estructura interna haría referencia a si los ítems y escalas de un test guardan entre sí las relaciones que serían esperables en base a la teoría. La validez en base a la relación con otras variables consiste en si las puntuaciones del test guardan una alta relación con variables similares (validez convergente) o una baja relación con variables diferentes (validez discriminante). Para este segundo tipo de validez también se pueden obtener evidencias cuando, tras realizar un estudio, se concluye que las puntuaciones de un test sirven para predecir variables de interés como, por ejemplo, el rendimiento laboral (validez de criterio).
