🔖Características técnicas

Habilmind foi constituída em 2009, no entanto, algumas das suas provas são anteriores, embora a maioria tenha sido concebida na última década.

Como verás mais adiante, Habilmind conta com uma equipa de peritos designers de provas. Estão adaptadas ao mundo educativo e têm um enfoque pedagógico centrado na análise dos fatores que influenciam a aprendizagem. O resultado tem sido:

• Mais de 2 milhões de provas realizadas

• 3600 escolas utilizadoras

• 19 países

• Dezenas de reconhecidos grupos escolares

Com tudo isto, acreditamos que estamos a incidir na melhoria da educação, ou pelo menos estamos a disponibilizar às escolas as ferramentas que, mediante a sua boa utilização, podem ajudar nesse esforço realizado por toda a comunidade educativa.

Adequámos as provas aos objetivos e funcionalidades da intervenção psicopedagógica nas escolas através de instrumentos objetivos, técnicos e rigorosos. Habilmind recolhe uma ampla variedade de provas que permitem obter informação dos principais fatores que influenciam o processo de ensino e aprendizagem.

Figura 1. diagrama explicativo da classificação das provas Habilmind.

As nossas provas, como ferramentas de inovação educativa, estão orientadas para o desenvolvimento integral dos alunos e da comunidade educativa, seguindo um modelo avaliativo psicopedagógico (a nível cognitivo, interpessoal e intrapessoal) com o objetivo de oferecer um ensino personalizado.

Provas Habilmind

As provas Habilmind ajudam a determinar e ajustar as estratégias de intervenção. A seguir, descreve-se a sua utilidade e apresentam-se as suas principais características.

Utilidade das provas Habilmind

Habilmind compreende a avaliação como parte inerente ao processo de ensino e aprendizagem. A avaliação é uma ferramenta e estratégia educativa que proporciona grandes vantagens, tais como:

• O conhecimento do estudante a nível cognitivo, emocional e social, mediante provas criteriais e normativas.

• O conhecimento do ambiente do estudante a nível familiar e escolar, mediante questionários e inquéritos.

• Ajuda a definir os objetivos de intervenção psicopedagógica em termos operativos mediante sugestões e possíveis estratégias de intervenção.

• Ajuda a desenvolver o potencial de toda a comunidade educativa (alunos, professores, coordenadores de ciclo, diretores e famílias).

Características das provas Habilmind

Fruto do trabalho colaborativo com diferentes peritos do âmbito da psicologia e da educação, Habilmind disponibiliza às escolas uma bateria de provas com as seguintes características principais:

• Provas válidas: provas cujos conceitos e estrutura estão estudados e descritos ao detalhe e validados mediante análises descritivas e estatísticas.

• Provas fiáveis: possuem uma excelente fiabilidade obtida em amplas amostras. O uso alargado de ferramentas online permitiu que a sua utilização se estenda a diferentes países, obtendo amostras independentes.

• Provas objetivas: a aplicação online assegura a igualdade de condições na administração, garantindo as mesmas normas e tempos para todos os sujeitos, o que permite alcançar a mínima interferência do avaliador e a maior objetividade. Além disso, favorece-se a objetividade através da correção e elaboração de relatórios automatizados, evitando ao máximo a possibilidade de erros em ambos os processos.

• Provas baremadas: cada prova conta com os seus próprios baremos, dispondo, assim, de informação significativa para a correta interpretação dos resultados.

• Economia: as provas Habilmind permitem reduzir a utilização de recursos materiais consumíveis, facilitando assim todo o processo de aplicação. Contribuem para a eficácia e aproveitamento do tempo e esforço dos recursos humanos. Além disso, muitos dos contratempos habituais da administração coletiva manual (papel e lápis) são eliminados. Os resultados obtêm-se de forma imediata.

Autores das provas Habilmind

Habilmind dispõe de uma equipa humana de peritos, especializada em orientação educativa, psicologia, pedagogia e inovação, além de informáticos, programadores e designers gráficos. A nossa equipa, comprometida com a melhoria educativa, trabalha no desenvolvimento contínuo de serviços para oferecer soluções adaptadas às necessidades atuais do setor educativo.

• Habilmind conta com uma equipa de trabalho composta por psicólogos com experiência tanto no âmbito da educação como no clínico, e informáticos.

• Habilmind conseguiu o apoio e a colaboração de importantes peritos e investigadores de diferentes áreas, vinculados a prestigiadas Universidades. Contribuíram no design, revisão e validação de diversos instrumentos:

⚡Isauro Blanco

Colaborador habitual da UNESCO e OCDE. Psicólogo e pedagogo educativo e clínico, investigador com mais de 40 anos de experiência na sala de aula e na aplicação das TIC na Educação. Assessor de equipas diretivas, professores e orientadores. Conferencista internacional. Prémio Nacional de Investigação e Inovação Educativa (2007).

⚡Javier Tourón

Vice-reitor de Inovação e Desenvolvimento Educativo na UNIR, perito em Altas Capacidades. Galardoado em 2016 pela Mensa Research Foundation dos EUA com o International Lifetime Achievement Award.

⚡Carlos Yuste

Psicólogo e orientador educativo, destaca-se pela sua ampla experiência no âmbito da psicometria e do estudo da inteligência. Autor de BADyG, IGF, PROGRESINT.

⚡Gemma Filella

Doutora em Ciências da Educação. Perita em Educação Emocional e membro do GROP da Universidade de Barcelona-Lleida. Assessora de escolas e conferencista internacional.

⚡David Yuste

Licenciado em Psicologia e Mestre em Programas de Intervenção em Contextos Educativos pela Universidade Complutense de Madrid. Perito no desenvolvimento de provas e materiais de avaliação.

⚡Déborah Martín

Doutora em Educação, perita em inovação educativa e competências docentes. Atualmente trabalha como docente na UNIR.

⚡Margarita García

Licenciada em Psicologia pela Universidade de Salamanca. Diretora da ASPASI, especialista em direitos da infância e prevenção de abusos sexuais a menores.

⚡Mercedes García

Doutora em Ciências da Educação pela UCM. Membro da Associação Interuniversitária de Investigação Pedagógica (AIDIPE), da European Educational Research Association (EERA) e da Rede de Professores de Orientação (RIPO).

⚡Chantal Biencinto

Doutora no Departamento de Investigação e Psicologia da Educação da Faculdade de Educação da UCM. Co-Diretora do Grupo de Investigação Consolidado Pedagogia Adaptativa.

⚡Mª José Gallego

Doutora em Ciências da Educação. Perita em formação em Inteligência Emocional com várias publicações sobre este tema referentes ao mundo da educação e da família. Professora de Ensino Secundário da Comunidade de Madrid durante 40 anos, na especialidade de Psicologia e Pedagogia.

Avaliação criterial no contexto educativo

Uma prova de referência criterial avalia um desempenho ou conquista determinado e interpreta as pontuações a nível individual tomando como referência um padrão pré-definido e não a execução do grupo (Tejedor, 1992).

Na Habilmind, a inclusão de provas criteriais, além das normativas na nossa bateria de testes, permite dar resposta às necessidades educativas de alunos que, no seu futuro profissional, terão de competir em setores cada vez mais internacionais dentro de um mundo já globalizado. Isto torna necessário que existam nas avaliações provas criteriais complementares que forneçam informações valiosas para orientar a intervenção psicopedagógica.

Porque são úteis as provas criteriais no contexto educativo?

No contexto educativo, a utilização de provas criteriais começou a tornar-se popular na década de setenta do século passado, quando conseguiram ganhar espaço dentro da teoria dos testes para avaliar os padrões de desempenho. O seu surgimento explica-se, por um lado, pelo contexto desfavorável que se tinha desenvolvido nos Estados Unidos sobre o uso dos testes, e por outro, pela necessidade de avaliar a eficácia dos programas educativos (Meneses, 2014).

Na Habilmind, seguimos linhas de investigação e parâmetros internacionais definidos pela OCDE (Organização para a Cooperação e Desenvolvimento Económico). Em muitas das nossas provas, empregamos o modelo de avaliação por critérios, tal como as provas de validade aceites a nível mundial, como:

• PISA (Programme for International Student Assessment).

• PIRLS (Progress in International Reading Literacy Study).

• TIMSS (Trends in International Mathematics and Science Study).

Avaliamos em função do que um aluno deve saber fazer (competências) em determinado ano escolar, em contraposição às provas normalizadas que fornecem resultados sobre uma comparação do aluno com a população.

Se fizéssemos um metro de 90 centímetros ou de 70, em função do nível de exigência do sistema educativo de cada país, os resultados seriam talvez enganadores. O que se procura atualmente é proporcionar a todas as crianças um nível ótimo de educação ("classe mundial" é o conceito que se está a usar ultimamente para definir este aspeto).

Basear-nos em critérios internacionais, e não em medidas estatais ou nacionais, permite-nos ver o grau de desenvolvimento do avaliado sem condicionar ou limitar esses resultados às políticas educativas do país de origem, evitando assim uma visão reducionista. Utilizar baremos internacionais permite conhecer o desempenho de um aluno que deverá deslocar-se ou competir com trabalhadores de qualquer nacionalidade.

Portanto, o que realmente muda é o nível de esforço necessário perante o desafio para cada país. Logicamente, alguns países terão de fazer um maior esforço para que os seus alunos alcancem níveis internacionais, no entanto, esta informação torna-se pouco visível quando o estudo é realizado apenas mediante a comparação com uma amostra nacional (provas normativas).

São válidas, têm controlos técnicos?

Na Habilmind, as provas passaram pelos correspondentes controlos técnicos para controlar a qualidade das provas. As ferramentas que integram as provas criteriais, assim como as normativas, cumprem as exigências e/ou revisão empírica que garantem a sua validade e fiabilidade através de um processo de validação. No próximo parágrafo, apresenta-se informação sobre as validações das provas Habilmind.

Validações das provas Habilmind

A validação é um processo que consiste em poder determinar a adequação de uma prova ou teste segundo as suas características, desenvolvida para um fim concreto. Desta forma, um instrumento de medida é válido na medida em que a revisão rigorosa legitima a interpretação das pontuações fornecidas pelo teste (Prieto e Delgado, 2010).

As provas HM foram revistas e/ou validadas por parte de universidades de prestígio, como o grupo MIDE da Faculdade de Educação da UCM (Universidade Complutense de Madrid), Universidade de Lérida e a UNIR (Universidade Internacional de La Rioja).

Tests validados científicamente

O desenvolvimento e a validação de um teste requerem um tempo determinado que, em algumas ocasiões, pode levar vários anos. Estes estudos de validação respondem a critérios psicométricos definidos que devem estar ajustados às normas internacionais. A Habilmind propõe instrumentos rigorosos com revisões periódicas e atualizações.

Desde 2009, os testes Habilmind têm sido amplamente utilizados em mais de 15 países da América Latina e Espanha. O seu uso alargado permitiu a disposição de amostras representativas e de grande valor dada a magnitude das mesmas. Para os estudos de validação, os nossos testes chegaram a alcançar amostras de até 24.000 sujeitos.

A Habilmind, por ser uma plataforma cujos testes são apresentados em formato online, permite que os testes estejam permanentemente atualizados e sejam revistos com maior periodicidade do que os testes em papel.

Pontuações nos testes Habilmind

Os testes Habilmind apresentam os resultados, conforme as diferentes provas, utilizando diferentes tipos de pontuações: diretas, criteriais, referidas à norma… Posteriormente, a maioria dos relatórios que a Habilmind oferece apresenta uma interpretação das mesmas para uma melhor compreensão por parte dos diversos agentes da comunidade educativa.

As pontuações que os testes recolhem não têm significado por si mesmas, mas sim quando se comparam com algo, que pode ser um ponto de referência ao critério e/ou a uma norma (Valero, 2013).

A seguir, explicam-se os tipos de pontuações utilizadas nas provas, juntamente com alguns exemplos:

Pontuações diretas

As pontuações diretas (PD) são o resultado direto e imediato obtido ao aplicar a correção automática de uma prova ou teste. Essas pontuações resultam quase sempre da soma dos pontos atribuídos às respostas corretas do sujeito num teste e, por vezes, têm em consideração o tempo de reação ao item.

Geralmente, a pontuação direta é apresentada com o intervalo de pontuações máximas e mínimas possíveis.

Exemplos de pontuações diretas

Figura 2. Relatório de resultados da prova de Autoestima-Autoconceito.

Figura 3. Relatório de resultados da prova de Rogers.

Pontuações criteriais: utilização de estaninas

As estaninas são uma pontuação que coloca num intervalo de 1 a 9 pontos o nível alcançado pelo sujeito em relação a um indicador. As pontuações diretas obtidas na prova são convertidas em pontuações estaninas com base num baremo estabelecido.

Para facilitar a interpretação dos resultados, na Habilmind utiliza-se o sistema de identificação de cada grupo de estaninas com as cores do semáforo, conforme indicado na tabela, representando o vermelho as estaninas 1-3; amarelo as estaninas 4-6; e verde as estaninas 7-9. A seguir, apresentam-se os níveis e o significado de cada grupo de estaninas:

Tabela 1. Distribuição dos níveis de domínio através das pontuações em estaninas.
As estaninas 1-2-3 indicam um nível de domínio insuficiente em relação ao indicador avaliado.
As estaninas 4-5-6 manifestam um nível de domínio esperado para um determinado indicador.
As estaninas 7-8-9 assinalam um nível de domínio superior em relação ao indicador que se mede.

Exemplos de pontuações estaninas:

Figura 4. Relatório de resultados da prova de Estilos de Aprendizagem.

Pontuações referidas à norma: percentis

Para comparar o desempenho de um aluno em relação aos alunos da mesma idade e ano académico, utiliza-se uma medida estatística, o percentil (Pc). Este reflete a posição que o aluno ocupa num intervalo de 0 a 100, sendo o percentil 50 a média, onde se concentram a maioria dos alunos. A distribuição dos sujeitos avaliados descreve uma campânula de Gauss. Para analisar a dispersão dos dados, utiliza-se como medida o desvio padrão (σ), que indica em que medida o sujeito se aproxima ou se afasta em relação à média.

Figura 5. Campânula de Gauss (Fonte: Bolsia.com)

Exemplo de pontuações percentis

Figura 6. Relatório de resultados da prova Edint.

Pontuações apresentadas em escalas bipolares

Para facilitar a compreensão dos resultados, na prova de Tendências Pessoais, as pontuações obtidas são transferidas para uma escala bipolar, como se pode ver na Figura 7 apresentada a seguir. Cada um dos indicadores avaliados é apresentado nos seus polos opostos, com uma numeração representada no intervalo de -4 a +4, sendo o 0 o ponto intermédio dessa polaridade.

Exemplo de pontuações apresentadas em escalas bipolares

Figura 7. Relatório de resultados da prova Tendências Pessoais.

Pontuações apresentadas por nível de desempenho ou rúbricas

Para a análise de competências, a Habilmind oferece um sistema avançado de avaliação através de rúbricas. Atualmente, as provas disponíveis foram elaboradas por destacados especialistas da UCM e da UNIR para a avaliação das diversas competências docentes.

As matrizes de avaliação ou “rúbricas” são tabelas de dupla entrada nas quais se definem critérios e níveis de desempenho em relação a uma tarefa, objetivo ou competência determinados. Uma das grandes vantagens deste tipo de avaliações é que se convertem, em si mesmas, num canal de retroalimentação, tanto sobre o nível de desempenho adquirido e o esperado, além de permitir a autoavaliação e coavaliação.

No exemplo que se apresenta a seguir, podem-se ver os resultados obtidos na avaliação através de rúbrica das competências digitais de um docente. Neste caso, os níveis de competências são apresentados em 7 subníveis de A0 a C2.

Exemplo de pontuações apresentadas por nível de desempenho

Figura 8. Relatório de resultados da prova Competências Digitais Docentes.

Baremos

A baremagem, também conhecida como escalonamento de uma medida, é um elemento de grande relevância no processo de elaboração e uso de um instrumento de medida. A transformação de uma pontuação ajuda o utilizador a atribuir significado a um determinado valor de acordo com o comportamento de um conjunto de observações (Valero, 2013). Os testes permitem interpretar dados quantitativos e fornecer informações que, em si mesmos (pontuações diretas ou brutas), não dizem muito. Chegamos a conclusões quando as comparamos com um baremo de referência.

Baremos de provas normativas

No caso das provas normativas, os baremos são configurados comparando cada sujeito com os resultados obtidos por outros grupos do mesmo nível académico ou ano escolar pertencentes à mesma zona geográfica. Desta forma, estabelece-se uma comparação entre o resultado do aluno e os resultados de uma população ou grupo específico ao qual pertence.

Exemplo de baremos de prova normativa

Figura 9. Acesso a baremos da prova EDINT.

Baremos de provas criteriais

No caso das provas criteriais, os baremos são configurados estabelecendo as pontuações esperadas para cada dimensão avaliada, para cada ano escolar, independentemente do país onde se encontre o aluno. Estes baremos podem ser complementados com as médias recolhidas para cada país em relação às dimensões avaliadas.

Exemplo de baremos de prova criterial

Figura 10. Exemplo de Baremos do Teste de Habilidades Fundamentais.

Apresentação de resultados

Embora existam algumas diferenças conforme as características das provas, na maior parte das provas que a plataforma Habilmind oferece, encontram-se três vistas de resultados com o objetivo de facilitar a análise e interpretação dos mesmos. Encontramos resultados detalhados, por frequências e 360º.

Apresentação de resultados detalhados

Dashboard de resultados

Nesta vista, o diretor, coordenador, orientador ou docente podem analisar os resultados de um grupo; ver os resultados máximos e mínimos obtidos por este. Além disso, os diretores, coordenadores e orientadores dispõem de uma opção para filtrar a informação por grupos ou anos.

Figura 11. Dashboard de resultados da prova de Estilos de Aprendizagem.

Figura 12. Funcionalidade agrupar/filtrar informação por grupos ou anos.

Relatório de resultados individual do aluno

Analisa a informação individual do aluno*. A Habilmind oferece diferentes versões conforme o destinatário do relatório: orientador ou família.

(*) No caso dos relatórios criteriais, como é o caso da prova de Habilidades Fundamentais, adiciona-se uma apresentação de resultados comparativa do aluno com o seu grupo de referência (estudantes do mesmo ano que realizaram a prova no seu país).

Figura 13. Informação agregada do relatório individual da prova de Habilidades Fundamentais.

Relatório grupal para docentes

Analisa a informação de forma grupal, indicando a percentagem de alunos que possuem pontuações altas, médias e baixas.

Figura 14. Fragmento do relatório grupal da prova de Habilidades Fundamentais.

Apresentação de resultados por frequências

Tendo em conta as pontuações em estaninas, apresenta-se uma distribuição das frequências de alunos do grupo em função do seu nível de domínio em cada um dos indicadores avaliados.

Figura 15. Apresentação de resultados em frequências da prova de Habilidades Fundamentais.

Apresentação de resultados 360º

Nesta vista, apresenta-se uma comparação dos resultados do grupo com o grupo de referência (estudantes do mesmo ano e nacionalidade).

Figura 16. Apresentação de resultados 360º da prova de Habilidades Fundamentais.

Bibliografia e referências

Fernández, R. (2004). Avaliação psicológica. Conceitos, métodos e estudos de casos. Editorial Pirámide.

Meneses, J.; Barrios, M.; Lozano, L. M.; Bonillo, A.; Turbany, J.; Cosculluela, A.; Valer, S. (2014). Psicometria. Editorial UOC.

Muñiz, J. (2003). Teoria clássica dos testes. Madrid: Pirámide.

Prieto, G., & Delgado, A. R. (2010). Fiabilidade e validade. Papeles del psicólogo, 31(1), 67-74.

Salvador, M. I. (2007). O Diagnóstico das Aprendizagens Básicas e suas Deficiências. Um Modelo Criterial. Universidade Autónoma de Madrid. Departamento de Didática e Teoria da Educação. Tendências Pedagógicas, 12, 151-169.

Tejedor, F. J. (1992). Medição criterial vs. normativa. In Metodologia educativa I (pp. 57-75). Servizo de Publicacións.

Valero, S. (2013). Transformação e interpretação das pontuações. Psicometria, 201-224.