Características técnicas
Atualizado
Atualizado
A Habilmind foi constituída em 2009. Apesar de algumas das suas provas serem anteriores a esta fata, a maioria foi concebida na última década.
Como verás mais adiante, Habilmind conta com uma equipa de peritos especialistas na construção de provas. Estão adaptadas ao mundo educativo e têm um enfoque pedagógico centrado na análise dos fatores que influenciam a aprendizagem. O resultado tem sido:
Mais de 2 milhões de provas realizadas
3600 escolas utilizadoras
19 países
Dezenas de reconhecidos grupos escolares
Com tudo isto, acreditamos que estamos a incidir na melhoria da educação, ou pelo menos estamos a disponibilizar às escolas as ferramentas que, mediante a sua boa utilização, podem ajudar nesse esforço realizado por toda a comunidade educativa.
Adequámos as provas aos objetivos e funcionalidades da intervenção psicopedagógica nas escolas através de instrumentos objetivos, técnicos e rigorosos. A Habilmind agrega uma ampla variedade de provas que permitem obter informação dos principais fatores que influenciam o processo de ensino-aprendizagem.
As nossas provas, como ferramentas de inovação educativa, estão orientadas para o desenvolvimento integral dos alunos e da comunidade educativa, seguindo um modelo avaliativo psicopedagógico (a nível cognitivo, interpessoal e intrapessoal) com o objetivo de oferecer um ensino personalizado.
As provas Habilmind ajudam a determinar e ajustar as estratégias de intervenção. A seguir, descreve-se a sua utilidade e apresentam-se as suas principais características.
Utilidade das provas Habilmind
A Habilmind compreende a avaliação como parte inerente ao processo de ensino e aprendizagem. A avaliação é uma ferramenta e estratégia educativa que proporciona grandes vantagens, tais como:
O conhecimento do estudante a nível cognitivo, emocional e social, mediante provas criteriais e normativas.
O conhecimento do ambiente do estudante a nível familiar e escolar, mediante questionários e inquéritos.
A colaboração na definição dos objetivos de intervenção psicopedagógica, em termos operativos, mediante sugestões e possíveis estratégias de intervenção.
A colaboração no desenvolvimento do potencial de toda a comunidade educativa (alunos, professores, coordenadores, diretores e famílias).
Características das provas Habilmind
Fruto do trabalho colaborativo com diferentes peritos do âmbito da psicologia e da educação, a Habilmind disponibiliza às escolas uma bateria de provas com as seguintes características principais:
Provas válidas: provas cujos conceitos e estrutura estão estudados e descritos ao detalhe e validados mediante análises descritivas e estatísticas.
Provas fiáveis: possuem uma excelente fiabilidade obtida em amplas amostras. O uso alargado de ferramentas online permitiu que a sua utilização se estenda a diferentes países, obtendo amostras independentes.
Provas objetivas: a aplicação online assegura a igualdade de condições na administração, garantindo as mesmas normas e tempos para todos os sujeitos, o que permite alcançar a mínima interferência do avaliador e a maior objetividade. Além disso, favorece-se a objetividade através da correção e elaboração de relatórios automatizados, evitando ao máximo a possibilidade de erros em ambos os processos.
Provas baremadas: cada prova conta com os seus próprios baremos, dispondo, assim, de informação significativa para a correta interpretação dos resultados.
Economia: as provas Habilmind permitem reduzir a utilização de recursos materiais consumíveis, facilitando assim todo o processo de aplicação. Contribuem para a eficácia e aproveitamento do tempo e esforço dos recursos humanos. Além disso, muitos dos contratempos habituais da administração coletiva manual (papel e lápis) são eliminados. Os resultados obtêm-se de forma imediata.
A Habilmind dispõe de uma equipa humana de peritos, especializada em orientação educativa, psicologia, pedagogia e inovação, além de informáticos, programadores e designers gráficos. A nossa equipa, comprometida com a melhoria educativa, trabalha no desenvolvimento contínuo de serviços para oferecer soluções adaptadas às necessidades atuais do setor educativo.
A Habilmind conta com uma equipa de trabalho composta por psicólogos, com experiência tanto no âmbito da educação como no clínico, e informáticos.
A Habilmind conseguiu o apoio e a colaboração de importantes peritos e investigadores de diferentes áreas, vinculados a prestigiadas Universidades. Estes especialistas contribuíram no design, revisão e validação de diversos instrumentos:
Colaborador habitual da UNESCO e OCDE. Psicólogo e pedagogo educativo e clínico, investigador com mais de 40 anos de experiência na sala de aula e na aplicação das TIC na Educação. Assessor de equipas diretivas, professores e orientadores. Conferencista internacional. Prémio Nacional de Investigação e Inovação Educativa (2007).
Vice-reitor de Inovação e Desenvolvimento Educativo na UNIR, perito em Altas Capacidades. Galardoado em 2016 pela Mensa Research Foundation dos EUA com o International Lifetime Achievement Award.
Psicólogo e orientador educativo, destaca-se pela sua ampla experiência no âmbito da psicometria e do estudo da inteligência. Autor de BADyG, IGF, PROGRESINT.
Doutora em Ciências da Educação. Perita em Educação Emocional e membro do GROP da Universidade de Barcelona-Lleida. Assessora de escolas e conferencista internacional.
Licenciado em Psicologia e Mestre em Programas de Intervenção em Contextos Educativos pela Universidade Complutense de Madrid. Perito no desenvolvimento de provas e materiais de avaliação.
Doutora em Educação, perita em inovação educativa e competências docentes. Atualmente trabalha como docente na UNIR.
Licenciada em Psicologia pela Universidade de Salamanca. Diretora da ASPASI, especialista em direitos da infância e prevenção de abusos sexuais a menores.
Doutora em Ciências da Educação pela UCM. Membro da Associação Interuniversitária de Investigação Pedagógica (AIDIPE), da European Educational Research Association (EERA) e da Rede de Professores de Orientação (RIPO).
Doutora no Departamento de Investigação e Psicologia da Educação da Faculdade de Educação da UCM. Co-Diretora do Grupo de Investigação Consolidado Pedagogia Adaptativa.
Doutora em Ciências da Educação. Perita em formação em Inteligência Emocional com várias publicações sobre este tema referentes ao mundo da educação e da família. Professora de Ensino Secundário da Comunidade de Madrid durante 40 anos, na especialidade de Psicologia e Pedagogia.
Uma prova de referência criterial avalia um determinado desempenho ou conquista e interpreta as pontuações a nível individual, tomando como referência um padrão pré-definido e não a execução do grupo (Tejedor, 1992).
Na Habilmind, a inclusão de provas criteriais, além das normativas na nossa bateria de testes, permite dar resposta às necessidades educativas de alunos que, no seu futuro profissional, terão de competir em setores cada vez mais internacionais dentro de um mundo já globalizado. Isto torna necessário que existam nas avaliações provas criteriais complementares que forneçam informações valiosas para orientar a intervenção psicopedagógica.
No contexto educativo, a utilização de provas criteriais começou a tornar-se popular na década de setenta do século passado, quando conseguiram ganhar espaço dentro da teoria dos testes para avaliar os padrões de desempenho. O seu surgimento explica-se, por um lado, pelo contexto desfavorável que se tinha desenvolvido nos Estados Unidos sobre o uso dos testes, e por outro, pela necessidade de avaliar a eficácia dos programas educativos (Meneses, 2014).
Na Habilmind, seguimos linhas de investigação e parâmetros internacionais definidos pela OCDE (Organização para a Cooperação e Desenvolvimento Económico). Em muitas das nossas provas, aplicamos o modelo de avaliação por critérios, patente em provas de validade aceites a nível mundial, como:
PISA (Programme for International Student Assessment).
PIRLS (Progress in International Reading Literacy Study).
TIMSS (Trends in International Mathematics and Science Study).
Avaliamos em função do que um aluno deve saber fazer (competências) em determinado ano escolar, em contraposição às provas normalizadas que fornecem resultados sobre uma comparação do aluno com a população.
Se fizéssemos um metro de 90 centímetros ou de 70, em função do nível de exigência do sistema educativo de cada país, os resultados seriam talvez enganadores. O que se procura atualmente é proporcionar a todas as crianças um nível ótimo de educação ("classe mundial" é o conceito que se está a usar ultimamente para definir este aspeto).
Basear-nos em critérios internacionais, e não em medidas estatais ou nacionais, permite-nos ver o grau de desenvolvimento do avaliado sem condicionar ou limitar esses resultados às políticas educativas do país de origem, evitando assim uma visão reducionista. Assim, a utilização de baremos internacionais permite conhecer o desempenho de um aluno, que virá comparar-se ou competir com trabalhadores de qualquer nacionalidade.
Portanto, o que realmente muda é o nível de esforço necessário perante o desafio para cada país. Alguns países terão, naturalmente, de fazer um maior esforço para que os seus alunos alcancem níveis internacionais. No entanto, esta informação torna-se pouco visível quando o estudo é realizado apenas com base na comparação com uma amostra nacional (provas normativas).
Na Habilmind, as provas passaram pelos correspondentes controlos técnicos para controlar a sua qualidade. As ferramentas que integram as provas criteriais, assim como as normativas, cumprem as exigências e/ou revisão empírica que garantem a sua validade e fiabilidade através de um processo de validação. No próximo parágrafo, apresenta-se informação sobre as validações das provas Habilmind.
A validação é um processo que consiste em poder determinar a adequação de uma prova ou teste segundo as suas características, desenvolvida para um fim concreto. Desta forma, um instrumento de medida é válido na medida em que a revisão rigorosa legitima a interpretação das pontuações fornecidas pelo teste (Prieto e Delgado, 2010).
As provas Habilmind foram revistas e/ou validadas por parte de universidades de prestígio, como o grupo MIDE da Faculdade de Educação da UCM (Universidade Complutense de Madrid), Universidade de Lérida e a UNIR (Universidade Internacional de La Rioja).
O desenvolvimento e a validação de um teste requerem um tempo determinado que, em algumas ocasiões, pode levar vários anos. Estes estudos de validação respondem a critérios psicométricos definidos que devem estar ajustados às normas internacionais. A Habilmind propõe instrumentos rigorosos com revisões periódicas e atualizações.
Desde 2009, os testes Habilmind têm sido amplamente utilizados em mais de 15 países da América Latina e Espanha. A sua utilização alargada permitiu a existência de amostras representativas e de grande valor, dada a magnitude das mesmas. Para os estudos de validação, os nossos testes chegaram a alcançar amostras de até 24.000 sujeitos.
A Habilmind, por ser uma plataforma cujas avaliações são apresentadas em formato online, permite que os testes sejam permanentemente atualizados e revistos com maior periodicidade do que os testes em papel.
Os testes Habilmind apresentam os resultados, conforme as diferentes provas, utilizando diferentes tipos de pontuações: diretas, criteriais, referidas à norma… Posteriormente, a maioria dos relatórios que a Habilmind oferece apresenta uma interpretação das mesmas para uma melhor compreensão por parte dos diversos agentes da comunidade educativa.
As pontuações que os testes recolhem não têm significado por si mesmas, mas sim quando se comparam com algo, que pode ser um ponto de referência ao critério e/ou a uma norma (Valero, 2013).
A seguir, explicam-se os tipos de pontuações utilizadas nas provas, juntamente com alguns exemplos:
As pontuações diretas (PD) são o resultado direto e imediato obtido ao aplicar a correção automática de uma prova ou teste. Essas pontuações resultam quase sempre da soma dos pontos atribuídos às respostas corretas do sujeito num teste e, por vezes, têm em consideração o tempo de reação ao item.
Geralmente, a pontuação direta é apresentada com o intervalo de pontuações máximas e mínimas possíveis.
Exemplos de pontuações diretas
Figura 2. Relatório de resultados da prova de Autoestima-Autoconceito.
Figura 3. Relatório de resultados da prova de Rogers.
As estaninas são uma pontuação que coloca num intervalo de 1 a 9 pontos o nível alcançado pelo sujeito em relação a um indicador. As pontuações diretas obtidas na prova são convertidas em pontuações estaninas com base num baremo estabelecido.
Para facilitar a interpretação dos resultados, na Habilmind utiliza-se o sistema de identificação de cada grupo de estaninas com as cores do semáforo, conforme indicado na tabela, representando o vermelho as estaninas 1-3; amarelo as estaninas 4-6; e verde as estaninas 7-9. A seguir, apresentam-se os níveis e o significado de cada grupo de estaninas:
Tabela 1. Distribuição dos níveis de domínio através das pontuações em estaninas.
As estaninas 1-2-3 indicam um nível de domínio insuficiente em relação ao indicador avaliado.
As estaninas 4-5-6 manifestam um nível de domínio esperado para um determinado indicador.
As estaninas 7-8-9 assinalam um nível de domínio superior em relação ao indicador que se mede.
Figura 4. Relatório de resultados da prova de Estilos de Aprendizagem.
Para comparar o desempenho de um aluno em relação aos alunos da mesma idade e ano académico, utiliza-se uma medida estatística, o percentil (Pc). Este reflete a posição que o aluno ocupa num intervalo de 0 a 100, sendo o percentil 50 a média, onde se concentram a maioria dos alunos. A distribuição dos sujeitos avaliados descreve uma campânula de Gauss. Para analisar a dispersão dos dados, utiliza-se como medida o desvio padrão (σ), que indica em que medida o sujeito se aproxima ou se afasta em relação à média.
Figura 5. Campânula de Gauss (Fonte: Bolsia.com)
Exemplo de pontuações percentis
Figura 6. Relatório de resultados da prova Edint.
Para facilitar a compreensão dos resultados, na prova de Tendências Pessoais, as pontuações obtidas são transferidas para uma escala bipolar, como se pode ver na Figura 7 apresentada a seguir. Cada um dos indicadores avaliados é apresentado nos seus polos opostos, com uma numeração representada no intervalo de -4 a +4, sendo o 0 o ponto intermédio dessa polaridade.
Exemplo de pontuações apresentadas em escalas bipolares
Figura 7. Relatório de resultados da prova Tendências Pessoais.
Pontuações apresentadas por nível de desempenho ou rúbricas
Para a análise de competências, a Habilmind oferece um sistema avançado de avaliação através de rúbricas. Atualmente, as provas disponíveis foram elaboradas por destacados especialistas da UCM e da UNIR para a avaliação das diversas competências docentes.
As matrizes de avaliação ou “rúbricas” são tabelas de dupla entrada nas quais se definem critérios e níveis de desempenho em relação a uma tarefa, objetivo ou competência determinados. Uma das grandes vantagens deste tipo de avaliações é que se convertem, em si mesmas, num canal de retroalimentação, tanto sobre o nível de desempenho adquirido e o esperado, além de permitir a autoavaliação e coavaliação.
No exemplo que se apresenta a seguir, podem-se ver os resultados obtidos na avaliação através de rúbrica das competências digitais de um docente. Neste caso, os níveis de competências são apresentados em 7 subníveis de A0 a C2.
Exemplo de pontuações apresentadas por nível de desempenho
Figura 8. Relatório de resultados da prova Competências Digitais Docentes.
A baremagem, também conhecida como escalonamento de uma medida, é um elemento de grande relevância no processo de elaboração e uso de um instrumento de medida. A transformação de uma pontuação ajuda o utilizador a atribuir significado a um determinado valor de acordo com o comportamento de um conjunto de observações (Valero, 2013). Os testes permitem interpretar dados quantitativos e fornecer informações que, em si mesmos (pontuações diretas ou brutas), não dizem muito. Chegamos a conclusões quando as comparamos com um baremo de referência.
No caso das provas normativas, os baremos são configurados, comparando cada sujeito com os resultados obtidos por outros grupos do mesmo nível académico ou ano escolar, pertencentes à mesma zona geográfica. Desta forma, estabelece-se uma comparação entre o resultado do aluno e os resultados de uma população ou grupo específico ao qual pertence.
Exemplo de baremos de prova normativa
Figura 9. Acesso a baremos da prova EDINT.
No caso das provas criteriais, os baremos são configurados estabelecendo as pontuações esperadas para cada dimensão avaliada, para cada ano escolar, independentemente do país onde se encontre o aluno. Estes baremos podem ser complementados com as médias recolhidas para cada país em relação às dimensões avaliadas.
Exemplo de baremos de prova criterial
Figura 10. Exemplo de Baremos do Teste de Habilidades Fundamentais.
Embora existam algumas diferenças conforme as características das provas, na maior parte das provas que a plataforma Habilmind oferece, encontram-se três vistas de resultados com o objetivo de facilitar a análise e interpretação dos mesmos. Encontramos resultados detalhados, por frequências e 360º.
Dashboard de resultados
Nesta vista, o diretor, coordenador, orientador ou docente podem analisar os resultados de um grupo; ver os resultados máximos e mínimos obtidos por este. Além disso, os diretores, coordenadores e orientadores dispõem de uma opção para filtrar a informação por grupos ou anos.
Figura 11. Dashboard de resultados da prova de Estilos de Aprendizagem.
Figura 12. Funcionalidade agrupar/filtrar informação por grupos ou anos.
Analisa a informação individual do aluno*. A Habilmind oferece diferentes versões conforme o destinatário do relatório: orientador ou família.
(*) No caso dos relatórios criteriais, como é o caso da prova de Habilidades Fundamentais, adiciona-se uma apresentação de resultados comparativa do aluno com o seu grupo de referência (estudantes do mesmo ano que realizaram a prova no seu país).
Figura 13. Informação agregada do relatório individual da prova de Habilidades Fundamentais.
Analisa a informação de forma grupal, indicando a percentagem de alunos que possuem pontuações altas, médias e baixas.
Figura 14. Fragmento do relatório grupal da prova de Habilidades Fundamentais.
Tendo em conta as pontuações em estaninas, apresenta-se uma distribuição das frequências de alunos do grupo em função do seu nível de domínio em cada um dos indicadores avaliados.
Figura 15. Apresentação de resultados em frequências da prova de Habilidades Fundamentais.
Nesta vista, apresenta-se uma comparação dos resultados do grupo com o grupo de referência (estudantes do mesmo ano e nacionalidade).
Figura 16. Apresentação de resultados 360º da prova de Habilidades Fundamentais.
Fernández, R. (2004). Evaluación psicológica. Conceptos, métodos y estudios de casos. Editorial Pirámide.
Meneses, J.; Barrios, M.; Lozano, L.M.; Bonillo, A.; Turbany, J.; Cosculluela, A.; Valer, S. (2014). Psicometría. Editorial UOC.
Muñiz, J. (2003). Teoría clásica de los tests. Madrid: Pirámide.
Prieto, G., & Delgado, A. R. (2010). Fiabilidad y validez. Papeles del psicólogo, 31(1), 67-74.
Salvador, M.I. (2007). El Diagnóstico de los Aprendizajes Básicos y sus Deficiencias. Un Modelo Criterial. Universidad Autónoma de Madrid. Departamento de Didáctica y Teoría de la Educación. Tendencias Pedagógicas 12 pp 151-169.
Tejedor, F.J. (1992). Medición criterial vs. normativa. In Metodología educativa I (pp. 57-75). Servizo de Publicacións.
Valero, S. (2013). Transformación e interpretación de las puntuaciones. Psicometría, 201-224.
