à procura do devido lugar das avaliações dos estudantes

Hoje enviaram-me um link, e fui ler os artigos.
Interessante:um pouco do que já sabíamos, que as avaliações dos professores feitas pelos estudantes são tendenciosas e  enviesadas. Como todas as avaliações, no geral.
Por isso, as respostas aos inquéritos aos estudantes devem ter um lugar próprio, respeitando as suas perceções mas não devem servir para ajuizar sobre a efetividade do ensino ou o valor do curso. Com o peso das evidências, em vários estudos, façam-se convergir outras metodologias de avaliação e melhoria contínua, que não apenas os inquéritos…
The truth will set you free, but rst it will piss you of.
Gloria Steinem
Abstract
Student evaluations of teaching (SET) are widely used in academic personnel decisions as a measure of teaching eectiveness. We show:
– SET are biased against female instructors by an amount that is large and statistically signicant
– the bias aects how students rate even putatively objective aspects of teaching, such as how promptly assignments are graded
– the bias varies by discipline and by student gender, among other things
– it is not possible to adjust for the bias, because it depends on so many factors
– SET are more sensitive to students’ gender bias and grade expectations than they are to teaching effectiveness
– gender biases can be large enough to cause more eective instructors to get lower SET than less effective instructors.
These findings are based on nonparametric statistical tests applied to two datasets: 23,001 SET of 379 instructors by 4,423 students in six mandatory firrst-year courses in a ve-year natural experiment at a French university, and
43 SET for four sections of an online course in a randomized, controlled, blind experiment at a US university.
…….
Conclusion
In two very dierent universities and in a broad range of course topics, SET measure students’ gender biases better than they measure the instructor’s teaching effectiveness. Overall, SET disadvantage female instructors. There is no evidence that this is the exception rather than the rule. Hence, the onus should be on universities that rely on SET for employment decisions to provide convincing aaffirmative evidence that such reliance does not have disparate impact on women, under-represented minorities, or other protected groups. Because the bias varies by course and institution, affirmative evidence needs to be specic to a given course in a given department in a given university. Absent such specic evidence, SET should not be used for personnel decisions.
Jan 2016

Students Praise Male Professors

Study finds gender of instructors influences evaluations they receive, even if they have fooled students (in an online course) about whether they are men or women.

 December 10, 2014
 College students’ assessments of their instructors’ teaching ability is linked to whether they think those instructors are male or female, according to new research from North Carolina State University.

In the study, students in an online course gave better evaluations to the instructors they thought were male, even though the two instructors – one male and one female – had switched their identities. The research is based on a small pilot study of one class. (….) With just 43 subjects, this study was a pilot; the authors plan to expand their research with more classes and different types of courses. Still, higher education administrators should be aware of the findings when using evaluations to make faculty decisions, since evaluations could reflect a gender bias rather than an actual difference in teaching abilities, MacNell said. 

 

Philip B. Stark – Richard Freishtat

Recap
● SET does not measure teaching effectiveness.
● Controlled, randomized experiments find that SET ratings are negatively associated with direct measures of effectiveness. SET seem to be influenced by the gender, ethnicity, and attractiveness of the instructor.
● Summary items such as “overall effectiveness” seem most influenced by irrelevant factors.
● Student comments contain valuable information about students’ experiences.
● Survey response rates matter. Low response rates make it impossible to generalize reliably from the respondents to the whole class.
● It is practical and valuable to have faculty observe each other’s classes.
● It is practical and valuable to create and review teaching portfolios.
● Teaching is unlikely to improve without serious, regular attention.
Recommendat
1. Drop omnibus items about “overall teaching effectiveness” and “value of the course” from teaching evaluations: They are misleading.
2. Do not average or compare averages of SET scores: Such averages do not make sense statistically. Instead, report the distribution of scores, the number of responders, and the response rate.
3. When response rates are low, extrapolating from responders to the whole class is unreliable.
4. Pay attention to student comments — but understand their limitations. Students typically are not well situated to evaluate pedagogy.
5. Avoid comparing teaching in courses of different types, levels, sizes, functions, or disciplines.
6.Use teaching portfolios as part of the review process.
7. Use classroom observation as part of milestone reviews.
8. To improve teaching and evaluate teaching fairly and honestly, spend more time observing the teaching and looking at teaching materials.

em torno de indicadores e avaliação

Euro Observer – The Health Policy Bulletin of the European Observatory on Health Systems and Policies

Spring 2008 – Volume 10, Number 1

Principles of performance measurement

“Information plays a central role in the ability of a health system to deliver effective health care and secure population health. It is used for a variety of different purposes in health care: to secure accountability within the system, to determine appropriate treatments for patients, to facilitate patient choice and/or for managerial control. Information also plays an important broader role in assuring governance of the health system. Early efforts at health system performance measurement can be dated as far back as 250 years ago.
Later, in the 1800s and early twentieth century, Florence Nightingale and Ernest Codman advocated using systematically collected data to inform and improve performance. Yet, because of insuperable professional,
practical, and political barriers performance policies were never generally applied.
It is only in the past few decades that sustained developments in health system performance measurement and assessment have emerged. On the demand side, citizens require increasing accountability from health
care professions and institutions and want to make more informed choices as patients. On the supply side, advances in information technology have made it much cheaper and easier to collect and process data.
However, despite the increasing use of performance measurement tools in developed health systems, questions still remain about the best way to collect, disseminate and use performance data efficiently. This issue of Euro Observer will explore some of the issues more closely through case studies on composite
indicators in performance measurement, attribution and causality, and the use of performance measurement in long term care and cardiac surgery. Here, we provide a brief overview of the principles of performance
measurement, highlighting some of the main policy implications.
Defining and measuring performance Performance measurement evaluates the extent to which a health system meets its key objectives. These objectives reflect different historical trajectories, political, financial and organizational priorities and the power of interest groups and stakeholders. The World Health Report 2000 defined three intrinsic goals of health systems – improving health, increasing responsiveness to the legitimate demands of the population, and ensuring that financial burdens are distributed fairly.
Generally, ‘health’ is taken to represent both health outcomes from health care and improvements in general health status. ‘Responsiveness’ captures dimensions not directly related to health outcomes, such as
dignity, communication, autonomy, prompt service, access to social support during care, quality of basic services and choice of provider. Improvements in responsiveness depend on a health system’s ability to deliver these dimensions more effectively.”

continuar a ler

Artigos:

Principles of performance measurement

Long term care quality monitoring using the interRAI Common Clinical Assessment Language

Public reporting of performance in the USA: The New York State CSRS

Using composite indicators to measure performance in health care

Attribution and causality bias in health care performance measurement

(imagem aqui)

benchmarking: de novo, às voltas com…

 Benchmarking e Enfermagem não é um tema novo…

Ouvi falar de Benchmarking ainda associado à gestão e ao planeamento estratégico, há uns anos (largos) atrás, em contexto hospitalar. Enquanto processo sistemático de comparação (de produtos, de serviços, de práticas) entre departamentos considerados líderes nas suas áreas.Procura-se o melhor – aliás, conseguir o melhor entre os melhores e forma(s) de oferecer elevada qualidade ao mais baixo custo possível (o que é racional e razoável).Utiliza-se um processo contínuo (e aqui, o primeiro requisito), numa investigação que fornece informações e que é simultaneamente um processo de aprendizagem e uma ferramenta. Requer disciplina e organização, até porque é demorado, tem controle em todas das etapas, desde o planeamento à implementação com elevado senso de competitividade.

Benchmarking pode ser assumido tanto como instrumento como escola: analisar, aprender e adaptar para ser competitivo. Notaria ainda que se trata de um compromisso para a melhoria contínua da qualidade, baseado na reciprocidade, pois os envolvidos partilham e beneficiam dessa partilha de informação.

Vale a pena ler

o texto de JVC, em relação ao ensino clínico e  enfermagem (QAA, UK).

ele aí está…

Garantia de Qualidade do Ensino Superior em Portugal:
Avaliação e recomendações para um futuro sistema

Sessão de apresentação pública do processo de avaliação conduzido pela ENQA – Associação Europeia para a Garantia de Qualidade no Ensino Superior – para o Ministério da Ciência, Tecnologia e Ensino Superior

Centro Cultural de Belém, Lisboa
Sala Sophia de Mello Breyner
22 de Novembro de 2006
11.00 às 13.00 horas

avaliar faz falta …

Gostei do título
Ensino superior avaliado pelo acesso ao emprego

Do artigo inteiro e do despacho retiram-se 3 formas de aferir a
(1) A OCDE fica incumbida de “avaliar o desempenho sistémico” do ensino superior e de aconselhar “estratégias de racionalização para todo o sistema”. Trata-se de avaliar de que forma o ensino superior em Portugal contribui para “a satisfação das necessidades sociais e económicas do País e da Europa”.
(2) a Rede Europeia para a Garantia da Qualidade no Ensino Superior avaliará o trabalho realizado pelo Conselho Nacional de Avaliação do Ensino Superior na última década e as práticas de acreditação profissional disponíveis – e fará recomendações para a instituição de uma agência nacional de certificação.
(3) Paralelo, o programa complementar de avaliação internacional das universidades e politécnicos portugueses, cuja submissão será voluntária (aos programas de avaliação da Associação das Universidades Europeias).

Dois «senões»:
– o apoio financeiro advirá de concurso público anual de atribuição de fundos
– do painel de avaliadores regulares fazem parte peritos portugueses – como Alberto Amaral e Sérgio Machado dos Santos -, mas o despacho governamental especifica que os especialistas que irão participar devem ser provenientes de sistemas não europeus, tais como os Estados Unidos e o Canadá.

Porque é que são eventualmente «senões»?
A avaliação global e institucional custa dinheiro – e os custos não podem constituir óbice ao processo.
Avaliar supõe comparar em contexto – um olhar americano precisará de ajustar-se, designadamente às diferentes realidades do exercício profissional entre nós e ao percurso histórico e social das profissões. (claro que estou a pensar na enfermagem).

Um objectivo que também está inscrito no que diz respeito à análise global do sistema, que terá de perceber se está concretizada a estratégia de promover um sistema de ensino superior diversificado “capaz de atrair e integrar públicos heteregéneos, designadamente adultos profissionalmente activos”.

Julgo que o Ensino Superior tem de antecipar e responder às necessidades sociais e do mercado, a todos os níveis (pré e pós graduado, incluindo a aprendizagem ao longo da vida). O antecipar deveria estar sublinhado…
Além de que aos estudantes e formandos deveriam caber papéis mais activos e verdadeiramente participativos.

conversamos?!…

Vindo de outro blog: a Avaliação


Uma da temáticas que, naturalmente, me preocupa (pré-ocupa) e surge como fundamental, nomeadamente à luz do processo ensino-aprendizagem e da aquisição e desenvolvimento de competências é a da Avaliação, já aqui trazida algumas vezes.
Hoje, o pretexto vem da(s) vizinhança(s) blogoesféricas…

Se há textos que se lêem a abanar afirmativamente com a cabeça, este, sobre avaliação, é um deles: pela auto-reflexão, pelos elementos do raciocínio e pelos links, entre os quais a referência ao meu “bem-amado” PBL.
Destaque para a referência de JNA a Classroom Assessment Techniques : A Handbook for College Teachers, de Thomas Angelo e Patricia Cross – e ao elenco dos sete pressupostos desta obra:

1 – Uma das melhores maneiras de melhorar a aprendizagem é melhorar o ensino.
2 – Os professores precisam primeiro de tornar explícitos os seus objectivos e depois de obter feedback sobre o grau em que os estão a atingir.
3 – Os estudantes precisam de receber um feedback imediato e completo, e de aprender modos de avaliar a sua própria aprendizagem.
4 – A avaliação que melhora o ensino e a aprendizagem é aquela que é conduzida pelos professores para responder a questões ou problemas da sua própria experiência.
5 – O inquérito sistemático e o desafio intelectual são forças poderosas de motivação e desenvolvimento para os professores.
6 – A avaliação eficaz não deve requerer treino especializado.
7 – Ao colaborar com colegas e envolver alunos no processo de avaliação, os professores melhoram a aprendizagem e ganham satisfação pessoal.


Com o que muitos dizem,
designadamente «precisamos de mais formação» seja para fazer o que quer quer seja e que, a mim, tantas vezes me parece escudo ou adiamento, algumas destas permissas são «abaladoras»…. ou nem por isso?!
Conversamos?!…