CEP Case Studies, Designed for All, News

Anatomy of an Exam Question: A Three-stage Exam in the School of Chemistry

What is it?

This is a two-hour, summatively-assessed activity for second year chemistry undergraduates. Students work individually for the first part and in groups for the second and third part. They firstly are asked to look at a previous (real) exam paper and consider some meta-cognitive questions that relate to key information students may have ignored or about the way the examiner has set the question. Secondly, in groups they actually attempt the question and prepare a single group answer. Thirdly, in the same groups, they mark the work of another group against provided marking criteria.

Assessment

For the first part students are marked by staff. The mark counts 25%. The second part is marked bystudents (but can be changed later by staff) and counts for 50%. For the third part the studentgroups are marked by staff based on how well they did the marking. This counts for 25%. Staff arealso given detailed guidance on how to mark. The entire assessment counts for 12.5% of a 40 CP unit.

What are the design features?

We hope this activity gives students into the whole exam-assessment process – from why questions are written the way they are, and how to actually answer the question, to then marking the work of someone whose handwriting is difficult to read. Students have many summa/ve assessments (suchas lab reports). This assessment replaces another report they had to do.  By containing the assessment to two hours, students cannot spend an inordinate amount of time on preparing are port. The examination workshop is run six times in the week and each one contains between 25 and 32 students. The same ques/on is used throughout the week. Students are told not to discuss the question and reminded that it is only possible for other students to cheat with their consent.

How does it build on what’s gone before?

Students have had four weeks of workshops in which they undertake formative work. Many of these workshops have questions of the type they might find in an exam and in one workshop they are asked to look at feedback from a previous exam and to think, in groups, about what students might have found difficult. The informal groups that form can be retained in the summative activity.

How does it prepare for what’s to come?

The idea of this workshop is manifold. It is an introduction to group work, revision of previous material but it is principally to help the students understand how exam questions are structured to help them in the future. Experience shows that some students treat each part of a question in isolation and do not notice the structure the examiners have put in place to help guide them. It is hoped that raising awareness of this will help students better realise their potential in examinations and maybe even take a step back from the question and think (metacognitively?) before diving in.

What did the students think?

The students did seem quite split on this activity. While many noted that they will approach exam questions differently in future and gained insight, a third of students agreed or strongly agreed with the statement, ‘Just doing the exam question on my own as normal with no other activity would have had just as much educational value as today’s workshop’.

What did the staff think?

Staff uniformly thought this was a good idea and could see the value to the students. Several observed, however, that while individual students noted the errors that might be made in the question, they then reproduced exactly those errors when they were working in groups.

What will you do differently next >me?

Although we did tell the students why we were doing this, it’s clear that many didn’t get the message and communication could be reinforced about the function of this activity and its value. We may also give some instruction on group work as the way some of the groups functioned meant that the best ideas from the group were missed. We can also warn the students of the regression back toless good ideas when they operate in groups. The group work took slightly longer than we thought it would and the marking was done slightly more quickly so we would adjust the timing.

Designed for All

All students who have SSPs which relate to Group Work were individually met by the unit director two weeks before the activity. Most students felt that they could cope with the demands of the assessment, possibly helped by the familiar setting, and in the cases where students had had difficulty integrating into workshops, the workshop conveners were encouraged to get them to integrate in preparation for the following week. Ultimately all students, even those with quite severe SSPs, elected to take part though we were ready with alternatives. For the individual part, all students are given extra time. This is pragmatic for the logistics of the exercise but also ensures it is inclusive and avoids any stigma since students with extra time are not singled out or identifiedfied.

Integrated

This assessment used material from the first year and served both as revision of that earlier contentas well as looking forward to assessments themselves in the future.

Authentic

While the authenticity of the process might be limited to the group work, the value of the exercise goes far beyond the day and has implications for the students’ future and we hope they see this is not about jumping through a hoop for a mark but something of lasting value.

Paul Wyatt, University of Bristol, January 2024

Leave a Reply

This site uses Akismet to reduce spam. Learn how your comment data is processed.