저번 주 공지를 드렸듯 이번 주에는 영어평가와 관련된 한국영어평가학회 KELTA의 학술지인 English Lanuage Assessment입니다.
한국영어평가학회(KELTA)
한국영어평가학회,The Korea English Language Testing Association
www.kelta.or.kr
저번 주 다루었던 AI에 관련해서 평가 쪽에서는 어떻게 AI를 사용하고 있을지와
요즘 핫한 주제인 과정 중심 평가 & 과업중심 평가를 다룬 논문과
협력학습에 관련된 대학생 쓰기 평가 논문을 가지고 왔습니다.
최.영.수.: 최신 연구로 살펴보는 영어교육과 수업
연구없이는 좋은 수업을 만들 수 없다. 최신 영어교육 연구와 수업의 이슈를 살펴보는 최영수입니다. 최신 연구들을 살펴보고 그 연구주제와 수업에서의 적용점과 개선점을 찾습니다. 저희 방
www.podbbang.com
audioclip.naver.com/channels/5708
최영수: 최신 연구로 살펴보는 영어수업 솔루션 (by 최.영.수)
연구없이는 좋은 수업을 만들 수 없다. 최신 영어교육 연구와 수업의 이슈를 살펴보는 최영수입니다. 영어교육 전공자 3명이 최근 발행된 논문을 분석하고, 논문 내용을 수업에 어떻게 적용할지
audioclip.naver.com
그럼 요약 시작하도록 하겠습니다.
AI 챗봇 매개 초등영어 과정 중심 평가 과업의 개발 및 적용
Author: 심규남, 송은주, 추성엽, 권해경, 민덕기
Key words: AI mediated assessment tasks, process-oriented assessment
(1) 연구 종류
평가모형 개발 연구
(2) 연구 Main Theme
2.1 AI 시대의 도래와 초등영어교육
- AI 챗봇 활용은 학습자에게 상대적으로 심리적 부담이 적은 상태에서 영어로 의사소통하게 할 수 있고 상호작용을 촉진시켜준다. 그래서 학교뿐만 아니라 가정에서의 개별학습에 활용될 가능성이 매우 크다.
- 최근 연구들에서는 의사소통 중심의 상호작용을 촉진시키기 위해 인공지능 챗봇을 활용하는 연구-가 주로 진행되고 있다.
- 과업중심의 평가모형에 맞는 챗봇 프로그램을 개발하고, 교실 현장에 실제로 투입하여, 개발된 챗봇 평가 과업의 적용 가능성을 탐색해 보려 한다.
2.2 초등영어평가의 발달과 변화
- 7차 교육과정 이후로 수행평가가 중심으로 운영이 되어 왔다.
1) 학생에 대한 평가와 지도가 동시에 지속적으로 제공되고
2) 과정과 결과가 모두 평가됨
3) 평가 증거의 지표와 출처가 비교적 장기간에 걸쳐 수집
4) 평가의 결과가 교수, 학습 개선에 사용
5) 평가과정이 평가 이해당사자들과 전문자의 협업으로 이루어진다.
- 2015 이후 새로운 평가의 움직임으로 자기 주도적 학습을 강조하는 배움 중심 교육활동과 평가가 강조.
1) 교육과정 재구성을 통한 평가계획을 교육계획과 동시에 또는 먼저 세우고 교육활동을 운영한다.
2) 최종 결과로써의 성취 기준 도달 정도를 미리 규정한 후 수업 및 교수활동, 그리고 평가 과업을 정한다.
=> 교육과정, 평가, 수업의 일체화가 강조되며, 교사들의 교육과정과 평가 문해력이 중요하게 된다.
- 최근의 초등영어 과정 중심 평가의 성격
1) 과정 중심 평가는 학습을 위한 평가 또는 학습을 지향하는 평가이다.
2) 과정 중심 평가는 기본적으로 성취도 평가의 성격을 가지며, 교육과정의 성취기준의 도달 정도를 파악하는 목적을 갖고 있다.
3) 과정 중심 평가는 준거 참조 평가의 성격을 가지고 있다.
4) 과정 중심 평가는 성장 참조 평의 성격을 갖고 있다.
5) 과정 중심 평가는 누적효과를 지향한다.
- 이러한 평가의 모형안에서 AI 챗봇의 역할
1) 학습자와 상호작용 중에 부분 발화 형태의 발화에 대한 프롬프트를 활용하여 온전한 표현을 사용할 수 있도록 단서를 제공한다.
2) 챗봇을 위한 기계학습 자료 입력 시 교사가 마련한 학습 안내 코멘트를 제공한다.
3) 학습자의 발화 내용을 전사 자료로 자동 저장하여 학습자의 언어 사용에 관한 학습 데이터를 지속적으로 수집한다.
4) 챗봇이 학습자의 정확한 어휘 사용 능력과 수준을 알고리즘 구성에 의해 판정할 수 있다.
2.3 AI 챗봇 과업 활용 평가 실행 모형
초등교육에서 자주 사용되는 과업 1) 기술, 묘사하기, 2) 역할놀이, 3) 조사하기, 4) 정보 차 과업, 5) 미션 수행으로 이루어져 있고 모든 과업은 2개의 수준으로 구성이 되어있다.
(3) 연구 문제
- 초등영어교육 현장에서의 어려움
1) 외국어인 영어학습을 위한 절대적인 영어 입력 양과 영어 사용의 기회가 부족
2) 전담교사가 다수 학습을 담당하는 데에서 기인하는 개별 또는 집단 학생들과의 상호작용 부족, 학생과의 정서적 유대감 부족
3) 학습 곤란 학생에게 개별 학습의 기회를 제공하기 힘듦
4) 교사가 교실에서 교수, 학습 활동 중에 과정 평가를 실행하기 위한 자료와 도구가 부족, 체계적인 안내도 부족
- 이러한 어려움을 AI 챗봇을 이용한 평가모형을 통해 극복하기 위해 이 연구를 진행
RQ1) AI 챗봇 평가 과업을 매개로 한 초등영어평가의 실행 모형은 어떻게 구성되는가?
RQ2) AI 챗봇 평가 과업을 매개로 한 초등영어평가는 과정 중심 평가로 작동할 수 있는가?
(4) 연구 설계
4.1 참여자
초등학교 6학년 20명 (남, 여 각각 10명)
4.2 평가 실행 모형
용어 설명
Fallback intent (폴백 인텐트): 학생의 발화가 맥락과 무관 할 때 발화를 다시 이끌어 내는 장치 (e.g., Can you say that again?)
Prompt (프롬프트): 학생들이 발화를 끝마치지 못했을 때에 발화를 도와주는 장치
(e.g., S: What’s your…. , AI: What’s your favorite…?)
Entity (엔터티): 학생이 발화한 문장에서 의미를 전달하기 위해 반드시 필요한 핵심 단어 또는 어구 (e.g., What’s your favorite food? -> your favorite food)
(5) 결과 분석
5.1 1차
[1] AI 챗봇 평가 과업 작동 양태
- 학생들이 챗봇의 도움을 받아 영어로 의사소통하며 상호작용 하는 것이 가능하다는 것을 확인
문제점
1) 의사소통 오류 (챗봇이 이해하기 모호한 표현 + 발음상의 차이 (/r/, /l/차이 she, he 차이 등)
2) 과업의 혼동으로 인한 발화를 하였을 때 챗봇이 과업을 넘겨 버림
3) 엔터티가 모두 발화된 것은 Word order가 틀렸거나 문장이 틀렸음에도 불구하고 맞는 것으로 이해하고 넘어감
[2] AI 챗봇 평가 과업의 과정 중심 평가 활용
1) 프롬프트를 사용하여 피드백을 제공해 줌으로써 학생들이 몇 번의 시도 만에 올바를 발화를 하게 됨
2) 영어 학습 곤란을 겪는 학생들이 말하기에 흥미를 가지게 되었고 결과도 향상되는 것을 보여주었다. (표 3의 관찰기록 참조)
5.2 2차
[1] AI 챗봇 과업 작동 양태
1차 보다 오류가 적어짐 (표 4 참조) - 엔티티를 단어보다는 구문으로 설정해서 이러한 결과가 나왔다고 한다.
[2] AI 챗봇 평가 과업의 과정 중심 평가 활용
프롬프트를 학생들이 발화를 해야 하는 문장의 부분을 제공해 줌으로써 발화를 하도록 강화시켰다.
(6) 결론
- 학생들은 챗봇과의 상호작용을 통해 영어학습에 도움을 받았으며 특히 학습 곤란 학생들은 챗봇의 폴백 인텐트와 프롬프트를 통한 학습도움으로 점차적으로 영어능력이 향상되는 것이 확인되어 학습과 평가가 일체화되는 모습을 보여주었다.
- 또한 AI 챗봇에 내재되어있는 히스토리를 통하여 발화 문을 저장하고 분석하여 평가 기준을 세울 수 있고 학생들은 자기 주도적 평가의 근거로 사용할 수 있다.
- 단순한 신기 효과를 넘어서 지속적인 학습 성과를 가져올 수 있게끔 만들어야 한다
Content provided Victor, Post production Victor
협력학습을 적용한 대학생 영어 쓰기 수업 사례 연구
Author: 이지연
Key words: English writing, collaborative learning, writing ability, readability
(1) 연구 종류
양적 연구
(2) 연구 Main Theme
- 문법 중심-> 의사소통 중심-> 과업중심->(상호작용) 협력학습 (학습동기 및 각종 정의적 영역에 긍정적)
- 외국어로서의 언어발달에 중요한 쓰기 영역의 교육과 평가의 어려움
- 창의력, 비판적 학습 능력에 대한 관심 증가
- 교과서나 시험이 아닌 쓰기 결과물에 대한 이독성(readability: 문장 난이도) 관련 연구 희소
(3) 연구 문제
-RQ1. 협력학습은 대학생의 쓰기 능력 향상에 어떤 영향을 미치는가?
-RQ2. 협력학습은 대학생의 쓰기 학습에 대한 정의적 태도에 어떠한 영향을 미치는가?
(4) 연구 설계
4.1 참여자
대학생 63명(중하급, 전공 다양, 실험 30, 통제 33)
4.2 수집 방법
- 주 3시간 15주 학생들의 영어작문, 10개의 쓰기 과업 (pp.17-19) 중 학기초와 학기말에 총 2회 측정
- 학기초 자기소개 150 단어, 학기말 특정 주제 150 단어
- 실험집단 5명 1개 조 협동 쓰기, 통제집단 개인 작문 (150 단어)
- 채점: 종합적 평가 6점 만점, 영역 평가(내용, 조직, 담화, 통사, 어휘, 형식) 각 5점 30점 만점
- 무료 사이트에서 제공하는 3가지 이독성 척도 사용
- 학기초, 학기말에 정의적 영역(동기, 자신감, 자아존중감, 불안, 모험심) 25문항 구글 닥스로 설문조사 2회
4.3 분석방법
- 사전, 사후 비교 분석(대응표본 t검정), 집단 간(독립 표본 t검정) 점수 비교
(5) 결과
-RQ1. 협력학습은 대학생의 쓰기 능력 향상에 어떤 영향을 미치는가?
A1) -종합점수 및 영역별 점수 사전평가, 통제-실험집단 간 유의미한 차이 없음(p.20, Table 4 & 5)
-> 두 집단 동질성 확보
-종합점수 및 영역별 점수 사후평가, 통제-실험집단 간 유의미한 차이(pp.21-22, Table 6 & 7)
(영역: 내용, 구조, 단어, 형식이 두 집단 간 유의미한 차이, 담화(글의 논리)+통사(문법성) 차이 없음)
-종합점수 통제집단, 사전-사후 점수간 유의미한 차이 없음(p.22, Table 8)
-종합점수 실험집단, 사전-사후 점수간 유의미한 차이 있음(p.22, Table 9)
-영역별 점수 통제집단, 사전-사후 점수간 유의미한 차이 없음(p.23, Table 10)
-영역별 점수 통제집단, 사전-사후 점수간 유의미한 차이 없음(p.23, Table 11)
(영역: 내용, 구조, 단어, 형식이 두 집단 간 유의미한 차이, 담화(글의 논리)+통사(문법성) 차이 없음)
-이독성 점수 사전 평가, 통제-실험집단 간 유의미한 차이 없음(p.24, Table 12)
-이독성 점수 사전 평가, 통제-실험집단 간 유의미한 차이 (p.24, Table 13)
* 협력 쓰기 활동을 통해 쓰기 능력의 내용적 측면이 한 학기 동안 유의미하게 상승함
-RQ2. 협력학습은 대학생의 쓰기 학습에 대한 정의적 태도에 어떠한 영향을 미치는가??
A2) -정의적 영역(동기, 자신감, 자아존중감, 모험심, 불안감) 사전-사후 점수간 유의미한 차이(pp.26-30, Table 15,16,17,18,19)
Content provided Duncan, Post production Victor
이번 포스팅 및 팟캐스트는 영어평가 관련해서 꾸며봤습니다.
아쉬운 건... 평가에 대한 내용이 그렇게 많이 들어있지 않아서... ㅜㅜ
이제 12월 23, 30일에는 저희가 한 해를 마무리하는 특별 편 2개를 준비하고 있습니다.
현재 나와있는 성인용 영어회화 학습 앱 9개를 분석하는 것 한편과
2020년 연구 정리 및 2021년 연구 전망 한편입니다.
많은 관심 부탁드립니다.
저희가 이해하고 있는 논문을 포스팅으로 남깁니다.
만일 오타나 표현 실수, 분석 실수 등을 댓글로 남겨주세요.
감사합니다
댓글