최신 영어교육 연구 동향 ALAK(응용언어학회)편 - 36권 1호 2020 (2)

본 포스팅은 Ducan, Emma, Victor 3명의 공동 프로젝트로 합의하에 이 블로그에 게재합니다.

 

이제 거의 모든 학술지에서 여름호가 나왔습니다.

정말 많은 논문이 실린 곳에는 12개 이상의 논문이 실리기도 하고 적으면 6개 정도 이렇게 되는데 정말 '쏟아져 나온다'라는 표현이 어울릴 정도로 많습니다.

 

하지만 저희는 아직 못 끝낸 ALAK 봄 편을 마무리 짓고 다음 포스팅에서는 KATE summer 편을 할 예정입니다.

그리고 다음 포스팅에서는 논문 3개가 아닌 2개씩 올라갈 예정입니다.

 

그리고 논문 리뷰에 대하여 팟케스트 1편을 녹음하려고 합니다.

관심 있으신 분들은 조금만 기다려 주십시오.

 

그럼 이제 ALAK 봄 편의 나머지 3개에 대하여 요약을 시작하겠습니다.

---

Utilizing an AI-based grammar checker in an EFL writing classroom

Author: Ji-Hyun Park, In Young Yang

Keywords: online grammar checker, second language writing, corrective feedback, computer-aided language learning, grammar acquisition

 

(1) 연구 종류

믹스드이지만 양적 연구에 가깝습니다. 

 

(2) 연구 Main Theme

A. Corrective feedback in L2 writing class

초반 연구들은 CF가 학습자에게 효과적인지를 보았다면 중기의 연구들은 그 CF의 종류들 중에 어떤 것이 가장 효과적인지, 혹은 학습자 변인과 비교하여 CF의 효과성에 대하여 보았다. 요즘은 CF가 효과적인 것은 대다수가 동의를 하고 그것을 어떻게 적용할 것인가에 대한 연구들이 진행 중이다.

Writing Instruction의 경우에도 CF는 중요하고 학습자들도 CF를 반긴다. 하지만 instructor는 CF를 주기 힘들어하는 경우가 많다. (시간이 많이 걸린다.)

시중에 열 가지가 넘는 online grammar checker가 나와있지만 Human Rater와 비교한 연구에서는 부정적인 문제점이 있다고 한다. (Park 2019)

하지만 Online grammar checker program은 몇 가지 긍정적인 요소가 있는데 1) 비원어민 교사의 짐을 덜어준다. 2) 즉각적인 feedback을 주기 때문에 학습자에게 도움이 된다.

 

KEY 참고문헌:

Liu, Q., & Brown, D. (2015). Methodological synthesis of research on the effectiveness of corrective feedback in L2 writing. Journal of Second Language Writing, 30, 66-81

(CF에 대한 메타 연구 한번 읽어보면 좋습니다.)

Park, J. (2019). An AI-based English grammar checker vs. human raters in evaluating EFL learners’ writing. Multimedia-Assisted Language Learning, 22(1), 112-131. (이 연구는 AI-Based grammar checker (Grammarly)의 Feedback과 사람 평가자의 Feedback을 비교연구 질적인 측면에서 사람 평가자가 좋다고 했지만, 몇몇 오류를 잡아 내는 것에서는 AI이가 좋음)

 

B. Application of automated corrective feedback in L2 writing instruction

AI-based grammar checker가 효과적이다. 하지만 아직은 부족한 부분이 있기 때문에 instructor의 검수를 받아서 같이 사용을 하는 것이 좋다.

초반의 연구와는 다르게 이 프로그램이 단순히 instructional tool이 아닌 learning tool로도 사용이 될 수 있다는 것을 볼 수 있다.

 

(3) 연구 문제

1. What are students’ perceptions of the use of Grammarly in the EFL writing classroom?

2. For which types of errors in EFL writing does the Grammarly software provide feedback?

3. To what extent do students respond to feedback from Grammarly?

4. Does the use of Grammarly lead to learning gains?

 

(4) 연구 설계

A. 참여자 (Participants)

31명의 대학생 – 영어작문 수업에 수강생

25명의 신입생, 3명의 2,3,4 학년 – 수가 안 맞는데…. 뭐지?

 

B. Online Grammar Checker (Grammarly)

Spelling, grammar, punctuation error를 잡아냄

Feedback 제시 방법 1) direct strategies (에러를 고쳐버림) 2) indirect strategies (밑줄 침) 3) metalinguistic strategies (짧은 grammar term을 제공)

Grammarly에서는 Direct CF + Metalinguistic CF (5가지 주요 CF)

1) Grammar, 2) spelling, 3) punctuation, 4) conciseness, 5) conventions

 

C. 연구 진행 (Procedures)

FIGURE 2에 잘 정리

9개의 in-class writing tasks, 7 paragraphs and two essays

마지막 4개의 in-class writing tasks에서 Grammarly 사용

In-class writing task -> Frist draft -> Grammarly feedback -> in-class revision -> Second draft -> Teacher feedback -> In-class revision (next class) -> Third draft

 

D. Materials

a. Writing tasks

Two paragraph writing, Two essay writing (Table 1)

Draft에서 1,2차 수가 다름

 

b. Questionnaire

17가지 Questionnaire – 5점 Likert Scale + 11 Open-ended questions

 

E. 통계

그냥…. Descriptive analytics

Paird-sample t-test정도

 

(5) 결과

A. Students’ perceptions of Grammarly use

Features of questionnaires:

Application (4.28), Attention (4.48), Usefulness/relevance (4.53), Confidence (4.47), Satisfaction (4.34), Persistence in learning (4.58)

(문제는 어떤 질문이 이 6개의 카테고리에 각각 들어가는지 알 수 없음)

+ 모든 피드백을 잘 읽어봤느냐 하는 질문에서는 4.21이 나옴 – 이것과 관련된 open-ended question에서는 대부분 모두 읽었지만 같은 feedback이 나오거나, 시간을 아끼기 위해서는 넘기는 경우도 있었다.

 

Benefits and drawbacks (drawbacks는 언급하지 않음)

B: Grammarly는 Spontaneity or rapidness of feedback

B: Teacher feedback이 Text as whole로 보고 주기 때문에 더 reliable 하다.

 

B. Contents of Grammarly feedback

7가지 feedback type는 버림 (그런데…. 2개밖에 이야기 안 해줌)???????

1) proper noun을 고치는 경우, 2) Error가 발생한 source에 여러 번 Feedback이 주어진 경우 하나로 침,

 

Feedback 수:

114개의 essays에서 1,360개의 feedback.

100 단어당 4.34개 정도 – 대부분의 errors는 grammatical errors 77% (determiner errors가 54%, nouns (수 일치) errors가 17%, prepositions 15%, agreement in verbs (주어 동사 일치) errors 8%)), spelling 8.60% (suggestions for concise language 7.87%), punctuation 4.49%(대부분 comma usage) , conventions 1.99%(대부분 spacing errors) (TABLE 3)

= Grammar errors가 대부분(특히 관사) + mechanical issues (spelling, spacing, punctuation) (conciseness (간결성) lexical chunk를 한 단어로 고치라는 정도만 주어짐)

= 모든 feedback이 올바른 것은 아님

 

C. Students’ application of the Grammarly feedback in revisions

1) 75% 정도 uptake 하지만 시간이 지나갈수록 계속 uptake비율이 떨어짐

2) Paried-sample t-test writing 1,2 and writing 3,4를 같이 비교:

앞의 2개보다 뒤의 2개가 Feedback수용률이 낮음 - 유의미하게 차이가 있음

3) 각각의 Feedback 수용

Top three: Spelling error -> punctuation errors -> grammar errors

Lowest: conciseness

단어를 간결하게 사용하는 것에 대한 Feedback만 잘 수용하지 않음

그 이유를 open-ended question에서 알아보는데 그것은 이 프로그램을 신뢰하지 않았기 때문 (reliability)

 

D. Application of Grammarly feedback in subsequent writing

1) 처음 2개 문단 쓰기 Vs 나중 2개 에세이 쓰기: Overall로는 uptake가 줄었음

= Wilcoxon Signed Ranks Test를 써서 2세트의 determiner errors의 frequency 차이를 비교 (Z= -2.1333, p = 0.33) – 에세이 쓰기에서 출현도가 낮음 (하지만 다른 카테고리는 차이가 없었음)

= Task complexity의 차이가 2개의 세트에서 존재 (Trade-off relation fluency and accuracy) 그래서 에세이 쓰기에서 error를 적게 사용한 것은 complexity이기도 하지만 학습자들이 몇몇의 grammatical features를 습득함…… 

갑자기 Trade-off의 convention을 가져와 사용하기 시작함

 

2) 학생들이 나중에 가면 갈수록 Task가 어려워지니 시간이 없어서 Grammarly의 uptake도 줄었다.

하지만 article의 경우에는 Grammarly가 주는 feedback이 줄은 것으로 보아 article의 경우 습득이 된 것으로 볼 수 있을지도 모른다. 이 경우 Grammarly가 Learning tool로 사용이 될 수 도 있다.

 

(6) 제언 및 한계

A. 결론

Determiners에 대하여는 학생들의 errors수가 줄은 것으로 보아 Grammarly를 통한 습득의 예로 볼 수 있다.

하지만 다른 error들의 경우 빈도수가 낮아서 학생들이 그 문제를 클릭 한번 해서 기계적으로 고치는 경우가 생겼다. -> 그래서 조심스러운 적용이 필요하다.

 

B. 한계

Task difficulty의 차이로 인해서 결과가 정확하지 않을 수 있다.

 

 Contents provided by Victor, Post production by Victor

---

Promoting “the Present Research”: Entities Valued in the Move 3 Introduction Section

Author: Kyeong-Yeon Park

Keywords: real world entity, research article introduction, research entity, the present research, value

 

(1) 연구 종류

양적 연구 - 코퍼스 연구(Corpus)

연구자 본인이 직접적으로 코퍼스 연구라고 하지는 않으나 연구의 특성이 CARS model의 MOVE3을 지키고 있는가에 대한 내용을 어휘로써 보았기 때문에 코퍼스 연구라고 하였습니다.

 

(2) 연구 Main Theme

A. CARS model: Create A Research Space (CARS) model

Move 1, Establishing a territory

Move 2, Establishing a niche

Move 3, Presenting the present work

KEY 참고문헌: Swales, J. M. (2004). Research genres: Exploration and applications. Cambridge, MA: Cambridge University Press.

 

 

(3) 연구 문제

1. 응용언어학 분야의 논문 20편의 서론에서, value기능이 Move 3의 steps에 발견되는가?

2. value 기능이 발견된다면, 교육, 장르, 정보, 연구분야, 사용자, 분석단위, 자료 등의 영역에서 무엇을 강조하면서 본 연구의 가치를 강조하고 있는가?

이 연구에서 연구자가 직접적으로 연구 문제에 대하여 언급을 하지 않았습니다. 

이 연구 문제는 논문 정리자가 논문을 읽으면서 정리한 내용을 바탕으로 도출한 연구 문제입니다.

 

(4) 연구 설계

A. 코퍼스(Corpus) 설계: 총 20편의 논문

주제	인용	1인칭 사용	의견 나타내는 동사	Theme-rheme
논문 편수	11	5	2	2

 

B. Task design

a. 행위 3(move) 내의 단계(steps) 분석: Swales’ (1990) CARS model 활용(move 3, steps 1-6), 각 세부 단계(steps)에서 나타나는 value 표현 방식 취합

 

(5) 결과

A.  Step 1 (Announcing Present Research Descriptively/Purposively) 연구 목적 소개

a. 가장 흔하게 사용된 entity: 연구 목적 설명(Research topic/field)

본 연구의 목적은 contribute to 연구 분야(the ongoing argument/the existing research~)

 

b. 두 번째로 흔하게 사용된 entity: 누구에게 유용한가(User)

본 연구는 might be useful not only to 비원어민 but also to 논문 지도교수

 

c. 그 외 entity: 교육적 측면(education)

본 연구는 contribute to 교육에 더 자세한 정보를 제공한다.

 

d. 다른 특징: help, useful과 같은 긍정적인 동사를 사용하기도 한다.

 

B. Step 4 (Summarizing Methods) 연구 방법 요약

a. 분석 단위 설명(Analysis unit/category)

Systemic Functional Grammar offers a unique lens

(분석단위 – 독특한 시각을 제공한다)

 

b. 분석 자료(Data)

CSD is a suitable test vehicle

(분석 자료 – 가장 적합한 연구방법이다)

 

c. 연구 Genre

citation strategies associated with high-rated writing may offer an insight

(특정분야 소개 - 통찰을 제공한다)

 

C. Step 5 (Announcing Principal Outcomes) 연구의 주요 결과 소개하기

a. 교육(Education): 가장 많이 사용됨(44.4%)

The findings can be applied in academic writing courses

(연구결과 - 적용되다 - 특정 수업/과정)

 

b. 정보 제공(Information): 22.2%

The results provide insights into the linguistic resources

(연구 결과 - 새로운 시각을 제공하다 – 언어 자료를 살펴보는데)

 

(6)  제언 및 한계

A.  결론

a. 논문 저자들이 본 연구(the present study)를 소개할 때, 연구 단위나 자료, 정보, 연구분야 같은 순수한 연구 측면에서의 기여도도 설명하지만, 실제로 현실 세계에서 본 연구결과가 어떻게 활용될 수 있는지(교육, 사용자)를 이야기하는 경향을 보였다.

b. 각 step별로 서술의 구체성에 차이가 있다.

- 본인의 연구 결과를 소개할 때 적용 가능한 분야를 매우 자세하게 기술

- step 1에서 연구 목적을 소개할 때는 크게 서술하는 경향

c. 본 연구 결과는 설득적 글쓰기를 가르칠 때 참고할만한 내용을 포함한다. 연구 목적이나 분야 같은 한 가지 분야에서만 본인의 연구 가치를 드러낼 것이 아니라, 실생활 적용 같은 여러 항목을 활용해 본인의 연구가 중요하다고 강조할 수 있다.

 

B. 한계

a. 더 커다란 말뭉치를 구성하면 어떨까?

b. Coding 기준을 자세하게 제시해주면 어떨까?

 

 Contents provided by Emma, Post production by Victor

---

Predicting Second Language Writing Proficiency in the Different Genres of Writing Using Computational Tools

Author: Jiseon Ryu

Keywords: linguistic features, second language writing proficiency, genre, computational tools

 

(1) 연구 종류

전형적인 정량적 연구

 

(2) 연구 Main Theme

A. 글쓰기 능숙도와 언어적 특질: 중요한 예측 변수 관계이다.

B. 장르 효과: 장르에 따라 언어적 특질이 다르다.

 

KEY 참고문헌:

Kyle, K., & Crossley, S. A. (2015). Automatically assessing lexical sophistication: Indices, tools, findings, and application. TESOL Quarterly, 49(4), 757-786.

Kyle, K., & Crossley, S. A. (2018). Measuring syntactic complexity in L2 writing using fine‐grained clausal and phrasal indices. The Modern Language Journal, 102(2), 333-349.

 

(3) 연구 문제

1. 사람이 평가한 두 장르의 에세이(Narrative vs. Argumentative)의 평가점수를 예측하는 주요 언어적인 특질(linguistic features)들이 세 차원에서(lexical sophistication (LS), syntactic complexity(SC), and cohesion) 무엇인가?

 

(4) 연구 설계

A. 참여자 (Participants): 학습자 코퍼스

학습자 코퍼스(YELC)에서 3286명의 장르별(Narrative-100 단어 내외 vs. Argumentative-300 단어 내외) 글쓰기 답안

 

B. 분석 툴

Tool for the Automatic Analysis of Lexical Sophistication (TAALES 2.2)

The Tool for the Automatic Assessment of Syntactic Sophistication (TAASSC 1.3.8.)

The Tool for Automatic Analysis of Cohesion (TAACO 2.0.4)

 

C. 분석 변수 – 통합 843개 투입

TAALES: 424개의 단어 관련 변수

TAASC: 374개의 구문 관련 변수

TAACO: 194개 연결성/의미 관련 변수(TTR관련 15개 포함)

 

D. 통계

- 기술통계: 전체 툴 및 포함 특질/지표(p.148, Table 1)

- 기술통계(장르별): 사용 툴 및 특질/지표 개수(p.149, Table 2)

- 정규성 검정: 149쪽에서 장르별로 3/4의 특질/지표를 제외하는 근거로 사용

- 상관관계 분석(Pearson): (p.166, Appendix) 두 장르 모두 제시

(p.149) narrative장르-843->229(정규성 검정)->120(상관관계 분석)->76(다중 공선 성 multicollinearity)(각 변인들이 영향을 주지 않는다고 다중 공선 성)

(p.149) argumentative장르-843->221(정규성 검정)->157(상관관계 분석)->75(다중 공선 성 multicollinearity)

단계적 회귀분석(stepwise regression analysis):

상관관계 분석 추출 변수로 글쓰기 점수 예측 모형 도출

(p.150, Table 3) narrative장르 특질/지표 17개 포함된 모형

(p.153, Table5) argumentative장르 특질/지표 15개 포함된 모형

 

(5) 결과 및 논의

A. 전반적으로 다양한 특질/지표가 글쓰기 점수를 예측 가능하지만 장르별 차이가 있다.

B. Narrative 장르: 단어는 lexical sophistication관련 지표들의 예측력이 높다. 따라서 단어 친숙도나 정확도 관련 교육에 대한 필요성이 나타남. 또한 n-gram지표를 참조해야 하며, 구문 관련해서 nominal complexity 또한 참조해야 함

C. Argumentative 장르: 마찬가지로 단어는 lexical sophistication관련 지표들의 예측력이 높다. 이 장르에서는 단어 정보에 대한 지표 및 교육의 필요성이 나타남. 구문 복잡성이나 연결성 관련 지표들의 설명력이 내러티브 장르보다 다소 낮다. 다만 능숙도 높은 학습자들은 prepositions per nominal and adverbial modifiers per clause, and less modal auxiliaries per clause 사용이 높다.

D. (P.159, table 7 참조) 두 장르의 글쓰기 점수 예측 지표/특질을 전반적으로 볼 때, lexical sophistication 단어 발달 지표(특히 빈도 관련)들이 다수임을 확인할 수 있다. N-gram지표는 두 장르가 차이가 크다는 것을 기억할 필요가 있다. 구문 관련 복잡성 지수(예전에 많이 쓰이던 것들은 아니지만) 역시 중요한 점수 예측 변수이다.

 

Contents provided by Duncan, Post production by Victor

---

이번 ALAK은 여기까지 입니다.

여름 편으로 찾아오겠습니다.

 

>