인공지능은 교육을 빠르게 변화시키고 있지만, 한 가지 의문점이 남아 있습니다. 인공지능이 단순히 정답을 제공하는 것을 넘어 학생들의 학습을 실제로 향상시킬 수 있을까요? 최근 발표된 한 연구 논문은 이 질문을 탐구합니다. 인광 물질이는 퀴즈와 AI 기반 피드백을 교재에 직접 통합하여 능동적인 학습을 장려하도록 설계된 AI 기반 대화형 교재 플랫폼입니다.

이 논문은 다트머스 대학의 기초 통계학 강좌에서 실시한 시범 연구 결과를 제시하며, 인공지능을 활용하여 학생들의 참여도, 읽기 완료율, 학업 성취도를 향상시키는 방법에 대한 귀중한 통찰력을 제공합니다.

인광체란 무엇인가?

Phosphor는 인공지능(AI)을 학습 경험에 직접 통합한 대화형 디지털 교재 플랫폼입니다. 학생들은 독립형 챗봇에 의존하는 대신, 내장된 평가를 완료하면서 학습 자료를 읽고 AI가 생성한 즉각적인 피드백을 받을 수 있습니다.

플랫폼에는 다음이 포함됩니다.

  • 온라인 교재를 활용한 상호작용 수업
  • 각 수업 후 퀴즈가 포함되어 있습니다.
  • AI를 이용한 주관식 답변 채점
  • 전통적인 객관식 문제
  • 누적 복습 퀴즈
  • 수업 관련 질문을 위한 검색 증강(RAG) 챗봇

중요한 점은 참여가 전적으로 선택 사항이었으며 학생들의 수업 성적에 반영되지 않았다는 것입니다.

공부

본 시범 연구는 151명의 수강생이 참여한 통계학 입문 강좌에서 진행되었으며, 그중 143명이 강좌를 수료했습니다. 성적에 대한 인센티브가 없었음에도 불구하고, 연구진은 놀라울 정도로 높은 참여율을 관찰했습니다.

본 연구는 세 가지 주요 질문을 조사했습니다.

  • 인공지능이 학생들의 교과서 읽기 참여도를 높일 수 있을까요?
  • 인공지능 기반 형성평가는 학습 성과를 향상시키는가?
  • 주관식 문제가 객관식 문제보다 더 효과적일까요?

높은 학생 참여도

전통적인 교과서 읽기 방식은 종종 효과가 미흡하며, 교수진들은 학생 중 약 10~15%만이 지정된 읽기 자료를 완료한다고 추산합니다.

인광체를 사용했을 때의 결과는 상당히 달랐습니다.

  • 학생들의 90% 이상이 해당 플랫폼을 이용했습니다.
  • 예상 독서 완료율이 크게 증가했습니다.
  • 많은 학생들이 학점을 받지 못했음에도 불구하고 자발적으로 대부분의 수업을 이수했습니다.

이러한 연구 결과는 상호작용적 평가를 읽기 자료에 직접 통합하는 것이 학생들의 참여도를 크게 높일 수 있음을 시사합니다.

참여도 향상은 성과 향상과 관련이 있었습니다.

플랫폼을 가장 자주 활용한 학생들이 기말고사에서 더 나은 성적을 거두는 경향이 있었습니다.

연구진은 다음과 같은 사실을 발견했습니다.

  • 수업 이수율과 시험 점수 사이에 강한 양의 상관관계가 있다.
  • 이전 학업 성적을 고려한 후에도, 플랫폼 활용 시간을 더 많이 완료한 학생들이 최종 시험에서 훨씬 더 높은 점수를 받았습니다.

참여가 자발적이었기 때문에, 본 연구는 Phosphor 플랫폼 단독으로 개선 효과를 가져왔다고 단정할 수는 없습니다. 동기 부여가 잘 된 학생들은 자연스럽게 플랫폼을 더 많이 사용하고 학업 성취도도 더 높을 가능성이 있습니다. 그럼에도 불구하고, 통계적 조정을 거친 후에도 두 플랫폼 간의 연관성은 유의미하게 나타났습니다.

주관식 문제가 객관식 문제보다 더 나은 성과를 보였다

가장 흥미로운 결과 중 하나는 예상치 못한 방식으로 서로 다른 퀴즈 형식을 비교한 데서 나왔습니다.

학기 중:

  • 첫 번째 모듈에는 객관식 문제와 AI가 채점하는 주관식 문제가 모두 포함되었습니다.
  • 두 번째 모듈은 거의 전적으로 객관식 문제로 구성되었습니다.
  • 세 번째 모듈은 다시 주관식 평가 방식으로 돌아갔습니다.

연구진은 서술형 문제가 포함된 모듈에서 학생들의 성적이 훨씬 더 많이 향상되는 것을 관찰했습니다. 객관식 문제만 있는 섹션에서는 추가 퀴즈 완료가 시험 성적과 측정 가능한 상관관계가 거의 나타나지 않았습니다.

이러한 결과는 정답을 단순히 인식하는 것보다 능동적으로 답을 도출하는 것이 더 심층적인 학습을 촉진한다는 교육 연구를 뒷받침합니다.

복습 퀴즈의 중요성

누적 복습 퀴즈를 모두 완료한 학생들은 퀴즈를 건너뛴 학생들보다 꾸준히 더 나은 성적을 보였습니다.

저자들은 이러한 개선이 다음과 같은 잘 알려진 학습 원칙 덕분이라고 설명합니다.

  • 검색 연습
  • 간격 반복
  • 이전에 학습한 개념들을 교차 학습하기

이러한 기법들은 단기적인 암기보다는 장기적인 기억 유지를 촉진합니다.

흥미롭게도 학생들은 챗봇을 거의 사용하지 않았습니다.

Phosphor에는 수업 자료에 대한 질문에 답변할 수 있는 AI 챗봇이 포함되어 있었지만, 학생들은 이를 상대적으로 거의 사용하지 않았습니다.

학생들의 의견에 따르면 다음과 같은 여러 요인이 복합적으로 작용한 것으로 나타났습니다.

  • 범용 AI 도구는 접근 속도가 더 빠른 경우가 많았습니다.
  • 수업 내용에서 이미 대부분의 질문에 대한 답변이 나와 있습니다.
  • 학생들은 대화형 AI보다 내장된 퀴즈를 더 유용하다고 생각했습니다.

이는 인공지능이 독립적인 보조 도구로 기능하기보다는 학습 활동에 통합될 때 더 큰 교육적 가치를 제공할 수 있음을 시사합니다.

주요 디자인 원칙

이 논문은 인공지능이 능동적인 학습을 대체하기보다는 지원할 때 가장 효과적이라고 주장합니다. 성공적인 교육용 인공지능 시스템은 다음과 같은 특징을 가져야 합니다.

  • 교육 자료에 직접 통합하십시오.
  • 즉각적인 형성적 피드백을 제공하세요.
  • 객관식 문제에만 의존하지 말고 주관식 답변도 평가에 활용하세요.
  • 기억 인출 연습을 장려하세요.
  • 학생의 학습 진척 상황을 시간에 따라 추적하세요.

연구의 한계

연구 결과는 고무적이지만, 저자들은 몇 가지 중요한 한계점을 인정합니다.

  • 본 연구는 무작위 대조 시험이 아닌 관찰 연구였다.
  • 학생들은 플랫폼 사용 여부를 스스로 선택했습니다.
  • 이 연구는 한 대학에서 진행되었습니다.
  • 일부 설문 응답에는 편향이 있을 수 있습니다.
  • 수업 모듈 간의 차이점은 단순히 문제 유형뿐만 아니라 여러 가지 측면에 걸쳐 있었기 때문에 인과 관계를 도출하기 어려웠다.

맺음말

포스포(Phosphor) 연구는 인공지능이 학습 과정에 직접 통합될 때 고등 교육을 향상시킬 수 있는 상당한 잠재력을 가지고 있음을 시사합니다. 단순히 정답을 제공하는 지름길 역할을 하기보다는, 인공지능은 학생들이 스스로 생각하고 정보를 검색하며 자신의 답변에 대한 즉각적인 피드백을 받을 수 있도록 유도할 때 가장 큰 가치를 발휘하는 것으로 보입니다.

아마도 가장 중요한 시사점은 AI 챗봇이 아니라 AI 기반 형성 평가가 교육에서 대규모 언어 모델을 가장 효과적으로 활용하는 방법일 수 있다는 점일 것입니다.

독창적인 연구 논문

논문 전문은 여기에서 읽으실 수 있습니다.

상호작용형 텍스트에서 효과성과 참여도의 균형 유지하기 (PDF)