| 研究生: |
巫清賢 Wu, Ching-Hsien |
|---|---|
| 論文名稱: |
基於 BERT 之克漏字問題生成方法與應用研究 Research on BERT Based Cloze Question Generation Method and Application |
| 指導教授: |
陳裕民
Chen, Yuh-Min |
| 共同指導: |
朱慧娟
Chu, Hui-Chuan |
| 學位類別: |
碩士 Master |
| 系所名稱: |
電機資訊學院 - 製造資訊與系統研究所 Institute of Manufacturing Information and Systems |
| 論文出版年: | 2023 |
| 畢業學年度: | 111 |
| 語文別: | 中文 |
| 論文頁數: | 82 |
| 中文關鍵詞: | 機器學習 、深度學習 、自然語言處理 、克漏字 、數位學習 |
| 外文關鍵詞: | Machine learning, Deep learning, Natural language processing, Cloze, Digital Learning |
| 相關次數: | 點閱:170 下載:0 |
| 分享至: |
| 查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
閱讀理解能力為自學的基礎,克漏字則為閱讀理解能力培養的策略之一,也是能力評量的方法。透過克漏字練習可以培養與評量學生,對上下文關係、字詞語義、句子結構以及句型的理解能力。自動生成克漏字問題,用以培養與評量學生數位閱讀理解能力,為數位時代閱讀理解與表達學習的重要技術。
傳統克漏字問題生成技術主要依賴規則和模板,除了導致生成的問題缺乏多樣性,當文本有複雜的語境、多層次的含義或特殊的結構時,可能無法完全捕捉這些情況,而導致生成的問題不夠具體或適切。
鑒於克漏字自動生成的需求,以及近年來自然語言處理的大型語言模型的發展,本研究設計一包含「關鍵句提取」和「關鍵字提取」之「基於BERT之克漏字問題生成方法」,並開發其相關技術,同時透過實驗驗證技術之正確性,以及於數位閱讀理解能力培養之應用有效性。
針對技術正確性的驗證,本研究以人工評分的方式對人工挑選之克漏字問題與自動產生之克漏字問題進行評估和比較。實驗結果顯示,自動產生與人工挑選之克漏字問題平均分數相近,且自動產生克漏字問題的平均分數只略低於人工挑選的克漏字問題,顯示自動產生克漏字問題之品質可靠且穩定。另外,本研究於既有的「數位讀寫學習平台」,增建一以「克漏字問題生成方法」為核心之「關鍵詞選擇」模組,驗證本方法於數位閱讀理解能力提升之有效性。實驗結果顯示,學生透過「關鍵詞選擇」練習,可以快速且有效地培養數位閱讀理解能力。
Reading comprehension forms the bedrock of self-directed learning, while cloze stands as a strategy for honing this skill and an assessment tool. Cloze exercises nurture and gauge students' comprehension of contextual nuances, word semantics, sentence structures, and syntax. Automating cloze question creation cultivates and evaluates students' digital reading comprehension ability, a crucial proficiency for contemporary digital literacy and communication education.
Conventional cloze generation techniques often rely on rigid rules and templates, leading to homogenous questions. These methods struggle with intricate contexts, layered meanings, or unique structures in text, resulting in imprecise or inadequate question generation.
Considering the demand for automated cloze generation and advancements in Natural Language Processing, this study introduces a "BERT-Based Cloze Question Generation Method" integrating "Key Sentence Extraction" and "Keyword Extraction." The approach's soundness is affirmed through experiments, affirming its role in enhancing digital reading comprehension ability.
For validation, this study contrasts manually selected cloze questions with automated ones using human-assigned scores. Results show automated questions achieve comparable average scores, confirming their reliability. Moreover, an " Digital Reading and Writing Learning Platform" is devised, with a "Keyword Selection" module centered on the "Cloze Question Generation Method." Experimental outcomes underscore the efficacy of this method in boosting digital reading comprehension ability.
Baldini Soares, L., FitzGerald, N., Ling, J., & Kwiatkowski, T. (2019). Matching the blanks: Distributional similarity for relation learning. arXiv e-prints, arXiv-1906.
Bidyut Das, & Mukta Majumder. (2017). Factual open cloze question generation for assessment of learner’s knowledge. International Journal of Educational Technology in Higher Education, vol. 14, no. 1, 2017, pp.1-12. Redalyc, https://www.redalyc.org/articulo.oa?id=501550295021
Brand-Gruwel, S., Wopereis, I., & Walraven, A. (2009). A descriptive model of information problem solving while using Internet. Computers & Education, 53(4), 1207–1217. https://doi.org/10.1016/j.compedu.2009.06.004
Chih-Ming Chen, Ming-Chaun Li, and Tze-Chun Chen. (2020). A web-based collaborative reading annotation system with gamification mechanisms to improve reading performance. Comput. Educ. 144, C (Jan 2020). https://doi.org/10.1016/j.compedu.2019.103697
Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805. Retrieved from: https://ui.adsabs.harvard.edu/abs/2018arXiv181004805D
Dipanjan Das, Andre F.T. Martins. (2007). A Survey on Automatic Text Summarization, Das_Martins_survey_summarization.pdf (cmu.edu)
Leu, D.J. & Reinking, D. (2005) Teaching internet comprehension to adolescents
(TICA) project. Retrieved from http://www.newliteracies.uconn.edu/iesproject/
Mihalcea, R., & Tarau, P. (2004, July). Textrank: Bringing order into text. In Proceedings of the 2004 conference on empirical methods in natural language processing (pp. 404-411).
Mikolov, T., Chen, K., Corrado, G.S., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. International Conference on Learning Representations.
Nadbor. (2016, May). Text Classification With Word2Vec, http://nadbordrozd.github.io/blog/2016/05/20/text-classification-with-word2vec/
Otter, D. W., Medina, J. R., & Kalita, J. K. (2021). A Survey of the Usages of Deep Learning for Natural Language Processing. IEEE Transactions on Neural Networks and Learning Systems, 32(2), 604–624. https://doi.org/10.1109/tnnls.2020.2979670
Thompson, K., Ashe, D., Carvalho, L., Goodyear, P., Kelly, N., & Parisio, M. (2013). Processing and Visualizing Data in Complex Learning Environments. American Behavioral Scientist, 57(10), 1401–1420. doi:10.1177/0002764213479368
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., . . . Polosukhin, I. (2017). Attention Is All You Need. arXiv:1706.03762. Retrieved from: https://ui.adsabs.harvard.edu/abs/2017arXiv170603762V
Yang, A. C. M., Chen, I. Y. L., Flanagan, B., & Ogata, H. (2021). Automatic Generation of Cloze Items for Repeated Testing to Improve Reading Comprehension. Educational Technology & Society, 24(3), 147–158. https://www.jstor.org/stable/27032862
朱慧娟(2023)。學習功能輕微缺損學生適性化數位合作讀寫學習研究與成效評估。國家科學及技術委員會專題研究計畫成果報告(編號:B111-016-1)。
何子岳(2022)。基於深度學習之文章摘要提取技術研發:以階層式文章摘要能力培養之應用為例。國立成功大學製造資訊與系統研究所學位論文。
林哲存(2015)。以學習分析初探線上學習者之學習動機對其線上學習行為模式之影響:以校園學術研究倫理課程為例。 http://hdl.handle.net/11536/125945。
林素秋(2017)。閱讀理解策略教學成效之行動研究:以國小中年級弱勢低閱讀能力學童為對象。師資培育與教師專業發展期刊,2017年,10卷2期,29-58頁。
許育健(2013)。閱讀2.0:資訊科技時代的數位閱讀力。教師天地,第187期,頁19-23。
教育雲邁向個人化與適性學習服務 教育雲大數據分析與應用研討暨分享交流會議。(Mar 6, 2019)。教育部資訊及科技教育司。檢自https://depart.moe.edu.tw/ed2700/News_Content.aspx?n=727087A8A1328DEE&sms=49589CE1E2730CC8&s=16DB02C46F3C6725(Jul 2, 2023)。
張淑貞(2013)。使用克漏字來改善閱讀理解及單字學習。靜宜大學英國語文學系研究所學位論文。https://hdl.handle.net/11296/7m3b2m。
陳嘉浩、官長治(2022)。Sentence BERT語意分析模型簡介。檔案半年刊,111年12月第21卷第2期,頁88-105。
郭鴻淇(2002)。以克漏字測驗為本探討EFL學生閱讀策略與語言能力之相關性。國立政治大學英語教學碩士在職專班學位論文。
普皓群(2021)。基於深度學習之心智圖自動產生方法與技術研發:以數位閱讀與寫作能力培養之應用為例。國立成功大學製造資訊與系統研究所學位論文。
曾瓊慧(2010)。電腦輔助選擇題生成。國立清華大學資訊系統與應用研究所學位論文。
數位閱讀素養學習活動手冊(Dec, 2014)。科技部科教發展及國際合作司,教育部國民及學前教育署,國立中央大學學習與教學研究所。
謝佳芸(2017)。從國際評比(PISA、PIRLS測驗)談閱讀素養教育。新竹市教育電子報。檢自https://www4.hc.edu.tw/epaper/no93/tendency.asp(Jul 2, 2023)。
蘇偉銓(2022)。疫情下紙本出版與數位出版趨勢的觀察。臺灣出版與閱讀,111年第1期(總號第17期)民國111年3月(2022.3)頁114-119國家圖書館。
【2021國際閱讀素養調查】台灣孩子分數首度下滑的兩大警訊:低分族群比例擴大、理解情感能力不足。(May 16, 2023)。報導者。檢自https://www.twreporter.org/a/taiwan-pirls-2021(Jul 14, 2023)。