簡易檢索 / 詳目顯示

研究生: 巫清賢
Wu, Ching-Hsien
論文名稱: 基於 BERT 之克漏字問題生成方法與應用研究
Research on BERT Based Cloze Question Generation Method and Application
指導教授: 陳裕民
Chen, Yuh-Min
共同指導: 朱慧娟
Chu, Hui-Chuan
學位類別: 碩士
Master
系所名稱: 電機資訊學院 - 製造資訊與系統研究所
Institute of Manufacturing Information and Systems
論文出版年: 2023
畢業學年度: 111
語文別: 中文
論文頁數: 82
中文關鍵詞: 機器學習 、深度學習 、自然語言處理 、克漏字 、數位學習
外文關鍵詞: Machine learning, Deep learning, Natural language processing, Cloze, Digital Learning
相關次數: 點閱:170  下載:0 
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 閱讀理解能力為自學的基礎,克漏字則為閱讀理解能力培養的策略之一,也是能力評量的方法。透過克漏字練習可以培養與評量學生,對上下文關係、字詞語義、句子結構以及句型的理解能力。自動生成克漏字問題,用以培養與評量學生數位閱讀理解能力,為數位時代閱讀理解與表達學習的重要技術。
    傳統克漏字問題生成技術主要依賴規則和模板,除了導致生成的問題缺乏多樣性,當文本有複雜的語境、多層次的含義或特殊的結構時,可能無法完全捕捉這些情況,而導致生成的問題不夠具體或適切。
    鑒於克漏字自動生成的需求,以及近年來自然語言處理的大型語言模型的發展,本研究設計一包含「關鍵句提取」和「關鍵字提取」之「基於BERT之克漏字問題生成方法」,並開發其相關技術,同時透過實驗驗證技術之正確性,以及於數位閱讀理解能力培養之應用有效性。
    針對技術正確性的驗證,本研究以人工評分的方式對人工挑選之克漏字問題與自動產生之克漏字問題進行評估和比較。實驗結果顯示,自動產生與人工挑選之克漏字問題平均分數相近,且自動產生克漏字問題的平均分數只略低於人工挑選的克漏字問題,顯示自動產生克漏字問題之品質可靠且穩定。另外,本研究於既有的「數位讀寫學習平台」,增建一以「克漏字問題生成方法」為核心之「關鍵詞選擇」模組,驗證本方法於數位閱讀理解能力提升之有效性。實驗結果顯示,學生透過「關鍵詞選擇」練習,可以快速且有效地培養數位閱讀理解能力。

    Reading comprehension forms the bedrock of self-directed learning, while cloze stands as a strategy for honing this skill and an assessment tool. Cloze exercises nurture and gauge students' comprehension of contextual nuances, word semantics, sentence structures, and syntax. Automating cloze question creation cultivates and evaluates students' digital reading comprehension ability, a crucial proficiency for contemporary digital literacy and communication education.
    Conventional cloze generation techniques often rely on rigid rules and templates, leading to homogenous questions. These methods struggle with intricate contexts, layered meanings, or unique structures in text, resulting in imprecise or inadequate question generation.
    Considering the demand for automated cloze generation and advancements in Natural Language Processing, this study introduces a "BERT-Based Cloze Question Generation Method" integrating "Key Sentence Extraction" and "Keyword Extraction." The approach's soundness is affirmed through experiments, affirming its role in enhancing digital reading comprehension ability.
    For validation, this study contrasts manually selected cloze questions with automated ones using human-assigned scores. Results show automated questions achieve comparable average scores, confirming their reliability. Moreover, an " Digital Reading and Writing Learning Platform" is devised, with a "Keyword Selection" module centered on the "Cloze Question Generation Method." Experimental outcomes underscore the efficacy of this method in boosting digital reading comprehension ability.

    摘要 I 誌謝 VI 目錄 VII 表目錄 XI 圖目錄 XV 第1章 緒論 1 1.1 研究背景與動機 1 1.2 研究目的 2 1.3 研究問題 3 1.4 研究項目與研究方法 4 1.5 研究步驟 4 第2章 相關文獻探討 7 2.1 研究領域探討 7 2.1.1 學習分析 7 2.1.2 數位閱讀 7 2.1.3 數位閱讀素養 9 2.2 相關技術探討 9 2.2.1 深度學習(Deep Learning)與自然語言處理(Natural Language Processing,NLP) 9 2.2.2 詞嵌入(Word Embedding) 10 2.2.3 Transformer模型 11 2.2.4 BERT預訓練模型 12 2.3 相似研究探討 13 2.3.1 克漏字測驗 13 2.3.2 重點句自動生成 15 第3章 技術開發與驗證 17 3.1 克漏字問題生成方法設計 17 3.2 關鍵句提取技術設計 18 3.2.1 關鍵句提取技術 18 3.2.2 關鍵句篩選分類模型 20 3.3 關鍵字提取技術設計 21 3.4 技術開發實作 25 3.4.1 開發實作環境 25 3.4.2 資料集 26 3.5 技術評量 26 3.5.1 關鍵句提取技術評量 26 3.5.2 關鍵字提取技術評量 29 第4章 方法應用研究 34 4.1 數位閱讀能力培養模式 34 4.2 數位讀寫學習平台架構規劃與設計 35 4.2.1 平台架構 35 4.2.2 伺服器環境 36 4.2.3 平台建置 37 4.2.4 平台學習流程 38 4.3 實驗與評量方法設計 55 4.3.1 實驗設計 55 4.3.2 實驗對象 56 4.3.3 實驗執行 56 4.4 實驗結果與分析 57 4.4.1 一般生實驗結果分析 57 4.4.2 特殊生實驗結果分析 65 4.4.3 實驗總結 75 4.5 實驗建議 76 第5章 結論與未來展望 77 5.1 結論與討論 77 5.2 未來展望 78 參考文獻 79

    Baldini Soares, L., FitzGerald, N., Ling, J., & Kwiatkowski, T. (2019). Matching the blanks: Distributional similarity for relation learning. arXiv e-prints, arXiv-1906.
    Bidyut Das, & Mukta Majumder. (2017). Factual open cloze question generation for assessment of learner’s knowledge. International Journal of Educational Technology in Higher Education, vol. 14, no. 1, 2017, pp.1-12. Redalyc, https://www.redalyc.org/articulo.oa?id=501550295021
    Brand-Gruwel, S., Wopereis, I., & Walraven, A. (2009). A descriptive model of information problem solving while using Internet. Computers & Education, 53(4), 1207–1217. https://doi.org/10.1016/j.compedu.2009.06.004
    Chih-Ming Chen, Ming-Chaun Li, and Tze-Chun Chen. (2020). A web-based collaborative reading annotation system with gamification mechanisms to improve reading performance. Comput. Educ. 144, C (Jan 2020). https://doi.org/10.1016/j.compedu.2019.103697
    Devlin, J., Chang, M.-W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding. arXiv:1810.04805. Retrieved from: https://ui.adsabs.harvard.edu/abs/2018arXiv181004805D
    Dipanjan Das, Andre F.T. Martins. (2007). A Survey on Automatic Text Summarization, Das_Martins_survey_summarization.pdf (cmu.edu)
    Leu, D.J. & Reinking, D. (2005) Teaching internet comprehension to adolescents
    (TICA) project. Retrieved from http://www.newliteracies.uconn.edu/iesproject/
    Mihalcea, R., & Tarau, P. (2004, July). Textrank: Bringing order into text. In Proceedings of the 2004 conference on empirical methods in natural language processing (pp. 404-411).
    Mikolov, T., Chen, K., Corrado, G.S., & Dean, J. (2013). Efficient Estimation of Word Representations in Vector Space. International Conference on Learning Representations.
    Nadbor. (2016, May). Text Classification With Word2Vec, http://nadbordrozd.github.io/blog/2016/05/20/text-classification-with-word2vec/
    Otter, D. W., Medina, J. R., & Kalita, J. K. (2021). A Survey of the Usages of Deep Learning for Natural Language Processing. IEEE Transactions on Neural Networks and Learning Systems, 32(2), 604–624. https://doi.org/10.1109/tnnls.2020.2979670
    Thompson, K., Ashe, D., Carvalho, L., Goodyear, P., Kelly, N., & Parisio, M. (2013). Processing and Visualizing Data in Complex Learning Environments. American Behavioral Scientist, 57(10), 1401–1420. doi:10.1177/0002764213479368
    Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., . . . Polosukhin, I. (2017). Attention Is All You Need. arXiv:1706.03762. Retrieved from: https://ui.adsabs.harvard.edu/abs/2017arXiv170603762V
    Yang, A. C. M., Chen, I. Y. L., Flanagan, B., & Ogata, H. (2021). Automatic Generation of Cloze Items for Repeated Testing to Improve Reading Comprehension. Educational Technology & Society, 24(3), 147–158. https://www.jstor.org/stable/27032862
    朱慧娟(2023)。學習功能輕微缺損學生適性化數位合作讀寫學習研究與成效評估。國家科學及技術委員會專題研究計畫成果報告(編號:B111-016-1)。
    何子岳(2022)。基於深度學習之文章摘要提取技術研發:以階層式文章摘要能力培養之應用為例。國立成功大學製造資訊與系統研究所學位論文。
    林哲存(2015)。以學習分析初探線上學習者之學習動機對其線上學習行為模式之影響:以校園學術研究倫理課程為例。 http://hdl.handle.net/11536/125945。
    林素秋(2017)。閱讀理解策略教學成效之行動研究:以國小中年級弱勢低閱讀能力學童為對象。師資培育與教師專業發展期刊,2017年,10卷2期,29-58頁。
    許育健(2013)。閱讀2.0:資訊科技時代的數位閱讀力。教師天地,第187期,頁19-23。
    教育雲邁向個人化與適性學習服務 教育雲大數據分析與應用研討暨分享交流會議。(Mar 6, 2019)。教育部資訊及科技教育司。檢自https://depart.moe.edu.tw/ed2700/News_Content.aspx?n=727087A8A1328DEE&sms=49589CE1E2730CC8&s=16DB02C46F3C6725(Jul 2, 2023)。
    張淑貞(2013)。使用克漏字來改善閱讀理解及單字學習。靜宜大學英國語文學系研究所學位論文。https://hdl.handle.net/11296/7m3b2m。
    陳嘉浩、官長治(2022)。Sentence BERT語意分析模型簡介。檔案半年刊,111年12月第21卷第2期,頁88-105。
    郭鴻淇(2002)。以克漏字測驗為本探討EFL學生閱讀策略與語言能力之相關性。國立政治大學英語教學碩士在職專班學位論文。
    普皓群(2021)。基於深度學習之心智圖自動產生方法與技術研發:以數位閱讀與寫作能力培養之應用為例。國立成功大學製造資訊與系統研究所學位論文。
    曾瓊慧(2010)。電腦輔助選擇題生成。國立清華大學資訊系統與應用研究所學位論文。
    數位閱讀素養學習活動手冊(Dec, 2014)。科技部科教發展及國際合作司,教育部國民及學前教育署,國立中央大學學習與教學研究所。
    謝佳芸(2017)。從國際評比(PISA、PIRLS測驗)談閱讀素養教育。新竹市教育電子報。檢自https://www4.hc.edu.tw/epaper/no93/tendency.asp(Jul 2, 2023)。
    蘇偉銓(2022)。疫情下紙本出版與數位出版趨勢的觀察。臺灣出版與閱讀,111年第1期(總號第17期)民國111年3月(2022.3)頁114-119國家圖書館。
    【2021國際閱讀素養調查】台灣孩子分數首度下滑的兩大警訊:低分族群比例擴大、理解情感能力不足。(May 16, 2023)。報導者。檢自https://www.twreporter.org/a/taiwan-pirls-2021(Jul 14, 2023)。

    下載圖示
    2026-09-01公開
    QR CODE