成功大學博碩士論文系統

簡易檢索 / 詳目顯示

回結果列表

研究生：	蘇冠瑜 Su, Guan-Yu
論文名稱：	基於BERT與GPT之文章概念圖生成方法與應用研究 Research on BERT and GPT Based Concept Map Generation Method and it’s Application
指導教授：	陳裕民 Chen, Yuh-Min
共同指導:	朱慧娟 Chu, Hui-Chuan
學位類別：	碩士 Master
系所名稱：	電機資訊學院 - 製造資訊與系統研究所 Institute of Manufacturing Information and Systems
論文出版年：	2023
畢業學年度：	111
語文別：	中文
論文頁數：	102
中文關鍵詞：	概念圖、概念圖生成、自然語言處理、數位學習
外文關鍵詞：	Concept Map, Concept Map Generation, NLP, Digital Learning
相關次數：	點閱：226 下載：0
分享至:	分享至facebook 分享至twitter

查詢本校圖書館目錄查詢臺灣博碩士論文知識加值系統勘誤回報

概念圖是一種用於整理結構化、分類概念的表達方法，已被廣泛應用於多個領域中。文獻指出，以概念圖作為閱讀理解力培養策略，可以有效的提升學習者的閱讀理解力，進而強化自學能力。
傳統上，概念圖創作需具備相關領域的知識，且花費大量人力與精神，而自動概念圖生成系統可以克服此一困境。近年來，部分概念圖自動生成技術已被開發，雖已有相當成效，但其生成方法通常仰賴於大量訓練資料或部分人工介入。鑒於此，本研究首先利用先進自然語言模型，設計一「基於BERT與GPT之文章概念圖生成方法」，再開發實作相關技術，同時透過實驗，驗證技術之準確性。
為驗證此方法的準確性，本研究提出一概念圖相似度比較演算法，為驗證此方法的準確性，本研究提出一概念圖相似度比較演算法，從概念重合率、關係正確率及非重要概念數三個面向比較人工繪製概念圖與自動生成概念圖的相似度。此外，本研究也透過人工評分法，對自動生成概念圖進行多指標評估。綜合實驗證實，本研究之概念圖生成方法具有一定的穩定性，並且能夠產生良好的文章概念圖。
隨著數位轉型發展，針對數位學習所需數位理解能力培養之需求，同時據以驗證所提之「文章概念圖生成方法」的應用有效性，本研究提出了以概念圖為學習策略的數位閱讀理解能力培養方法，並根據此方法開發一數位學習平台，用以驗證數位文章概念圖對國文及作文能力提升的有效性。實驗結果顯示，藉由數位學習平台的幫助，可以有效的提升學習者的國文及作文成績。

Concept maps are a method of organizing and categorizing concepts. Numerous studies have shown that integrating concept maps into language education can enhance learners' reading abilities.
Traditional concept maps require manual creation, which not only requires a significant amount of time and effort but also demands a certain level of domain knowledge to construct well-designed concept maps. Automatic concept map generation systems can address this challenge. Based on this premise, this study first defines the framework for digital article concept maps and then designs a "BERT and GPT based concept map generation method". The method consists of five steps: "Named Entity Recognition", "Key Entity Extraction", "Entity Relation Extraction", "Paragraph Topic Classification" and "Concept Map Digitization". BERT and GPT models are utilized in the development of the first four steps, and the outputs of these steps are combined using a digital concept map generation algorithm to produce the digital article concept map. To validate the effectiveness of this method, a concept map similarity comparison algorithm is proposed, which compares the similarity between manually built concept maps and automatically generated concept maps. Furthermore, a manual evaluation approach is employed to assess the automatically generated concept maps. The experiment confirms that the concept map generation method remains reasonably stable and capable of producing well-constructed article concept maps.
In light of digital learning transformation, this study develops a digital reading and writing learning platform based on this method to verify the effectiveness of applying digital article concept maps. The experimental results demonstrate that with the assistance of the digital learning platform, learners' Chinese language grade and composition performance can be effectively improved.

摘要 I
致謝 V
表目錄 X
圖目錄 XII
第一章、緒論 1
1 研究背景與動機 1
2 研究目的	2
3 研究問題與研究方法 2
4 研究步驟 3
第二章、文獻探討 5
1 類似研究 5
1.1 概念圖生成 5
1.2 心智圖生成 6
1.3 文章摘要抽取 7
1.4 文章重點句抽取 8
2 相關技術 8
2.1 自然語言處理 8
2.2 Attention、Transformer 9
2.2 BERT 11
2.3 GPT 12
3 應用領域 15
3.1 數位素養 15
3.2 數位閱讀 16
3.3 概念圖教學 16
4 技術驗證 17
4.1 N-gram 17
4.2 ROUGE-N 18
第三章、方法設計 19
1 文章概念圖架構設計 19
2 文章概念圖生成方法設計 20
第四章、技術設計與開發 22
1 命名實體辨識 22
1.1 命名實體類別 22
1.2 命名實體辨識模型 23
1.3 命名實體辨識方法 26
2 重要實體萃取 27
2.1 重要實體類別 27
2.2 重要實體類別模型 27
2.3 重要實體萃取方法 28
3 實體關係萃取 28
3.1 實體關係類別 29
3.2 實體合併規則 30
3.3 實體關係萃取模型 30
3.4 實體關係萃取方法 32
4 段落主題分類 33
4.1 段落主題類別 33
4.2 段落主題分類模型 34
4.3 段落主題分類方法 36
5 概念圖數位化 36
5.1 概念圖資料結構 36
5.2 概念圖數位化演算法 38
5.3 概念圖數位化方法 40
第五章、技術正確性驗證 42
1 方法技術實驗流程 42
1.1 BERT模型實驗與評估流程 42
1.2 GPT模型實驗與評估流程 43
1.3 自動生成概念圖方法評估流程 43
2 驗證指標 44
2.1 混淆矩陣 44
2.2 概念圖相似度 46
2.3 人工評分指標 49
3 資料蒐集與資料集建立 49
3.1 資料蒐集 49
3.2 文章資料集 49
3.3 實體資料集 50
3.4 實體關係資料集 52
3.5 段落主題資料集 54
3.6 人工標註資料流程 55
4 實驗環境 56
4.1 BERT模型 56
4.2 GPT模型 57
4.3 數位化工具 57
5 實驗結果分析 57
5.1 實驗一 57
5.2 實驗二 58
5.3 實驗三 59
5.4 實驗四 59
5.5 實驗五 60
第六章、應用有效性驗證 64
1 數位閱讀與寫作學習流程 64
2 平台建置與伺服器環境 76
2.1 平台架構 76
2.2 平台建置 77
2.3 伺服器環境 77
3 方法應用驗證與分析 78
3.1 實驗設計 78
3.2 指標設計 78
3.3 實驗對象 79
3.4 實驗執行 79
3.5 實驗資料準備 79
4 實驗結果分析 80
4.1 一般生實驗結果分析 80
4.2 特殊生實驗結果分析 91
4.3 實驗總結 94
5 實驗建議 95
第七章、結論與未來展望 96
1 結論 96
2未來展望 97
參考文獻 98
中文參考文獻 98
英文參考文獻 100
                                    

王怡心. (2020). 疫起翻轉教育─ 數位成為主流. 會計研究月刊, (418), 12-14.
朱慧娟. (2022). 學習功能輕微缺損學生適性化數位合作讀寫學習研究. 國家科學及技術委員會專題研究計畫成果報告.
何子岳. (2022). 基於深度學習之文章摘要提取技術研發：以階層式文章摘要能力培養之應用為例. 成功大學製造資訊與系統研究所學位論文, 2022.
余民寧. (1997). 有意義的學習: 概念構圖之研究. 商鼎文化.
李明秀. (2021). 數位學習結合課文本位閱讀理解教學成效之研究(碩士論文.南華大學). 臺灣博碩士論文知識加值系統.
李悅麟. (2019). 提升國小學童數位閱讀素養之我見. 臺灣教育評論月刊, 8(5), 64-67.
吳佳娣, 范含芸, 陳秀燕, & 劉遠楨. (2016). 以翻轉式概念構圖提升學生閱讀理解能力之研究. Journal of Curriculum Studies, 11(2), 67-88.
吳佳諭. (2022). 以概念圖提升國小六年級學生閱讀理解之行動研究 (Doctoral dissertation, 國立臺北教育大學課程與教學傳播科技研究所課程與教學碩士在職專班).
林雅雯. (2015). 不同背景國小學童網路使用行為與數位素養之相關研究-桃園市楊梅區小六學童為例.
普皓群. (2021). 基於深度學習之心智圖自動產生方法與技術研發：以數位閱讀與寫作能力培養之應用為例. 成功大學製造資訊與系統研究所學位論文, 2021.
賴苑玲. (2019). 再思考什麼是數位素養.臺中市教育電子報.臺中市：教育局.
Asif, M., Raza, S. A., Iqbal, J., Perwaiz, N., Faiz, T., & Khan, S. (2022, February). Bidirectional Encoder Approach for Abstractive Text Summarization of Urdu Language. In 2022 International Conference on Business Analytics for Technology and Security (ICBATS) (pp. 1-8). IEEE.
Bradley, A. P. (1997). The use of the area under the ROC curve in the evaluation of machine learning algorithms. Pattern recognition, 30(7), 1145-1159.
Brown, T., Mann, B., Ryder, N., Subbiah, M., Kaplan, J. D., Dhariwal, P., ... & Amodei, D. (2020). Language models are few-shot learners. Advances in neural information processing systems, 33, 1877-1901.
Chen, I. C., & Liu, W. T. (2016). The Effect of the Use of Graphic Organizers on EFL Sixth Graders' English Reading Comprehension in Taiwan. 國立虎尾科技大學學報, 33(1), 85-109.
Cheng, Y. P., Cheng, S. C., & Huang, Y. M. (2022). An internet articles retrieval agent combined with dynamic associative concept maps to implement online learning in an artificial intelligence course. International Review of Research in Open and Distributed Learning, 23(1), 63-81.
Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805.
Gilster, P., & Glister, P. (1997). Digital literacy (p. 1). New York: Wiley Computer Pub.
Gilster, P. (1998). Digital Literacy (Revised).
Jiang, D., Cao, S., & Yang, S. (2021, November). Abstractive summarization of long texts based on BERT and sequence-to-sequence model. In 2021 2nd International Conference on Information Science and Education (ICISE-IE) (pp. 460-466). IEEE.
Lin, C. Y. (2004, July). Rouge: A package for automatic evaluation of summaries. In Text summarization branches out (pp. 74-81).
Liu, P. L., Chen, C. J., & Chang, Y. J. (2010). Effects of a computer-assisted concept mapping learning strategy on EFL college students’ English reading comprehension. Computers & Education, 54(2), 436-445.
Nugumanova, A., Baiburin, Y., & Apayev, K. (2021, December). An Intelligent Web-Service for Automatic Concept Map Generation. In International Conference on Analysis of Images, Social Networks and Texts (pp. 41-44). Cham: Springer International Publishing.
Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C., Mishkin, P., ... & Lowe, R. (2022). Training language models to follow instructions with human feedback. Advances in Neural Information Processing Systems, 35, 27730-27744.
Radford, A., Narasimhan, K., Salimans, T., & Sutskever, I. (2018). Improving language understanding by generative pre-training.
Radford, A., Wu, J., Child, R., Luan, D., Amodei, D., & Sutskever, I. (2019). Language models are unsupervised multitask learners. OpenAI blog, 1(8), 9.
Sheremet, O., & Korobov, O. (2019, October). Speech to Mind Map Conversion in Infocommunication Systems. In 2019 IEEE International Scientific-Practical Conference Problems of Infocommunications, Science and Technology (PIC S&T) (pp. 715-718). IEEE.
Treviso, M., Ji, T., Lee, J. U., van Aken, B., Cao, Q., Ciosici, M. R., ... & Schwartz, R. (2022). Efficient methods for natural language processing: A survey. arXiv preprint arXiv:2209.00099.
Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., ... & Polosukhin, I. (2017). Attention is all you need. Advances in neural information processing systems, 30.
Vimalaksha, A., Vinay, S., & Kumar, N. S. (2019, December). Hierarchical mind map generation from video lectures. In 2019 IEEE Tenth International Conference on Technology for Education (T4E) (pp. 110-113). IEEE.

2026-09-01公開

簡易檢索 / 詳目顯示

相關論文