簡易檢索 / 詳目顯示

研究生: 梁惠淳
Liang, Hui-Chun
論文名稱: 網路爬蟲應用於二手書搜尋網站開發
The Web Crawler use on the development of a Used-Book Search Website
指導教授: 王宗一
Wang, Tzone-I
學位類別: 碩士
Master
系所名稱: 工學院 - 工程科學系碩士在職專班
Department of Engineering Science (on the job class)
論文出版年: 2023
畢業學年度: 111
語文別: 中文
論文頁數: 60
中文關鍵詞: 機器人流程自動化Power Automate網路爬蟲Django二手書
外文關鍵詞: RPA, Power Automate, Web Crawler, Django, Used-Book
相關次數: 點閱:113下載:16
分享至:
查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報
  • 隨著資訊科技的進步以及物流的成熟,許多大型實體書店已架設網站來擴大服務範圍及接觸客群。但一般消費者的尋書方法,除了已有明確目標尋書的網路書店,一般仍是使用搜尋引擎如Google來進行搜尋。然而Google回應的搜尋結果範圍廣泛,想要明確的找到目標書籍,有存量並有價格比較,非搜尋引擎能提供的客製化功能。因此,如能夠有一個專門搜尋存量書籍的搜尋網站,並有不同來源的價格比較,能讓使用者方便的從二手書店購得舊書,將會是相當便利不錯的省錢選項。
    目前市面上有些類似功能的網站,能夠以關鍵字搜尋新書、二手書、電子書,搜尋結果可直接購買或顯示所有比價。但比價的書,結果會顯示已下架、或有零庫存的、甚且價格與比價又不一樣,浪費使用者時間。大部分的網站皆以新書的搜尋為主,未看到以二手書為主要資訊的。
    本研究以微軟Power Automate擷取網頁資料的功能來進行爬蟲。在爬得資料匯入資料庫之前,為了符合已設定好的資料庫欄位內容,以及避免擷取到換行符號造成匯入資料庫失敗,仍需先進行資料整理才能匯入資料庫。本研究也列出了如何快速匯入MSSQL資料庫的方法,以及實作後的程式碼說明Django框架邏輯。
    本研究以二手書的搜尋為主,爬蟲資料為確實有存量的書。研究網站設計了以關鍵字搜尋後,點擊書名,網頁的右側將顯示所有相同書名的比價,再點擊該商家,便會以新分頁開啟該網路書店的販售頁面。

    With the advancement of information technology and the maturity of logistics, many large-scale physical bookstores have set up websites to expand their service scope and reach out to their customers. However, general consumers generally use search engines such as Google to search for books. However, Google responds with a wide range of search results. If there is a specific goal of available books with price comparison, it is not a customized build function that search engines can provide. Therefore, if there is a book search website with book available and with price comparisons from different sources, that will be a very useful for people that provides convenience and money saving option.
    Currently, there are some websites with similar functions on the market, which can search for new books, used books, and e-books with keywords, and the search results can be directly purchased or all price comparisons can be displayed. However, for price comparison books, the results will show that they are off the shelf, or have zero stock, and even the price is different from the comparison price, wasting users' time. Most of the websites focus on the search for new books, and haven't seen any websites that provide available used books as the main information.
    This research uses Microsoft Power Automate to crawl websites to collect selling information of used books. After the data has been collected into Excel, reorganize before importing to SQL Server is needed. This study also shows how to import data into SQL Server by using VBA. Also show how to build a search website using Django.
    This research builds a search website for used book. Search keywords can be the book title or author. Exact price comparison is focused on the book title, listed from price low to high. After clicked on the price, immediately bring out the origin sell page of the book on a new browser page.

    摘要 i Extended Abstract ii 目錄 viii 圖目錄 x 第一章 緒論 1 1.1研究背景與動機 1 1.2 研究目的 1 1.3 研究方法 1 1.4 論文架構 2 第二章 文獻探討 3 2.1 RPA簡介 3 2.2 Django框架簡介 7 第三章 系統架構與模組 9 3.1 架構與模組 9 3.2 使用資料庫與欄位 11 3.3 系統軟硬體 12 第四章 系統實作 13 4.1 爬蟲與資料整理 13 4.1.1 爬蟲前準備 13 4.1.2 爬蟲實作 14 4.1.3 資料整理_手動 33 4.1.4 資料整理_VBA自動整理 37 4.2 Excel資料匯入資料庫 40 4.2.1 匯入資料庫_手動 40 4.2.2 匯入資料庫_VBA自動匯入 43 4.3 Django實作 44 4.4 網站運作與資料驗證 54 第五章 結論與未來展望 58 5.1 結論 58 5.2 未來展望 58 參考文獻 59 附錄一 資料庫使用限制 60

    MDN Django 介紹. (2023, February 17). https://developer.mozilla.org/zh-TW/docs/Learn/Server-side/Django/Introduction
    Mia. (2015, September 22). 二手書共享經濟——專訪 TAAZE 創辦人張天立. INSIDE. https://www.inside.com.tw/article/5040-interview-with-taaze-founder-terry-chang
    Power Automate. (2023, June 24). https://powerautomate.microsoft.com/zh-tw/robotic-process-automation/
    Ray, S., Villa, A., Alexander, M., Guttridge, K., Wang, A., & Vincent, P. (2022, July 25). Magic Quadrant for Robotic Process Automation. https://www.gartner.com/doc/reprints?id=1-2AOPUPBE&ct=220727&st=sb
    RPA Tools Comparison Matrix—Industry Leaders. (2023, June 24). Keymarkinc.Com. https://www.keymarkinc.com/rpa-tools-comparison/
    Stack Overflow Developer Survey 2022. (2022, May). Stack Overflow. https://survey.stackoverflow.co/2022/
    國家圖書館國際標準書號中心 (Ed.). (2022). 110年台灣圖書出版現況及趨勢報告. https://nclfile.ncl.edu.tw/files/202203/e7c51884-7500-44cc-a8e8-54843a739c5c.pdf
    機器人流程自動化. (2023). In 維基百科,自由的百科全書. https://zh.wikipedia.org/zh-tw/機器人流程自動化

    下載圖示 校內:立即公開
    校外:立即公開
    QR CODE