| 研究生: |
黃榮彥 Huang, Rone-Yan |
|---|---|
| 論文名稱: |
基於同儕網路的資料共享平台之計算工作分配策略研究 A Study on Job Dispatch Strategies for our P2P Data Sharing and Computing Platform |
| 指導教授: |
蔡子傑
Tsai, Tzu-Chieh |
| 口試委員: |
林宗男
Lin,Tsung-Nan 周承復 Chou, Cheng-Fu 吳曉光 Wu, Hsiao-kuang 陳伶志 Chen, Ling-Jyh |
| 學位類別: |
碩士
Master |
| 系所名稱: |
理學院 - 資訊科學系 |
| 論文出版年: | 2021 |
| 畢業學年度: | 110 |
| 語文別: | 中文 |
| 論文頁數: | 61 |
| 中文關鍵詞: | 開放資料 、大數據 、P2P同儕網路 、P2P資料管理平台 、P2P計算 、資料機密性 |
| 外文關鍵詞: | Open data, Big data, P2P network architecture, P2P data management platform, P2P computing, Data confidentiality |
| DOI URL: | http://doi.org/10.6814/NCCU202101634 |
| 相關次數: | 點閱:38 下載:0 |
| 分享至: |
| 查詢本校圖書館目錄 查詢臺灣博碩士論文知識加值系統 勘誤回報 |
開放資料是近年來受到各界關注的熱門議題,透過將資料進行公開與共享,能為公眾創造更大的價值。而基於大數據的概念而誕生的各式研究,使得開放資料轉化成為有組織、有意義的資訊。然而,實務上在資訊的發布或是資料的檢索,都會發生許多的困難。
在本論文中,我們基於P2P同儕網路架構,並以智慧醫療大數據外溢保單的資訊系統為例,所實作的一個創新的開放式P2P資料管理平台,於其中提出計算工作分配的工作分配策略。我們依據不同的目標制定不同的節點工作分配方式,使大數據工作的分配更有效率完成。讓大數據相關演算法運用此平台進行快速運算,使資料提供者的資料能大幅提升其實用性與影響力。
我們在這個P2P資料平台分析了可能改善原始P2P架構的設計,並整合至平台的各個模組,在這個平台,將能讓參與者上傳資料、確保資料機密性、可靠度與正確性。未來也期待平台能持續結合更多的應用情境,至更為成熟的發展。
Open data is a hot issue that has attracted much attention in recent years. By publishing and sharing data, it can create great value for the public. There are various related researches that have proved to transform open data into organized and meaningful information. However, in practice, many difficulties arise in the release of information or the retrieval of data.
In this thesis, we design a P2P network architecture and implement an innovative open P2P data management platform, and take as an example, the smart medical big data spillover insurance policy. We propose task allocation strategies for P2P computing. According to user demands, an appropriate task allocation algorithm can be chosen to let computing work be finished efficiently. Thus, the value and influence for open data and big data can be greatly increased in practice.
Our P2P data management platform has more flexibility than the original P2P architecture and can be integrated into various of the computing modules. This platform allows participants to upload data and can ensure the data confidentiality, reliability and accuracy of the data. In the future, it is also expected that the platform can continue to integrate more application scenarios and achieve more values.
Keywords: open data, big data, P2P network architecture, P2P data management platform, P2P computing, data confidentiality.
目錄
第一章 簡介 1
1.1 背景 1
1.2 動機 2
1.3 研究目標與挑戰議題 2
1.4 貢獻 2
1.5 章節組織規劃小結 3
第二章 相關研究 4
2.1 P2P DHT Network 4
2.2 Kademlia Algorithm 5
2.3 密碼學-加解密 6
2.4 跨網域位址轉換 7
2.5 分散式計算 6
2.6 保單外溢效應與智慧醫療開放資料 6
第三章 系統架構與設計 10
3.1 系統平台互動架構規劃 10
3.2 資料表欄位架構設計 12
3.3 網路位址轉換協定與存取模組 14
3.4 檢索過濾模組與加解密模組 14
3.5 計算與報酬模組 16
3.5.1 計算節點工作分配問題 17
3.5.2 工作分配策略 17
3.5.3 最少花費優先再選最短時間工作分配策略 20
3.5.4 最短時間優先再選最少花費工作分配策略 20
3.5.5 總時間與花費成本平方和優先分配策略 21
3.5.6 正規化總時間與花費成本平方和優先分配策略 21
第四章 系統實作 23
4.1 專案實作背景 23
4.2 程式下載與系統啟動 23
4.3 使用者註冊 24
4.4 系統登入 24
4.5 基本資料維護主畫面 25
4.6 紀錄發布 25
4.7 紀錄檢索 26
4.8 資料分析與計算 26
4.9 計算節點工作分配 28
4.9.1 原始情況的演算法推導 28
4.9.2 原始版本的演算法虛擬碼設計 29
4.9.2.1 最低花費加權策略 29
4.9.2.2 最短時間加權策略 30
4.9.2.3 最小時間與花費平方和加權策略 30
4.9.2.4 正規化後最小時間與花費平方和加權策略 31
4.9.3 加入時間與花費限制條件虛擬碼設計 32
4.9.4 增加具備一個轉包節點的演算法虛擬碼設計 33
4.9.5 例外處理與提供花費預算與時間預算的建議 35
4.10 源碼專案內容 35
第五章 模擬測試結果與平台介面展示 36
5.1 模擬測試結果 錯誤! 尚未定義書籤。 36
5.1.1 實驗一:原型實驗結果 36
5.1.2 實驗二:加入時間與花費限制條件 41
5.1.3 實驗三:每個節點增加一個計算節點 45
5.1.4 例外處理,提供花費預算與時間預算的建議 49
5.2 平台介面介紹 51
5.2.1 平台程式主介面 51
第六章 結論與未來展望 59
6.1 結論 59
6.2 未來展望 59
參考資料 61
[1] OmniPHR: A Distributed architecture Model to integRate personal health records /Alex Roehrs,Cristiano André da Costa,Rodrigo da Rosa Righi /Journal of Biomedical Informatics 71(2017)70–81
[2] Peer-to-peer Distributed Computing framework / Prashan DharMapala ,Lumeshkantha Koneshvaran,Darshanun Sivasooriyathevan
[3] https://en.wikipedia.org/wiki/Distributed _hash_table : DHT(Distributed Hash Table):
[4] Kademlia: A Peer-to-Peer Information System Based on the XOR Metric / Petar Maymounkov and David Mazi`eres / New York University
[5] 上手Hadoop不可不知的關鍵概念, https://www.ithome.com.tw/Node/73978
[6] 穿透NAT的同儕網路資料發佈與檢索平台之研究,謝育霖,2020
[7] Smart Contracts, Available: https://www.investopedia.com/terms/s/smart-contracts.asp
[8] Python3 implementation of the Kademlia DHT data store, Available: https://github.com/dakk/kad.py
全文公開日期 2026/10/13