Dataprep 是一款無伺服器的雲端運算服務,可以適用於不同規模的專案中。
這次的主要目標是要匯入資料集、修正比對錯誤的資料、轉換資料 (transform data) 與連結資料 (join)。
在開始 Lab 後,先建立 Cloud Storage 貯體。
內容目錄
初始化 Dataprep
- 點擊 [導覽選單] > [Dataprep]。
- 按照系統提示,允許需要的授權。
- 在 First time set up 的提示中,點選 [Continue],完成初始化。
建立流程
- 點擊初次介紹提示中的 [Create Flow],或是從左側導覽列點選 [Flow],進入流程管理介面後點擊 [Create…] > [Blank Flow]
- 將流程命名為
FEC-2016,內容敘述則輸入「United States Federal Elections Commission 2016」(非必要,但實際執行專案時還是建議要寫說明)。
匯入資料集
- 點擊右上角 [Add Datasets],點選提示視窗中的 [Import Datasets]。
- 在左側導覽列選擇 [GCS],以存取 Cloud Storage 中的資料集。
- 點擊 [Choose a file or folder] 下方的 [GCS],將路徑修改為
gs://spls/gsp105,點擊 [Go]。 - 點擊
us-fec後,點擊路徑內檔案cn-2016.txt左方的 + 記號,將資料集新增至右側面板。接著於右側面板將資料集名稱重新命名為Candidate Master 2016。 - 以同樣的方式新增
itcont-2016.txt至右側面板,並重新命名為Campaign Contributions 2016。 - 確認兩個資料集後,點擊 [Import & Add to Flow]。
準備資料
- 系統預設會選取 Candidate Master 2016 資料集,如果沒有的話,手動選取該資料集,並點擊右側面板的 Edit Recipe。接著會開啟資料的 Transformer 介面。
- 在 Transformer 介面中,你可以針對資料進行調整,等到資料滿意後,再一次性的執行轉換。
- 每個欄位的最左邊,顯示該欄位的資料類型。點擊中間的欄位名稱,可以檢視該欄資料的整體細節。
因為練習使用的資料集跟 Lab 教材的資料集不一樣 (可能新版系統整理過了),所以這邊就參考他的內容就好。
點擊第二列的圖表,右側面板會顯示建議如何處理相關資料。尤其是欄位中出現比對不符的情況時,適合用這種方式清除無效的資料。
連結資料
- 回到 Dataprep 首頁,點擊 Campaign Contributions 資料集,新增 Recipe。
- 點擊右側面板 Edit Recipe,開始編輯。
- 點擊右上角的搜尋視窗,可以輸入下方的指令,輸入後會自動轉換為可編輯的介面。這個語法稱為 Wrangle Language,用於整理資料。
- 接著點擊 New Step,搜尋
Join datasets,選取資料集Candidate Master 2016後,點擊 [Accept]。在 [Join keys] 處,Dataprep 會提供比對鍵值的建議,選擇想要比對的欄位後,點擊 [Save and Continue],點擊 [Next] 並勾選全部欄位。
replacepatterns col: * with: '' on: `{start}"|"{end}` global: true彙整資料
- 點擊右側面板的 Add Step,輸入下列指令,製作樞紐分析表。
pivot value:sum(column16),average(column16),countif(column16 > 0) group: column2,column24,column8
重新命名欄位
rename type: manual mapping: [column24,'Candidate_Name'], [column2,'Candidate_ID'],[column8,'Party_Affiliation'], [sum_column16,'Total_Contribution_Sum'], [average_column16,'Average_Contribution_Sum'], [countif,'Number_of_Contributions']