最近的文章

顯示全部
DE Project 1 - ETL - AirFlow 設定 Python

DE Project 1 - ETL - AirFlow 設定

by - Killer01 on - 1月 27, 2024

在 terminal, 登入到 container. # At terminal docker exec -ti de-2024 bash 1. 登入到 cont…

閱讀完整內容
DE Project 1 - ETL - 環境設定 Python

DE Project 1 - ETL - 環境設定

by - Killer01 on - 1月 27, 2024

以下為所有 Docker Container 設定. Dockerfile Server採用 Ubuntu 20.04 版本 預安裝 Python 3.8 預安裝 Pyt…

閱讀完整內容
DE Project 1 - ETL Python

DE Project 1 - ETL

by - Killer01 on - 1月 27, 2024

接下來, 我們打算從零開始, 開發一個 ETL 小框架. 整個 solution 會以 Docker 為基底, 啟動 4個服務來執行這個專案. High level 如下圖…

閱讀完整內容
GIT Introduction Git

GIT Introduction

by - Killer01 on - 1月 19, 2024

Git 是一個很好用的版本控制 (Version Control)軟體, 特別是當 ETL framework 不斷增加新功能, 和data pipeline 一直在…

閱讀完整內容
Dockerfile 和 docker-compose.yml 範例 Python

Dockerfile 和 docker-compose.yml 範例

by - Killer01 on - 1月 19, 2024

以下直接藉由 container 設定檔來說明. 1. Dockerfile : 這是一個 Dockerfile 的設定檔, 定義了 Unix 的OS, 及需要安裝…

閱讀完整內容
Docker Introduction env

Docker Introduction

by - Killer01 on - 1月 19, 2024

Docker 是一個非常實用的虛擬環境軟體, 可以用來快速地建立統一的 develope 環境. 可以從官方網站, 下載對應於自己電腦作業系的版本. 官方網站:  h…

閱讀完整內容
Python Tips: 讀取 & 輸出 CSV 教學 Tips

Python Tips: 讀取 & 輸出 CSV 教學

by - Killer01 on - 1月 18, 2024

CSV 是常用到的結構化資料交換格式, 學會讀取跟寫入 CSV,  對於常常需要和 data 為伍的工程師, 非常受用. (沿用上一篇 Python Tips: 獲取 AP…

閱讀完整內容
Python Tips: 獲取 API 資料 Tips

Python Tips: 獲取 API 資料

by - Killer01 on - 1月 18, 2024

透過 API 來抓取資料算是一個滿基本的能力, 以下用一個簡單的例子來抓取匯率資料. 抓取API主要用到的 library 為 requests , 我們只用 GET()…

閱讀完整內容
JupyterLab 懶人包 Python

JupyterLab 懶人包

by - Killer01 on - 1月 16, 2024

JupyterLab 是一個非常好用的 Python 程式撰寫軟體. 不管是新手還是老手, 這都是一個值得安裝的軟體. Offical Website:  https://…

閱讀完整內容
Python + Sublime Text 3 懶人包 安裝教學 Python

Python + Sublime Text 3 懶人包 安裝教學

by - Killer01 on - 1月 30, 2021

1. 下載 Python, 請到右方網址下載:  https://www.python.org/ 2. 安裝過程中, 請選擇 自定安裝 , 並把安裝路徑設在 C…

閱讀完整內容
Python Tips: Ignore warning 忽略警告 Warning

Python Tips: Ignore warning 忽略警告

by - Killer01 on - 10月 20, 2018

下面這一段程式碼可以忽略惱人的警告! import warnings warnings.filterwarings('ignore') --

閱讀完整內容
Scikit-Learn: KNeighbors 教學 ( Iris dataset 及 Tips dataset) Scikit-Learn

Scikit-Learn: KNeighbors 教學 ( Iris dataset 及 Tips dataset)

by - Killer01 on - 10月 19, 2018

以下將簡單教大家怎麼使用Python 來玩 Machine Learning (機器學習).  Scikit-Learn  是最著名的一個package, 我們將使用其下的…

閱讀完整內容