Search for a command to run...
ตอนนี้ผมพยายามอยากจะสร้าง community ของชาว data engineer ในเมืองไทย เป้าหมายคืออยากจะเป็น center of excellence ที่ใครก็ตามอยากทำงานในสายงานนี้ หรือมีความสนใจจะเข้ามาพูดคุยแลกเปลี่ยนความคิดเห็นกัน ก็จะสามารถเข้ามาแสดงความคิดเห็นได้อย่างมีอิสระเสรีภาพเ...
Dagster ตามชื่อของมันเลยคือ data orchestrator สำหรับงานพวก machine learning, analytics และ ETL ซึ่งเป็นเครื่องมือที่ช่วยเรื่อง workflow management อีกตัวหนึ่งที่กำลังมาแรงไม่แพ้ Airflow เลยทีเดียว จริงๆ แล้ว Nick Schrock (ผู้พัฒนา) ไม่ได้ตั้งใจจะทำอ...
Finally, I think I have a complete set of my desk setup for remote work. 😊 Mac Mini M1 (16GB) DELL S2721DGF - 27" IPS 2K Monitor Keychron K4 Keyboard Logitech MX Master 3 Mouse Maono AU-A04 Microphone Razer Kiyo Webcam (I'd not recommend for Mac u...
เกริ่น ในสายงาน Data Science & Engineering การทำ Scraping เป็นวิธีหนึ่งในการดึงข้อมูลจากระบบหนึ่งๆ ในกรณีที่เค้าไม่ได้มี API ไว้ให้เราใช้ อย่างเช่น หน้าเว็บไซต์ต่างๆ หรือข้อมูลที่อยู่ในไฟล์พวก PDF เป็นต้น ถ้าเรามีความสามารถในการเขียนโค้ดทำ Scraping ไ...
เป็นหนังสือที่เขียนโดย James Densmore, Director of Data Infrastructure ที่ HubSpot ขอสรุปออกมา 3 ประโยค 😎 ครบเครื่องในการออกแบบและสร้าง Data Pipeline ที่ดี เริ่มตั้งแต่ Data Pipeline คืออะไร มีบทบาทอย่างไรใน Data Infrastructure แนวทางการออกแบบ และ...
ในการสร้างแอพพลิเคชั่นหรือระบบอะไรก็ตาม จะมีไฟล์ Configuration เพื่อให้เราปรับค่าต่างๆ ให้ระบบทำงานตามที่เราอยากจะให้เป็นได้ ทีนี้ใน Python ก็มีโมดูลหนึ่งที่อยู่ใน Standard Library ที่เอาไว้อ่านไฟล์ Configuration เป็นแบบ INI และมีมานานแล้วด้วย เราไ...
I have a strong passion in data engineering and I always seek out and learn new stuff related to it. I think it would be helpful to share my favorites so far. Below is the list of the YouTube channels I would like to recommend. Data Council Jesse A...
This article shows you an example of how to run a SQL query on BigQuery from Airflow using BigQueryExecuteOperator. There are tons of articles explain what Airflow is, so I won't do that here. Okie, let's get started! 👨🏻💻 First of all, you'll nee...
เมื่อประมาณปลายปีที่แล้วผมได้ยินศัพท์ใหม่ "Data Mesh" ฟังแล้วดูแปลกดี แนวคิดจะเหมือนพวก Microservices หรือ Service Mesh อะไรหรือเปล่า ก็เลยได้ลองฟัง Talk ของ Zhamak Dehghani ครับ จากงาน QCon 2019 https://www.youtube.com/watch?v=52MCFe4v0UU เค้าพูดตั้...