Search for a command to run...
Articles tagged with #data-science
ตอนนี้ผมพยายามอยากจะสร้าง community ของชาว data engineer ในเมืองไทย เป้าหมายคืออยากจะเป็น center of excellence ที่ใครก็ตามอยากทำงานในสายงานนี้ หรือมีความสนใจจะเข้ามาพูดคุยแลกเปลี่ยนความคิดเห็นกัน ก็จะสามารถเข้ามาแสดงความคิดเห็นได้อย่างมีอิสระเสรีภาพเ...
Dagster ตามชื่อของมันเลยคือ data orchestrator สำหรับงานพวก machine learning, analytics และ ETL ซึ่งเป็นเครื่องมือที่ช่วยเรื่อง workflow management อีกตัวหนึ่งที่กำลังมาแรงไม่แพ้ Airflow เลยทีเดียว จริงๆ แล้ว Nick Schrock (ผู้พัฒนา) ไม่ได้ตั้งใจจะทำอ...
เกริ่น ในสายงาน Data Science & Engineering การทำ Scraping เป็นวิธีหนึ่งในการดึงข้อมูลจากระบบหนึ่งๆ ในกรณีที่เค้าไม่ได้มี API ไว้ให้เราใช้ อย่างเช่น หน้าเว็บไซต์ต่างๆ หรือข้อมูลที่อยู่ในไฟล์พวก PDF เป็นต้น ถ้าเรามีความสามารถในการเขียนโค้ดทำ Scraping ไ...
เป็นหนังสือที่เขียนโดย James Densmore, Director of Data Infrastructure ที่ HubSpot ขอสรุปออกมา 3 ประโยค 😎 ครบเครื่องในการออกแบบและสร้าง Data Pipeline ที่ดี เริ่มตั้งแต่ Data Pipeline คืออะไร มีบทบาทอย่างไรใน Data Infrastructure แนวทางการออกแบบ และ...
เมื่อประมาณปลายปีที่แล้วผมได้ยินศัพท์ใหม่ "Data Mesh" ฟังแล้วดูแปลกดี แนวคิดจะเหมือนพวก Microservices หรือ Service Mesh อะไรหรือเปล่า ก็เลยได้ลองฟัง Talk ของ Zhamak Dehghani ครับ จากงาน QCon 2019 https://www.youtube.com/watch?v=52MCFe4v0UU เค้าพูดตั้...
ก่อนหน้านี้ผมเขียนไป 2 บทความเกี่ยวกับ dbt ถ้าใครยังไม่ได้อ่าน ขอให้ลองย้อนกลับไปอ่านก่อนนะครับ 😉 dbt คืออะไรนะ? เริ่มต้นกับ dbt เนื้อหาในบทความนี้อยากจะกล่าวถึง 2 ส่วนหลักๆ คือ การจัดการโมเดล (เบื้องต้น) ใน dbt และการทดสอบ การจัดการโมเดล ซึ่งจากบ...