Meta เปิดตัวโครงการ Velox ตัวปรับแต่งประสิทธิภาพฐานข้อมูล รองรับ Spark, Presto, PyTorch

By mk Founder on Tag: Meta, Database, Development, Apache Spark, Presto, PyTorch
Meta

เมื่อเดือนมีนาคมที่ผ่านมา Meta เปิดตัวโครงการ Velox เป็น unified execution engine กลางสำหรับฐานข้อมูลหรือระบบจัดการข้อมูลหลายรูปแบบ ตอบโจทย์ระดับโครงสร้างพื้นฐานของบริษัทใหญ่ระดับ Meta ที่ต้องใช้ฐานข้อมูลหลากหลาย และซับซ้อนขึ้นเรื่อยๆ

Velox จึงถูกสร้างขึ้นเพื่อจัดระเบียบวิธีการเก็บและเรียกใช้ข้อมูลที่แตกต่างกัน ช่วยลดความซ้ำซ้อนในการพัฒนา และรีดประสิทธิภาพของการเก็บข้อมูลให้ดีขึ้น แก้ปัญหาเอนจินแต่ละตัวมีวิธี optimized ที่แตกต่างกัน

Read more

IBM ซื้อกิจการ Ahana บริษัทพัฒนา Presto ซอฟต์แวร์คิวรี SQL ขนาดใหญ่

By mk Founder on Tag: Presto, IBM, Acquisition, Database, SQL
Presto

IBM ซื้อกิจการบริษัท Ahana ซึ่งทำซอฟต์แวร์คิวรี Presto โดยไม่เปิดเผยมูลค่า

Presto เป็นซอฟต์แวร์คิวรี SQL engine ที่ทำงานกับฐานข้อมูลได้หลากหลาย (ทั้ง MySQL, Hadoop, Cassandra, MongoDB, Amazon S3) แนวคิดของมันคือการทำงานแบบกระจายศูนย์เพื่อให้สเกลรองรับโหลดจำนวนมากได้ ซอฟต์แวร์ถูกนำไปใช้ในบริษัทไอทีใหญ่ๆ หลายแห่ง เช่น Netflix, Uber และ AWS นำไปให้บริการชื่อ Amazon Athena

Read more

Facebook เปิดซอร์ส Presto เครื่องมือคิวรีข้อมูลขนาดใหญ่

By mk Founder on Tag: Open Source, Big Data, SQL, Facebook, Presto
Open Source

อธิบายสั้นๆ มันคือคู่แข่งของ Apache Hive ที่พัฒนาโดย Facebook ครับ

อธิบายแบบยาวๆ คือบริษัทแบบ Facebook ที่ต้องยุ่งเกี่ยวกับข้อมูลจำนวนมหาศาลระดับ petabyte มีงานเบื้องหลังที่ต้องดึงข้อมูลเก่าที่เก็บใน data warehouse (ที่เก็บด้วย Hadoop/HFS) มาวิเคราะห์อยู่บ่อยๆ ปัญหาคือระบบคิวรีข้อมูลอย่าง Hive ที่พัฒนาอยู่บนแนวคิด MapReduce นั้นออกแบบโดยเน้นสมรรถภาพโดยรวม (overall throughput) เป็นสำคัญ แต่สิ่งที่ Facebook ต้องการคือระบบคิวรีข้อมูลที่มีการตอบสนองรวดเร็ว (low query latency)

Read more
Subscribe to Presto