Tags:
Node Thumbnail

ไมโครซอฟท์เปิดตัวบริการใหม่ Azure Data Lake แพลตฟอร์มสำหรับจัดเก็บและประมวลผลข้อมูลขนาดใหญ่ (big data) บนกลุ่มเมฆ

Azure Data Lake ประกอบด้วยชิ้นส่วนย่อย ดังนี้

  • Azure Data Lake Store เป็นบริการสำหรับจัดเก็บข้อมูล (data store) จากแหล่งอื่น เช่น เว็บไซต์ เซ็นเซอร์ หรืออุปกรณ์ต่างๆ จุดเด่นของมันคือเก็บข้อมูลอยู่บนแพลตฟอร์มของ Azure และเข้ากันได้กับระบบไฟล์ HDFS สามารถนำไปประมวลผลต่อด้วยแอพพลิเคชัน Hadoop ได้
  • Azure Data Lake Analytics เป็นบริการตัวใหม่สำหรับวิเคราะห์ข้อมูล โดยไมโครซอฟท์นำโค้ดของโครงการ Apache YARN มาปรับปรุงให้ทำงานบน Azure ได้ดีขึ้น
  • Azure HDInsight ดิสโทร Hadoop/Spark/HBase/Storm เวอร์ชันของไมโครซอฟท์ที่พัฒนามาได้สักระยะแล้ว ล่าสุดออกเวอร์ชันลินุกซ์แล้ว

    No Description

ส่วนของ Analytics ไมโครซอฟท์ยังพัฒนาภาษาใหม่ชื่อ U-SQL (ย่อมาจาก unified) โดยรวมเอาจุดเด่นของภาษาคิวรีข้อมูล SQL มาผสมกับภาษาโปรแกรมมิ่ง (อิงจาก C#) และภาษา SCOPE ที่ไมโครซอฟท์พัฒนาขึ้นใช้ภายใน การสร้างภาษา U-SQL ช่วยให้การวิเคราะห์ข้อมูลขนาดใหญ่ทำได้ง่ายขึ้น จบในภาษาเดียว และยังคง syntax ที่คุ้นเคยจาก ANSI SQL (ที่ใช้ใน SQL Server) และ C# อีกด้วย

ไมโครซอฟท์จะเปิดบริการ Azure Data Lake รุ่นพรีวิวช่วงปลายปีนี้

ที่มา - Microsoft (Data Lake), Microsoft (U-SQL)

ตัวอย่างภาษา U-SQL

@t = EXTRACT date string
           , time string
           , author string
           , tweet string
     FROM "/input/MyTwitterHistory.csv"
     USING Extractors.Csv();
 
@res = SELECT author
            , COUNT(*) AS tweetcount
       FROM @t
       GROUP BY author;
 
OUTPUT @res TO "/output/MyTwitterAnalysis.csv"
ORDER BY tweetcount DESC
USING Outputters.Csv();
Get latest news from Blognone

Comments

By: thep497
Windows PhoneAndroidWindows
on 5 October 2015 - 08:27 #849584
thep497's picture

เข้าใจคิดเนอะ U-SQL ต่อจาก T-SQL เหมือนในภาษาอังกฤษ QRSTUV

By: IonRa
iPhone
on 5 October 2015 - 09:12 #849604

คนที่เขาเขียนโปรแกรมเป็นหลายๆภาษาเขามีเทคนิคยังถึงไม่งงเวลาเรียนนะ

By: 21Aki
ContributorAndroidWindows
on 5 October 2015 - 10:52 #849626 Reply to:849604
21Aki's picture

ใช้บ่อยๆ ครับ จริงๆ ผมมองแต่ละภาษาคอมพิวเตอร์เหมือนภาษาจริงๆ เราอยากเรียนภาษาไหน ต้องใช้บ่อยๆ ครับ ยิ่งกับคอมยิ่งง่ายครับ เพราะคอมเหมือนเป็นเจ้าของภาษา เราพูดผิด (เขียนผิด) มันจะบอกเลยว่าผิดตรงไหน 555

By: level255
Windows
on 6 October 2015 - 10:25 #849949
level255's picture

งงครับ โดยเฉพาะ Syntax
Java & C# ไม่เท่าไหร่ Syntax ไกล้กัน

แต่เมื่อไหร่ทำ Swift/php จะค่อนข้างมึน

*** ทุกข์ของ Full Stack Dev