PyTorch

PyTorch ทดสอบรัน LLM ด้วย OpenAI Triton แทน CUDA รันได้สูงสุด 82% ของ CUDA

By lew

on 8 September 2024 - 15:35 Tag: PyTorch, CUDA, Artificial Intelligence

PyTorch

ทีมวิศวกรจาก IBM และ Meta รายงานถึงการทดลองเปลี่ยนเคอร์เนลการรัน LLM ใน PyTorch จากเดิมที่ใช้ CUDA เป็นหลัก มาเป็นภาษา Triton ของ OpenAI โดยพบว่าประสิทธิภาพเริ่มใกล้เคียงกับ CUDA

OpenAI เปิดตัวโครงการ Triton มาตั้งแต่ปี 2021 โดยมุ่งจะพัฒนาภาษาที่ทำให้โปรแกรมเมอร์เขียนโปรแกรมโดยตรงบนชิปกราฟิกได้ง่ายขึ้น นอกจากการถอด CUDA แล้วยังต้องเลือกเอนจิน Flash Attention มาแทน cuDNN Flash Attention เพื่อรันโมเดล LLM พบว่า AMD Flash Attention ทำงานได้ครบถ้วนทุกโหมด

ไมโครซอฟท์ดัน DirectML รัน AI บนฮาร์ดแวร์ทุกประเภท, PyTorch รองรับแล้ว

By lew

on 22 May 2024 - 01:36 Tag: Windows, Artificial Intelligence, PyTorch, Microsoft

Windows

ไมโครซอฟท์ประกาศเดินหน้าผลักดัน DirectML ให้เป็นแพลตฟอร์มหลักในการพัฒนา AI บนพีซีหากผู้ใช้ต้องการใช้โมเดลของตัวเอง หลังพัฒนามาระยะหนึ่งและรองรับ NPU ตั้งแต่ปลายปีที่ผ่านมา

Fedora Linux ออกเวอร์ชัน 40 เพิ่ม Atomic Desktop, มีแพ็กเกจ PyTorch เข้ามาเป็นครั้งแรก

By mk

on 24 April 2024 - 13:30 Tag: Fedora, Linux, PyTorch, Open Source

Fedora

Fedora Linux ออกเวอร์ชัน 40 มีของใหม่ดังนี้

GNOME 46
KDE Plasma 6
Fedora Atomic Desktops อิมเมจแบบระบบแพ็กเกจ ostree แก้ไขภายหลังไม่ได้
ผนวกเอาแพ็กเกจ PyTorch เข้ามาเป็นดีฟอลต์เป็นครั้งแรก ตอนนี้ยังรองรับเฉพาะการรันบนซีพียู แต่ในอนาคตจะเพิ่มเครื่องมือ PyTorch เข้ามาทั้งชุด
ผนวกเอาแพ็กเกจ ROCm 6 ของจีพียูค่าย AMD เข้ามาในชุด และจะเปิดใช้งานกับ PyTorch ในอนาคต

ที่มา - Fedora

อินเทลสมัครเป็นสมาชิก PyTorch Foundation เร่งผลักดันให้รองรับซีพียู/จีพียูค่ายตัวเอง

By mk

on 11 August 2023 - 10:32 Tag: PyTorch, Intel, Artificial Intelligence

PyTorch

ซอฟต์แวร์ของวงการ AI ตอนนี้มีศูนย์กลางอยู่ที่โครงการ PyTorch ที่ริเริ่มโดย Facebook/Meta แต่ปีที่แล้ว 2022 โอนโครงการมาให้ PyTorch Foundation ดูแลแทน

PyTorch เป็นเหมือนซอฟต์แวร์ AI หลายๆ ตัวที่ยุคแรกรองรับเฉพาะจีพียู NVIDIA เท่านั้น แต่ภายหลังในยุค PyTorch 2.0 ก็รองรับจีพียู AMD มากขึ้น โดยมีศักดิ์ฐานะเท่ากับจีพียู NVIDIA แล้ว ไม่ต้องรออัพเดตตามหลังอีกต่อไป

ผลทดสอบชิป AI ของ AMD ประสิทธิภาพดีขึ้นมาก ทำได้ 80% ของชิป NVIDIA แล้ว

By mk

on 3 July 2023 - 11:49 Tag: AMD, Instinct, Artificial Intelligence, Processor, NVIDIA, Server, PyTorch

AMD

บริษัท MosaicML ที่เพิ่งถูกซื้อกิจการโดย Databricks เปิดเผยการใช้ชิปเร่งประมวลผล AI สองค่ายเปรียบเทียบกัน ได้แก่ NVIDIA A100 และ AMD MI250 (ทั้งสองรุ่นยังไม่ใช่ตัวใหม่ล่าสุด) พบว่าตอนนี้ชิปของ AMD สามารถทำประสิทธิภาพได้ราว 80% ของชิป NVIDIA แล้ว

PyTorch และ Hugging Face รองรับชิป AMD เต็มตัว ไม่ต้องรอตามหลัง NVIDIA อีกต่อไป

By mk

on 14 June 2023 - 11:21 Tag: PyTorch, AMD, Artificial Intelligence, Hugging Face, Instinct

PyTorch

Soumith Chintala ผู้ก่อตั้ง PyTorch และตัวแทน PyTorch Foundation ขึ้นเวทีงาน AMD ประกาศว่าซอฟต์แวร์ PyTorch 2.0 จะทำงานได้บนแพลตฟอร์มของ AMD ตั้งแต่แรก (Day 0 support) ไม่ต้องรออัพเดตตามหลังเหมือนกับสมัยก่อนๆ ที่ซอฟต์แวร์ด้าน AI มักอิงอยู่บนแพลตฟอร์ม NVIDIA CUDA อย่างเดียว

AMD เข้าเป็นสมาชิกร่วมก่อตั้ง PyTorch Foundation ตั้งแต่ต้น เพื่อผลักดันให้ PyTorch รองรับแพลตฟอร์ม ROCm ของตัวเอง โดยเริ่มตั้งแต่ PyTorch 1.12 ที่ออกกลางปี 2022

Meta เปิดตัว MTIA ชิป AI ตัวแรกที่บริษัทออกแบบเอง, สถาปัตยกรรม RISC-V คัสตอม

By mk

on 19 May 2023 - 10:22 Tag: Meta, ASICS, Artificial Intelligence, RISC-V, PyTorch, Processor

Meta เปิดตัวโครงการ Velox ตัวปรับแต่งประสิทธิภาพฐานข้อมูล รองรับ Spark, Presto, PyTorch

By mk

on 22 April 2023 - 20:08 Tag: Meta, Database, Development, Apache Spark, Presto, PyTorch

PyTorch ออกเวอร์ชันใหญ่ 2.0 รุ่นเสถียร ปรับสถาปัตยกรรม API ครั้งใหญ่

By mk

on 16 March 2023 - 10:58 Tag: PyTorch, Machine Learning, Open Source

PyTorch

โครงการ PyTorch (ที่ปัจจุบัน Meta ยกให้ Linux Foundation ไปดูแลต่อแล้ว) เปิดตัว PyTorch 2.0 เวอร์ชันอัพเกรดครั้งใหญ่ที่รอคอยกันมานาน และทดสอบแบบพรีวิวมาสักระยะหนึ่งแล้ว

ฟีเจอร์ใหม่ที่สำคัญที่สุดคือ torch.compile ที่เป็น API หลักตัวใหม่ของ PyTorch ที่ช่วยเพิ่มประสิทธิภาพของโมเดล (เฉลี่ย 21% บนทศนิยม Float32 และ 51% บนทศนิยม AMP/Float16) และจะเป็นแกนหลักของ PyTorch ซีรีส์ 2.x ต่อไปในอนาคต ตอนนี้ torch.compile ยังเป็น "ตัวเลือก" (optional) เลือกใช้ได้ตามต้องการ และเข้ากันได้กับโค้ดเก่า 100%

โครงการ PyTorch ถูกแฮ็กระบบจัดการแพ็กเกจ PyPI, ไบนารีถูกฝังมัลแวร์

By mk

on 2 January 2023 - 11:02 Tag: PyTorch, Python, Hacking, Security

PyTorch

PyTorch เฟรมเวิร์คด้าน AI ยอดนิยม โดนแฮ็กระบบแพ็กเกจ (Python Package Index หรือ PyPI) ในช่วงวันคริสต์มาส 2022 ที่ผ่านมา และตัวไฟล์ไบนารีของ PyTorch ถูกฝังมัลแวร์แอบมาด้วย

ความโชคดีคือไบนารี PyTorch ที่ถูกฝังมีเฉพาะเวอร์ชันทดสอบรายวัน (nightly) ที่มีผู้ใช้งานไม่เยอะนัก อย่างไรก็ตาม ผู้ที่ใช้แพ็กเกจ PyTorch-nightly ผ่านระบบแพ็กเกจ pip ของลินุกซ์ระหว่าง 25-30 ธันวาคม 2022 ควรถอนการติดตั้งและตรวจสอบระบบทันที

Meta ยกโครงการ PyTorch ให้ Linux Foundation ดูแลต่อแทน

By mk

on 13 September 2022 - 08:52 Tag: PyTorch, Meta, Linux Foundation, Open Source, Machine Learning

PyTorch

บริษัท Meta ประกาศยกโครงการ PyTorch เฟรมเวิร์คสำหรับงาน AI ให้กับ Linux Foundation ไปดูแลต่อ

Linux Foundation จะตั้งองค์กรลูก PyTorch Foundation โดยมีตัวแทนจากบริษัทอื่นๆ ในอุตสาหกรรม ได้แก่ AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure, Nvidia ร่วมเป็นคณะกรรมการกำกับดูแลทิศทางการพัฒนา PyTorch ต่อไป

PyTorch รองรับ Apple Silicon เต็มตัว ฝึกปัญญาประดิษฐ์เร็วขึ้น 6-8 เท่า

By lew

on 19 May 2022 - 14:00 Tag: PyTorch, Artificial Intelligence, Apple Silicon

PyTorch

PyTorch เฟรมเวิร์คปัญญาประดิษฐ์ประกาศเตรียมรองรับ API กราฟิก Metal ใน macOS ทำให้สามารถเร่งความเร็วด้วย Apple Silicon ได้เต็มรูปแบบ ทำให้การรันโมเดลปัญญาประดิษฐ์ทั้งการฝึกโมเดลและการใช้งานโมเดลประสิทธิภาพดีขึ้นมาก การฝึกโมเดลเร็วขึ้น 6-8 เท่า ขณะที่การรันโมเดลประสิทธิภาพดีขึ้นกว่า 20 เท่าตัวในบางกรณี

NVIDIA เปิดตัว MONAI ซอฟต์แวร์ AI เฉพาะทาง ใช้วิเคราะห์ภาพถ่ายทางการแพทย์

By mk

on 1 December 2020 - 17:17 Tag: NVIDIA, Artificial Intelligence, Health, PyTorch

NVIDIA

NVIDIA เปิดตัว Medical Open Network for AI (MONAI) เฟรมเวิร์คโอเพนซอร์สสำหรับ AI วิเคราะห์ภาพถ่ายทางการแพทย์ (medical imaging เช่น x-ray, CT, MRI, ultrasound) ตัวมันเองพัฒนาจาก PyTorch โดยมีโมเดลที่เทรนมาให้พร้อมใช้งานแล้ว 20 ตัว รวมถึงโมเดลใหม่ๆ ที่สร้างขึ้นมาสำหรับ COVID-19 ด้วย

MONAI เริ่มพัฒนาโดย NVIDIA และ King’s College London แต่ภายหลังก็มีสถาบันวิจัยด้านการแพทย์ในหลายประเทศ เช่น สหรัฐอเมริกา เยอรมนี และจีน เข้ามาร่วมพัฒนาด้วย

PyTorch รองรับ Android NNAPI ใช้ชิปเฉพาะช่วยรัน AI ลดงานซีพียูลงได้ 73%

By mk

on 16 November 2020 - 22:14 Tag: PyTorch, Android, Artificial Intelligence, Facebook

PyTorch

กูเกิลส่งเสริมการประมวลผล AI ขนาดเบาภายในตัวเครื่องสมาร์ทโฟน (on-device ML) มาได้สักพักใหญ่ๆ โดยตัวระบบปฏิบัติการ Android มีฟีเจอร์ชื่อ Neural Networks API (NNAPI) มาตั้งแต่ Android 8.1 เพื่อให้เฟรมเวิร์ค AI เรียกใช้งานชิปประมวลผลในเครื่อง (GPU หรือ NPU แล้วแต่ฮาร์ดแวร์มีให้ใช้)

ก่อนหน้านี้ เฟรมเวิร์ค AI ที่รองรับ Android NNAPI มีเพียงแค่ TensorFlow Lite ที่พัฒนาโดยกูเกิลเอง แต่ล่าสุด เฟรมเวิร์คยอดนิยมอีกตัวคือ PyTorch (ทีมพัฒนาหลักคือ Facebook) ประกาศรองรับ NNAPI อย่างเป็นทางการแล้ว

OpenAI ประกาศใช้ PyTorch เป็นหลัก

By lew

on 3 February 2020 - 00:39 Tag: OpenAI, Artificial Intelligence, PyTorch

OpenAI

OpenAI บริษัทปัญญาประดิษฐ์ที่ไม่เน้นผลกำไรที่ก่อตั้งในปี 2015 มีผลงานเด่นๆ ต่อเนื่อง ออกมาประกาศว่าจะพยายามพัฒนาปัญญาประดิษฐ์ใหม่ๆ โดยใช้ PyTorch เป็นไลบรารีมาตรฐานแทนที่จะพิจารณาเป็นรายโครงการเหมือนที่ผ่านมา

โครงการเด่นๆ ของ OpenAI ที่ผ่านมา อย่าง GPT-2 ปัญญาประดิษฐ์ทำนายคำที่ใช้สร้างแชตบอตหรือตัวช่วยเขียนโปรแกรมนั้นใช้ Tensorflow ในการพัฒนา

คล้าย Docker Hub แต่สำหรับ AI, ทีมงาน PyTorch เปิดตัว PyTorch Hub โหลดโมเดลมาใช้ได้ทันที

By lew

on 11 June 2019 - 18:58 Tag: PyTorch, Artificial Intelligence

PyTorch

ทีมงาน PyTorch เปิดตัวบริการ PyTorch Hub บริการเชื่อมงานวิจัยเข้ากับโมเดลปัญญาประดิษฐ์เพื่อให้นักวิจัยภายนอกสามารถตรวจการทำงานของโมเดลที่เผยแพร่ออกมาได้ดีขึ้น

PyTorch Hub ทำให้ผู้ใช้สามารถค้นหาและดาวน์โหลดโมเดลได้ง่ายๆ เหมือนการดาวน์โหลดอิมเมจของ Docker เช่น การรันโค้ด torch.hub.list('pytorch/vision') ก็จะได้รายการโมเดลของ PyTorch สำหรับการประมวลผลภาพออกมา และสามารถสั่งดาวน์โหลดได้ด้วยคำสั่งเดียว

Facebook โอเพ่นซอร์ส Pythia เฟรมเวิร์ค machine learning ด้านภาพและภาษาที่พัฒนาบน PyTorch

By nutmos

on 23 May 2019 - 15:18 Tag: Facebook, Open Source, Machine Learning, PyTorch

Facebook

ฝ่ายวิจัย AI ของ Facebook ได้โอเพ่นซอร์ส Pythia เฟรมเวิร์คแบบ plug-and-play สำหรับนักวิทยาการข้อมูลเพื่อการสร้าง, ทำสำเนา และวัด benchmark ของ AI model โดยเฟรมเวิร์คนี้พัฒนาบน PyTorch อีกชั้นหนึ่ง

Facebook ระบุว่า Pythia รองรับ distributed training และดาต้าเซ็ทหลายแบบ รวมถึง custom loss, metrics, scheduling และ optimizers แบบปรับแต่งเอง ซึ่งตัวเฟรมเวิร์คออกแบบมาให้เหมาะกับงานประเภท vision และงานด้านภาษา เช่น การสร้างแคปชั่นของภาพ เป็นต้น

PyTorch ออกเวอร์ชัน 1.0 แล้ว รุ่นเสถียรสำหรับการใช้งานทั่วไป

By mk

on 9 December 2018 - 11:32 Tag: PyTorch, Deep Learning, Facebook, Open Source

PyTorch

PyTorch ไลบรารี deep learning จากค่าย Facebook ออกเวอร์ชัน 1.0 stable แล้ว หลังออกเวอร์ชัน 1.0 dev มาตั้งแต่เดือนพฤษภาคม และรุ่นพรีวิวก่อนตัวจริงเมื่อเดือนตุลาคม

PyTorch เป็นไลบรารีที่พัฒนาจาก Torch ที่ได้รับความนิยมในสายงานวิจัย แต่รองรับภาษา Python เป็นหลัก ทำให้ใช้งานง่ายกว่า Torch (ที่เขียนด้วย Lua เป็นหลัก) ทีมพัฒนาหลักของ PyTorch คือพนักงานของ Facebook และเป็นไลบรารีที่ได้รับความนิยมมากขึ้นเรื่อยๆ ในช่วงหลัง โดยเป็นโครงการที่เติบโตเร็วเป็นอันดับสองบน GitHub (อันดับหนึ่งคือ Azure Docs)

เฟซบุ๊กประกาศฟีเจอร์เพิ่มเติมใน PyTorch 1.0 กูเกิลกำลังช่วยพัฒนาให้รองรับ TPU ด้วย

By lew

on 4 October 2018 - 08:02 Tag: PyTorch, Deep Learning, TPU, Google, Facebook

PyTorch

เฟซบุ๊กเปิดตัว PyTorch 1.0 ตั้งแต่เดือนพฤษภาคมที่ผ่านมา โดยตอนนี้ก็ยังเป็นเพียงรุ่นพรีวิวอยู่ อย่างไรก็ตามที่งาน PyTorch Developer Conference เมื่อวานนี้ก็มีการประกาศความก้าวหน้าของโครงการเพิ่มเติม

ฟีเจอร์ที่เพิ่มมาคือการทำงานในโหมด eager ที่ช่วยให้นักพัฒนาสามารถทดลองกับกราฟประมวลผลได้ง่ายขึ้น และมีการปรับปรุงไลบรารี torch.distributed โดยตอนนี้รองรับทั้ง Python และ C++

PyTorch เปิดตัวรุ่น 1.0 เตรียมออกเบต้าอีกไม่กี่เดือนข้างหน้า

By lew

on 3 May 2018 - 11:03 Tag: PyTorch, Facebook, Artificial Intelligence, Open Source

PyTorch

เฟซบุ๊ก "เปิดตัว" PyTorch 1.0 รุ่นสำหรับโปรดักชั่น โดยเฟซบุ๊กประกาศฟีเจอร์ใหม่ๆ ในงาน F8 ก่อน และโค้ดจริงจะปล่อยออกมาในอีกไม่กี่เดือนข้างหน้า

ฟีเจอร์สำคัญคือการรองรับ ONNX ฟอร์แมตกลางสำหรับการเก็บโมเดลปัญญาประดิษฐ์ ตัวอย่างของเฟซบุ๊กคือการใช้งาน PyTorch ในงานพัฒนา ไปรันในระบบโปรดักชั่นที่ใช้ Caffe2 โดยใน PyTorch 1.0 การเซฟโมเดลจะใช้ ONNX เป็นหลัก

นอกจาก ONNX แล้ว PyTorch 1.0 ยังเพิ่มเครื่องมือ, ไลบรารี, และโมเดลสำเร็จรูปมาให้อีกจำนวนหนึ่ง แต่เฟซบุ๊กไม่ได้ระบุชัดเจนว่าจะมีอะไรบ้าง

Subscribe to PyTorch