PyTorch

PyTorch ทดสอบรัน LLM ด้วย OpenAI Triton แทน CUDA รันได้สูงสุด 82% ของ CUDA

By lew

on 8 September 2024 - 15:35 Tag: PyTorch, CUDA, Artificial Intelligence

PyTorch

ทีมวิศวกรจาก IBM และ Meta รายงานถึงการทดลองเปลี่ยนเคอร์เนลการรัน LLM ใน PyTorch จากเดิมที่ใช้ CUDA เป็นหลัก มาเป็นภาษา Triton ของ OpenAI โดยพบว่าประสิทธิภาพเริ่มใกล้เคียงกับ CUDA

OpenAI เปิดตัวโครงการ Triton มาตั้งแต่ปี 2021 โดยมุ่งจะพัฒนาภาษาที่ทำให้โปรแกรมเมอร์เขียนโปรแกรมโดยตรงบนชิปกราฟิกได้ง่ายขึ้น นอกจากการถอด CUDA แล้วยังต้องเลือกเอนจิน Flash Attention มาแทน cuDNN Flash Attention เพื่อรันโมเดล LLM พบว่า AMD Flash Attention ทำงานได้ครบถ้วนทุกโหมด

ไมโครซอฟท์ดัน DirectML รัน AI บนฮาร์ดแวร์ทุกประเภท, PyTorch รองรับแล้ว

By lew

on 22 May 2024 - 01:36 Tag: Windows, Artificial Intelligence, PyTorch, Microsoft

Windows

ไมโครซอฟท์ประกาศเดินหน้าผลักดัน DirectML ให้เป็นแพลตฟอร์มหลักในการพัฒนา AI บนพีซีหากผู้ใช้ต้องการใช้โมเดลของตัวเอง หลังพัฒนามาระยะหนึ่งและรองรับ NPU ตั้งแต่ปลายปีที่ผ่านมา

Fedora Linux ออกเวอร์ชัน 40 เพิ่ม Atomic Desktop, มีแพ็กเกจ PyTorch เข้ามาเป็นครั้งแรก

By mk

on 24 April 2024 - 13:30 Tag: Fedora, Linux, PyTorch, Open Source

Fedora

Fedora Linux ออกเวอร์ชัน 40 มีของใหม่ดังนี้

GNOME 46
KDE Plasma 6
Fedora Atomic Desktops อิมเมจแบบระบบแพ็กเกจ ostree แก้ไขภายหลังไม่ได้
ผนวกเอาแพ็กเกจ PyTorch เข้ามาเป็นดีฟอลต์เป็นครั้งแรก ตอนนี้ยังรองรับเฉพาะการรันบนซีพียู แต่ในอนาคตจะเพิ่มเครื่องมือ PyTorch เข้ามาทั้งชุด
ผนวกเอาแพ็กเกจ ROCm 6 ของจีพียูค่าย AMD เข้ามาในชุด และจะเปิดใช้งานกับ PyTorch ในอนาคต

ที่มา - Fedora

อินเทลสมัครเป็นสมาชิก PyTorch Foundation เร่งผลักดันให้รองรับซีพียู/จีพียูค่ายตัวเอง

By mk

on 11 August 2023 - 10:32 Tag: PyTorch, Intel, Artificial Intelligence

PyTorch

ซอฟต์แวร์ของวงการ AI ตอนนี้มีศูนย์กลางอยู่ที่โครงการ PyTorch ที่ริเริ่มโดย Facebook/Meta แต่ปีที่แล้ว 2022 โอนโครงการมาให้ PyTorch Foundation ดูแลแทน

PyTorch เป็นเหมือนซอฟต์แวร์ AI หลายๆ ตัวที่ยุคแรกรองรับเฉพาะจีพียู NVIDIA เท่านั้น แต่ภายหลังในยุค PyTorch 2.0 ก็รองรับจีพียู AMD มากขึ้น โดยมีศักดิ์ฐานะเท่ากับจีพียู NVIDIA แล้ว ไม่ต้องรออัพเดตตามหลังอีกต่อไป

ผลทดสอบชิป AI ของ AMD ประสิทธิภาพดีขึ้นมาก ทำได้ 80% ของชิป NVIDIA แล้ว

By mk

on 3 July 2023 - 11:49 Tag: AMD, Instinct, Artificial Intelligence, Processor, NVIDIA, Server, PyTorch

AMD

บริษัท MosaicML ที่เพิ่งถูกซื้อกิจการโดย Databricks เปิดเผยการใช้ชิปเร่งประมวลผล AI สองค่ายเปรียบเทียบกัน ได้แก่ NVIDIA A100 และ AMD MI250 (ทั้งสองรุ่นยังไม่ใช่ตัวใหม่ล่าสุด) พบว่าตอนนี้ชิปของ AMD สามารถทำประสิทธิภาพได้ราว 80% ของชิป NVIDIA แล้ว

PyTorch และ Hugging Face รองรับชิป AMD เต็มตัว ไม่ต้องรอตามหลัง NVIDIA อีกต่อไป

By mk

on 14 June 2023 - 11:21 Tag: PyTorch, AMD, Artificial Intelligence, Hugging Face, Instinct

PyTorch

Soumith Chintala ผู้ก่อตั้ง PyTorch และตัวแทน PyTorch Foundation ขึ้นเวทีงาน AMD ประกาศว่าซอฟต์แวร์ PyTorch 2.0 จะทำงานได้บนแพลตฟอร์มของ AMD ตั้งแต่แรก (Day 0 support) ไม่ต้องรออัพเดตตามหลังเหมือนกับสมัยก่อนๆ ที่ซอฟต์แวร์ด้าน AI มักอิงอยู่บนแพลตฟอร์ม NVIDIA CUDA อย่างเดียว

AMD เข้าเป็นสมาชิกร่วมก่อตั้ง PyTorch Foundation ตั้งแต่ต้น เพื่อผลักดันให้ PyTorch รองรับแพลตฟอร์ม ROCm ของตัวเอง โดยเริ่มตั้งแต่ PyTorch 1.12 ที่ออกกลางปี 2022

Meta เปิดตัว MTIA ชิป AI ตัวแรกที่บริษัทออกแบบเอง, สถาปัตยกรรม RISC-V คัสตอม

By mk

on 19 May 2023 - 10:22 Tag: Meta, ASICS, Artificial Intelligence, RISC-V, PyTorch, Processor

Meta เปิดตัวโครงการ Velox ตัวปรับแต่งประสิทธิภาพฐานข้อมูล รองรับ Spark, Presto, PyTorch

By mk

on 22 April 2023 - 20:08 Tag: Meta, Database, Development, Apache Spark, Presto, PyTorch

PyTorch ออกเวอร์ชันใหญ่ 2.0 รุ่นเสถียร ปรับสถาปัตยกรรม API ครั้งใหญ่

By mk

on 16 March 2023 - 10:58 Tag: PyTorch, Machine Learning, Open Source

PyTorch

โครงการ PyTorch (ที่ปัจจุบัน Meta ยกให้ Linux Foundation ไปดูแลต่อแล้ว) เปิดตัว PyTorch 2.0 เวอร์ชันอัพเกรดครั้งใหญ่ที่รอคอยกันมานาน และทดสอบแบบพรีวิวมาสักระยะหนึ่งแล้ว

ฟีเจอร์ใหม่ที่สำคัญที่สุดคือ torch.compile ที่เป็น API หลักตัวใหม่ของ PyTorch ที่ช่วยเพิ่มประสิทธิภาพของโมเดล (เฉลี่ย 21% บนทศนิยม Float32 และ 51% บนทศนิยม AMP/Float16) และจะเป็นแกนหลักของ PyTorch ซีรีส์ 2.x ต่อไปในอนาคต ตอนนี้ torch.compile ยังเป็น "ตัวเลือก" (optional) เลือกใช้ได้ตามต้องการ และเข้ากันได้กับโค้ดเก่า 100%

โครงการ PyTorch ถูกแฮ็กระบบจัดการแพ็กเกจ PyPI, ไบนารีถูกฝังมัลแวร์

By mk

on 2 January 2023 - 11:02 Tag: PyTorch, Python, Hacking, Security

PyTorch

PyTorch เฟรมเวิร์คด้าน AI ยอดนิยม โดนแฮ็กระบบแพ็กเกจ (Python Package Index หรือ PyPI) ในช่วงวันคริสต์มาส 2022 ที่ผ่านมา และตัวไฟล์ไบนารีของ PyTorch ถูกฝังมัลแวร์แอบมาด้วย

ความโชคดีคือไบนารี PyTorch ที่ถูกฝังมีเฉพาะเวอร์ชันทดสอบรายวัน (nightly) ที่มีผู้ใช้งานไม่เยอะนัก อย่างไรก็ตาม ผู้ที่ใช้แพ็กเกจ PyTorch-nightly ผ่านระบบแพ็กเกจ pip ของลินุกซ์ระหว่าง 25-30 ธันวาคม 2022 ควรถอนการติดตั้งและตรวจสอบระบบทันที

Meta ยกโครงการ PyTorch ให้ Linux Foundation ดูแลต่อแทน

By mk

on 13 September 2022 - 08:52 Tag: PyTorch, Meta, Linux Foundation, Open Source, Machine Learning

PyTorch

บริษัท Meta ประกาศยกโครงการ PyTorch เฟรมเวิร์คสำหรับงาน AI ให้กับ Linux Foundation ไปดูแลต่อ

Linux Foundation จะตั้งองค์กรลูก PyTorch Foundation โดยมีตัวแทนจากบริษัทอื่นๆ ในอุตสาหกรรม ได้แก่ AMD, Amazon Web Services, Google Cloud, Meta, Microsoft Azure, Nvidia ร่วมเป็นคณะกรรมการกำกับดูแลทิศทางการพัฒนา PyTorch ต่อไป

PyTorch รองรับ Apple Silicon เต็มตัว ฝึกปัญญาประดิษฐ์เร็วขึ้น 6-8 เท่า

By lew

on 19 May 2022 - 14:00 Tag: PyTorch, Artificial Intelligence, Apple Silicon

PyTorch

PyTorch เฟรมเวิร์คปัญญาประดิษฐ์ประกาศเตรียมรองรับ API กราฟิก Metal ใน macOS ทำให้สามารถเร่งความเร็วด้วย Apple Silicon ได้เต็มรูปแบบ ทำให้การรันโมเดลปัญญาประดิษฐ์ทั้งการฝึกโมเดลและการใช้งานโมเดลประสิทธิภาพดีขึ้นมาก การฝึกโมเดลเร็วขึ้น 6-8 เท่า ขณะที่การรันโมเดลประสิทธิภาพดีขึ้นกว่า 20 เท่าตัวในบางกรณี

NVIDIA เปิดตัว MONAI ซอฟต์แวร์ AI เฉพาะทาง ใช้วิเคราะห์ภาพถ่ายทางการแพทย์

By mk

on 1 December 2020 - 17:17 Tag: NVIDIA, Artificial Intelligence, Health, PyTorch

NVIDIA

NVIDIA เปิดตัว Medical Open Network for AI (MONAI) เฟรมเวิร์คโอเพนซอร์สสำหรับ AI วิเคราะห์ภาพถ่ายทางการแพทย์ (medical imaging เช่น x-ray, CT, MRI, ultrasound) ตัวมันเองพัฒนาจาก PyTorch โดยมีโมเดลที่เทรนมาให้พร้อมใช้งานแล้ว 20 ตัว รวมถึงโมเดลใหม่ๆ ที่สร้างขึ้นมาสำหรับ COVID-19 ด้วย

MONAI เริ่มพัฒนาโดย NVIDIA และ King’s College London แต่ภายหลังก็มีสถาบันวิจัยด้านการแพทย์ในหลายประเทศ เช่น สหรัฐอเมริกา เยอรมนี และจีน เข้ามาร่วมพัฒนาด้วย

PyTorch รองรับ Android NNAPI ใช้ชิปเฉพาะช่วยรัน AI ลดงานซีพียูลงได้ 73%

By mk

on 16 November 2020 - 22:14 Tag: PyTorch, Android, Artificial Intelligence, Facebook

PyTorch

กูเกิลส่งเสริมการประมวลผล AI ขนาดเบาภายในตัวเครื่องสมาร์ทโฟน (on-device ML) มาได้สักพักใหญ่ๆ โดยตัวระบบปฏิบัติการ Android มีฟีเจอร์ชื่อ Neural Networks API (NNAPI) มาตั้งแต่ Android 8.1 เพื่อให้เฟรมเวิร์ค AI เรียกใช้งานชิปประมวลผลในเครื่อง (GPU หรือ NPU แล้วแต่ฮาร์ดแวร์มีให้ใช้)

ก่อนหน้านี้ เฟรมเวิร์ค AI ที่รองรับ Android NNAPI มีเพียงแค่ TensorFlow Lite ที่พัฒนาโดยกูเกิลเอง แต่ล่าสุด เฟรมเวิร์คยอดนิยมอีกตัวคือ PyTorch (ทีมพัฒนาหลักคือ Facebook) ประกาศรองรับ NNAPI อย่างเป็นทางการแล้ว

OpenAI ประกาศใช้ PyTorch เป็นหลัก

By lew

on 3 February 2020 - 00:39 Tag: OpenAI, Artificial Intelligence, PyTorch

OpenAI

OpenAI บริษัทปัญญาประดิษฐ์ที่ไม่เน้นผลกำไรที่ก่อตั้งในปี 2015 มีผลงานเด่นๆ ต่อเนื่อง ออกมาประกาศว่าจะพยายามพัฒนาปัญญาประดิษฐ์ใหม่ๆ โดยใช้ PyTorch เป็นไลบรารีมาตรฐานแทนที่จะพิจารณาเป็นรายโครงการเหมือนที่ผ่านมา

โครงการเด่นๆ ของ OpenAI ที่ผ่านมา อย่าง GPT-2 ปัญญาประดิษฐ์ทำนายคำที่ใช้สร้างแชตบอตหรือตัวช่วยเขียนโปรแกรมนั้นใช้ Tensorflow ในการพัฒนา

คล้าย Docker Hub แต่สำหรับ AI, ทีมงาน PyTorch เปิดตัว PyTorch Hub โหลดโมเดลมาใช้ได้ทันที

By lew

on 11 June 2019 - 18:58 Tag: PyTorch, Artificial Intelligence

PyTorch

ทีมงาน PyTorch เปิดตัวบริการ PyTorch Hub บริการเชื่อมงานวิจัยเข้ากับโมเดลปัญญาประดิษฐ์เพื่อให้นักวิจัยภายนอกสามารถตรวจการทำงานของโมเดลที่เผยแพร่ออกมาได้ดีขึ้น

PyTorch Hub ทำให้ผู้ใช้สามารถค้นหาและดาวน์โหลดโมเดลได้ง่ายๆ เหมือนการดาวน์โหลดอิมเมจของ Docker เช่น การรันโค้ด torch.hub.list('pytorch/vision') ก็จะได้รายการโมเดลของ PyTorch สำหรับการประมวลผลภาพออกมา และสามารถสั่งดาวน์โหลดได้ด้วยคำสั่งเดียว

Facebook โอเพ่นซอร์ส Pythia เฟรมเวิร์ค machine learning ด้านภาพและภาษาที่พัฒนาบน PyTorch

By nutmos

on 23 May 2019 - 15:18 Tag: Facebook, Open Source, Machine Learning, PyTorch

Facebook

ฝ่ายวิจัย AI ของ Facebook ได้โอเพ่นซอร์ส Pythia เฟรมเวิร์คแบบ plug-and-play สำหรับนักวิทยาการข้อมูลเพื่อการสร้าง, ทำสำเนา และวัด benchmark ของ AI model โดยเฟรมเวิร์คนี้พัฒนาบน PyTorch อีกชั้นหนึ่ง

Facebook ระบุว่า Pythia รองรับ distributed training และดาต้าเซ็ทหลายแบบ รวมถึง custom loss, metrics, scheduling และ optimizers แบบปรับแต่งเอง ซึ่งตัวเฟรมเวิร์คออกแบบมาให้เหมาะกับงานประเภท vision และงานด้านภาษา เช่น การสร้างแคปชั่นของภาพ เป็นต้น

PyTorch ออกเวอร์ชัน 1.0 แล้ว รุ่นเสถียรสำหรับการใช้งานทั่วไป

By mk

on 9 December 2018 - 11:32 Tag: PyTorch, Deep Learning, Facebook, Open Source

PyTorch

PyTorch ไลบรารี deep learning จากค่าย Facebook ออกเวอร์ชัน 1.0 stable แล้ว หลังออกเวอร์ชัน 1.0 dev มาตั้งแต่เดือนพฤษภาคม และรุ่นพรีวิวก่อนตัวจริงเมื่อเดือนตุลาคม

PyTorch เป็นไลบรารีที่พัฒนาจาก Torch ที่ได้รับความนิยมในสายงานวิจัย แต่รองรับภาษา Python เป็นหลัก ทำให้ใช้งานง่ายกว่า Torch (ที่เขียนด้วย Lua เป็นหลัก) ทีมพัฒนาหลักของ PyTorch คือพนักงานของ Facebook และเป็นไลบรารีที่ได้รับความนิยมมากขึ้นเรื่อยๆ ในช่วงหลัง โดยเป็นโครงการที่เติบโตเร็วเป็นอันดับสองบน GitHub (อันดับหนึ่งคือ Azure Docs)

เฟซบุ๊กประกาศฟีเจอร์เพิ่มเติมใน PyTorch 1.0 กูเกิลกำลังช่วยพัฒนาให้รองรับ TPU ด้วย

By lew

on 4 October 2018 - 08:02 Tag: PyTorch, Deep Learning, TPU, Google, Facebook

PyTorch

เฟซบุ๊กเปิดตัว PyTorch 1.0 ตั้งแต่เดือนพฤษภาคมที่ผ่านมา โดยตอนนี้ก็ยังเป็นเพียงรุ่นพรีวิวอยู่ อย่างไรก็ตามที่งาน PyTorch Developer Conference เมื่อวานนี้ก็มีการประกาศความก้าวหน้าของโครงการเพิ่มเติม

ฟีเจอร์ที่เพิ่มมาคือการทำงานในโหมด eager ที่ช่วยให้นักพัฒนาสามารถทดลองกับกราฟประมวลผลได้ง่ายขึ้น และมีการปรับปรุงไลบรารี torch.distributed โดยตอนนี้รองรับทั้ง Python และ C++

PyTorch เปิดตัวรุ่น 1.0 เตรียมออกเบต้าอีกไม่กี่เดือนข้างหน้า

By lew

on 3 May 2018 - 11:03 Tag: PyTorch, Facebook, Artificial Intelligence, Open Source

PyTorch

เฟซบุ๊ก "เปิดตัว" PyTorch 1.0 รุ่นสำหรับโปรดักชั่น โดยเฟซบุ๊กประกาศฟีเจอร์ใหม่ๆ ในงาน F8 ก่อน และโค้ดจริงจะปล่อยออกมาในอีกไม่กี่เดือนข้างหน้า

ฟีเจอร์สำคัญคือการรองรับ ONNX ฟอร์แมตกลางสำหรับการเก็บโมเดลปัญญาประดิษฐ์ ตัวอย่างของเฟซบุ๊กคือการใช้งาน PyTorch ในงานพัฒนา ไปรันในระบบโปรดักชั่นที่ใช้ Caffe2 โดยใน PyTorch 1.0 การเซฟโมเดลจะใช้ ONNX เป็นหลัก

นอกจาก ONNX แล้ว PyTorch 1.0 ยังเพิ่มเครื่องมือ, ไลบรารี, และโมเดลสำเร็จรูปมาให้อีกจำนวนหนึ่ง แต่เฟซบุ๊กไม่ได้ระบุชัดเจนว่าจะมีอะไรบ้าง

Subscribe to PyTorch

Apple

public://topics-images/apple_webp.png

SCB10X

public://topics-images/347823389_774095087711602_515970870797767330_n_webp.png

Windows 11

public://topics-images/hero-bloom-logo.jpg

Huawei

public://topics-images/huawei_standard_logo.svg_.png

Google Keep

public://topics-images/google_keep_2020_logo.svg_.png

Instagram

public://topics-images/instagram_logo_2022.svg_.png

SCB

public://topics-images/9crhwyxv_400x400.jpg

Microsoft

public://topics-images/microsoft_logo.svg_.png

Basecamp

public://topics-images/bwpepdi0_400x400.jpg

FTC

public://topics-images/seal_of_the_united_states_federal_trade_commission.svg_.png

public://topics-images/pinterest.png

Palantir

public://topics-images/-nzsuc6w_400x400.png

AIS Business

public://topics-images/logo-business-2021-1.png

PostgreSQL

public://topics-images/images.png

JetBrains

public://topics-images/icx8y2ta_400x400.png

Krungthai

public://topics-images/aam1jxs6_400x400.jpg

Palworld

public://topics-images/mccyhcqf_400x400.jpg

Bill Gates

public://topics-images/bill_gates-september_2024.jpg

VMware

public://topics-images/1nj4i1gp_400x400.jpg

Take-Two Interactive

public://topics-images/0khle7nh_400x400.jpg

OpenAI

public://topics-images/ztsar0jw_400x400.jpg

Thailand

public://topics-images/flag_of_thailand.svg_.png

ServiceNow

public://topics-images/ytnrfphe_400x400.png

Klarna

public://topics-images/urcllpjp_400x400.png

Google Play

public://topics-images/play.png

Drupal

public://topics-images/drupal.png

Virtua Fighter

public://topics-images/virtua_figther_2024_logo.png

Paradox Interactive

public://topics-images/paradox_interactive_logo.svg_.png

Europa Universalis

public://topics-images/europa-icon.png

Nintendo Switch 2

public://topics-images/mainvisual.png

Cloudflare

public://topics-images/cloudflare_logo.svg_.png

Samsung

public://topics-images/samsung.png

Google

public://topics-images/google_2015_logo.svg_.png

Uber

public://topics-images/uber.png

Microsoft 365

public://topics-images/m365.png

USA

public://topics-images/flag_of_the_united_states.svg_.png

public://topics-images/0pe0po-z_400x400.jpg

Perplexity

public://topics-images/perplex.jpg

Xperia

public://topics-images/xperia.png

iOS 18

public://topics-images/ios-18-num-96x96_2x.png

True

public://topics-images/true_logo.png

SoftBank

public://topics-images/softbank.jpg

Pac-Man

public://topics-images/pacman.png

Harry Potter

public://topics-images/harry.png

Marvel

public://topics-images/marvel.png

Skydance

public://topics-images/skydance.png

SEA

public://topics-images/sealogo.png

Find My Device

public://topics-images/find.png

Gemini

public://topics-images/google_gemini_logo.svg__1.png

Accessibility

public://topics-images/accessibility-128x128_2x.png

Material Design

public://topics-images/m3-favicon-apple-touch.png

Android 16

public://topics-images/android16.png

Android

public://topics-images/android_0.png

Firefox

public://topics-images/firefox_logo-2019.svg_.png

Google Messages

public://topics-images/messages.png

Notepad

public://topics-images/notepad.png

Singapore

public://topics-images/flag_of_singapore.svg_.png

Airbnb

public://topics-images/airbnb.png

PS5

public://topics-images/ps5.png

Krafton

public://topics-images/krafton.png

Doom

public://topics-images/doom-game-s_logo.svg_.png

AMD

public://topics-images/amd_logo.svg_.png

GTA

public://topics-images/gta_0.png

DoorDash

public://topics-images/doordash.png

YouTube

public://topics-images/yt.png

YouTube Music

public://topics-images/yt-music.png

Facebook

public://topics-images/fb.png

iQiyi

public://topics-images/iqiyi_0.png

Viu

public://topics-images/viu.png

Amazon Prime Video

public://topics-images/prime-vid.png

Spotify

public://topics-images/spotify.jpg

Apple TV

public://topics-images/apple-tv.png

HBO Max

public://topics-images/max.png

Threads

public://topics-images/threads.png

Alexa

public://topics-images/alexa.png

Kindle App

public://topics-images/kindle.png

Shopee

public://topics-images/shopee.png

Waze

public://topics-images/waze.png

Bilibili

public://topics-images/bili.png

Google Maps

public://topics-images/maps.png

Apple Music

public://topics-images/apple-music.png

Claude

public://topics-images/claude.png

TikTok

public://topics-images/tiktok.png

Xbox

public://topics-images/xbox.png

Tesla

public://topics-images/tesla.png

Chrome

public://topics-images/chrome.png

Google Calendar

public://topics-images/gcal.png

Google Home

public://topics-images/ghome.png

Google Meet

public://topics-images/meet.png

NotebookLM

public://topics-images/notebooklm.png

public://topics-images/reddit.png

Assassin’s Creed

public://topics-images/ac.png

Mark Zuckerberg

public://topics-images/zuck.jpg