on
ที่งาน NVIDIA GTC 2025 ตอนนี้ทาง NVIDIA เปิดตัวเครื่องเดสก์ทอปสองรุ่นที่ใช้ชิป Grace CPU Supership ออกมาสองรุ่น ได้แก่
- DGX Spark หรือชื่อเดิม Project DIGITS คอมพิวเตอร์ตั้งโต๊ะขนาดเล็กใช้ชิป GB10 จุดเด่นที่แรม 128GB แบบ unified memory ตอนนี้ทาง NVIDIA ก็ประกาศออกมาแล้วว่าจะเปิดให้ผู้ผลิต เช่น Asus, Dell, HP, Lenovo เป็นผู้ผลิตเครื่อง DGX Spark ภายใต้แบรนด์ของตัวเอง เริ่มจำหน่ายจริงเดือนกรกฎาคมนี้โดยเปิดลงชื่อจองตั้งแต่วันนี้
- DGX Station คอมพิวเตอร์เดสก์ทอปขนาดใหญ่ ใส่ชิป GB300 แรม 784GB เปิดทางให้รันโมเดลขนาดใหญ่มากได้ และจะผลิตโดยผู้ผลิตคอมพิวเตอร์แบรนด์อื่นๆ เช่นเดียวกัน เริ่มวางจำหน่ายจริงภายในปีนี้แต่ยังไม่กำหนดช่วงเวลา
ก่อนหน้านี้ NVIDIA มักแบ่งกลุ่มลูกค้าไว้ด้วยปริมาณหน่วยความจำที่ให้มา การที่รอบนี้ยอมใส่แรมขนาดใหญ่ในเครื่องเดสก์ทอปก็น่าจะเกิดจากการแข่งขันกับบริษัทอื่น เช่น แอปเปิลที่เริ่มชูธงการรัน AI ขนาดใหญ่ แต่ตอนนี้เครื่องทั้งสองรุ่นก็ยังไม่เปิดเผยราคา แม้ตัว Project DIGITS เคยระบุว่าเริ่มต้นที่ 3,000 ดอลลาร์
ที่มา - NVIDIA
ตอนนี้ผู้ผลิตที่ประกาศจะขาย DGX Spark และ DGX Station ก็เริ่มเปิดตัวสินค้ากันแล้ว
Introducing ASUS Ascent GX10: An AI supercomputer featuring NVIDIA GB10 Grace Blackwell Superchip and 128GB of coherent unified system memory for AI developers and data scientists to build and innovate on the latest AI reasoning models at their fingertips @NVIDIAGTC 25 pic.twitter.com/P7LNwUmDwT
— ASUS (@ASUS) March 18, 2025
run llama 405B แบบ local
dheerapat Wed, 19/03/2025 - 07:02
run llama 405B แบบ local ได้เลย
ต้องย่อหน่อยครับ FP8 น่าจะได้
lew Wed, 19/03/2025 - 07:09
In reply to run llama 405B แบบ local by dheerapat
ต้องย่อหน่อยครับ FP8 น่าจะได้
แต่อัดเต็มนี่ราคาไม่กล้าคิด จะหยุดที่ 7 หลักอยู่ไหม
run local ส่วนใหญ่ก็
dheerapat Wed, 19/03/2025 - 08:18
In reply to ต้องย่อหน่อยครับ FP8 น่าจะได้ by lew
run local ส่วนใหญ่ก็ quantized กัน Q6, Q4 กันอยู่แล้วแหละครับ แต่ถ้าโมเดลทั่วไปนี่คงได้ full precision เลยแหละมั้ง ผมว่าคงไม่ข้าม 7 หลัก แต่น่าจะ 9xx 55555
ผลการตอบมันโอเคอยู่มั้ยฮ่ะ
tg-thaigamer Wed, 19/03/2025 - 09:24
In reply to run local ส่วนใหญ่ก็ by dheerapat
ผลการตอบมันโอเคอยู่มั้ยฮ่ะ หรือแตกต่างเยอะมั้ย เห็น Q6,4 ใจบ่ดี 5555
ไม่คิดไรมากแค่อยากได้คน pin
dheerapat Wed, 19/03/2025 - 17:38
In reply to ผลการตอบมันโอเคอยู่มั้ยฮ่ะ by tg-thaigamer
ไม่คิดไรมากแค่อยากได้คน pin pong ไอเดียกันไปมา Q4 โอเคอยู่ครับ แต่ถ้าอยากให้มันตอบเป็น formatt อะไรบางอย่างหรือทำ tools call จะหลุดๆหน่อย เอาที่ precision เยอะสุดเท่าที่เป็นไปได้ดีกว่า (มไป openrouter เลย เพราะทำ code execution agent ตัวเล็กคือ code ออกมาแล้ว runtime error เยอะสุดๆ)
OpenRouter ก็มี provider
lew Wed, 19/03/2025 - 21:53
In reply to ไม่คิดไรมากแค่อยากได้คน pin by dheerapat
OpenRouter ก็มี provider ย่อกันนะครับ DeepSeek R1 นี่มีทั้ง FP4 และ FP8 ไม่แน่ใจว่ามีทางจำกัดเฉพาะตัวเต็มไหม
ใส่ได้ครับ ตั้งค่า json
dheerapat Thu, 20/03/2025 - 12:37
In reply to OpenRouter ก็มี provider by lew
ใส่ได้ครับ ตั้งค่า json provider->quantization->fp16
ทุกอย่างเป็นสีทองหมด
abstractox Wed, 19/03/2025 - 09:46
ทุกอย่างเป็นสีทองหมด
เช่นเดียวกับกำไรบริษัท....
lew Wed, 19/03/2025 - 13:51
In reply to ทุกอย่างเป็นสีทองหมด by abstractox
เช่นเดียวกับกำไรบริษัท....
แต่ DGX Spark ผมเดินดูงาน ASUS ขาวล้วนเลยครับ ส่วน Dell ดำเลย
memory เหมือนแยก cpu ,gpu
sukoom2001 Wed, 19/03/2025 - 11:46
memory เหมือนแยก cpu ,gpu นึกว่าจะเป็น unified
เอ๊ะ แล้วถ้างั้น and 128GB of
hisoft Wed, 19/03/2025 - 13:20
In reply to memory เหมือนแยก cpu ,gpu by sukoom2001
เอ๊ะ แล้วถ้างั้น
and 128GB of coherent unified system memoryในทวีตของ Asus นี่หมายถึง unified อะไรกับอะไรนะฮะ