LLM | Blognone

Large Language Model

Groq สตาร์ตอัพผู้สร้างชิปเร่งความเร็ว AI สามารถรัน Llama 3 ได้เร็ว 800 token ต่อวินาที

By mk

on 22 April 2024 - 10:41 Tag: Groq, Artificial Intelligence, LLM, Startup

Groq

Groq สตาร์ตอัพผู้สร้างชิปเร่งการประมวลผล AI (คนละบริษัทกับ Grok ที่เป็นของ Twitter/X) สามารถรันโมเดล Llama 3 ตัวใหม่ล่าสุดของ Meta ด้วยความเร็วสูงถึง 800 token ต่อวินาที

ถ้าดูจากสถิติเดิมเมื่อเดือนกุมภาพันธ์ปีนี้ Groq สามารถรัน Llama 2 70B ด้วยความเร็ว 240 token ต่อวินาที ซึ่งถือว่าเร็วมากๆ แล้ว เมื่อเทียบกับตัวเลขของ GPT-4 หรือ Claude Opus ที่ทำได้ไม่ถึง 40 token ต่อวินาที

แชทบอต Meta AI อัปเดตรองรับ Llama 3, มี AI สร้างรูปเรียลไทม์, เพิ่มประเทศได้ใช้งาน - ไทยรอไปก่อน

By arjin

on 19 April 2024 - 06:11 Tag: Meta AI, Meta, Llama, Artificial Intelligence, LLM, WhatsApp, Facebook, Facebook Messenger, Instagram, Chatbot

Meta AI

Meta ประกาศอัปเดต Meta AI แชทบอตผู้ช่วยบน Facebook, Instagram, WhatsApp และ Messenger ที่เปิดตัวในงาน Connect เมื่อปีที่แล้ว โดยขยายประเทศที่รองรับเพิ่มเติมนอกจากสหรัฐอเมริกา ตามที่มีข่าวก่อนหน้านี้ รวมทั้งเพิ่มความสามารถด้วยโมเดล Meta Llama 3 ล่าสุดที่เพิ่งเปิดตัว

Meta ปล่อย Llama 3 เอาชนะ GPT-3.5, Claude 3 Sonnet, Gemini Pro 1.0 กำลังพัฒนารุ่น 400B

By lew

on 19 April 2024 - 00:19 Tag: Llama, Meta, Artificial Intelligence, LLM

Llama

Meta ปล่อยโมเดลปัญญาประดิษฐ์ Llama 3 สองรุ่น คือ 8B และ 70B แยกรุ่นย่อยสำหรับการทำตามคำสั่ง โดยยังมีรุ่น 400B อยู่ระหว่างการพัฒนา

รุ่น 8B นั้น Meta เทียบกับ Gemma 7B และ Mistral 7B Instruct เอาชนะได้ทุกชุดการทดสอบ บางหมวดเช่น HumanEval สำหรับการเขียนโปรแกรม และ GSM-8K สำหรับการคำนวณนั้นนำห่าง

รุ่น 70B ทาง Meta นำไปเทียบกับ Gemini Pro 1.5 ทำคะแนนนำได้บางชุดทดสอบ และเมื่อเทียบกับ Claude 3 Sonnet ก็ชนะทุกชุดทดสอบเช่นกัน

MLCommons เปิดชุดทดสอบความปลอดภัยปัญญาประดิษฐ์ LLM

By lew

on 16 April 2024 - 23:29 Tag: LLM, Artificial Intelligence

LLM

MLCommons หน่วยงานกลางสำหรับออกชุดทดสอบประสิทธิภาพปัญญาประดิษฐ์ ออกชุดทดสอบใหม่ AI Safety สำหรับการวัดความปลอดภัยของโมเดลปัญญาประดิษฐ์แบบ LLM โดยเฉพาะ นับเป็นครั้งแรกที่ MLCommons หันมาออกชุดสอบตัวปัญญาประดิษฐ์เอง เพราะก่อนหน้านี้ชุดทดสอบ MLPerf มีไว้สำหรับการทดสอบประสิทธิภาพของฮาร์ดแวร์ที่ใช้รันและฝึกปัญญาประดิษฐ์เป็นหลัก

ลูกค้า ChatGPT แบบเสียเงิน ได้ใช้งาน GPT-4 Turbo แล้ว

By arjin

on 13 April 2024 - 06:25 Tag: OpenAI, ChatGPT, LLM

OpenAI

OpenAI ประกาศนำโมเดล GPT-4 Turbo มาให้ใช้งานแล้วสำหรับลูกค้า ChatGPT ที่เสียเงิน

GPT-4 Turbo นั้นเปิดตัวมาตั้งแต่พฤศจิกายนปีที่แล้ว มีการปรับปรุงความสามารถเช่น การเขียน, คณิตศาสตร์, การให้เหตุผลแบบตรรกะ และการเขียนโค้ด

ทั้งนี้ไมโครซอฟท์ได้นำ GPT-4 Turbo มาให้ใช้งานบน Copilot สำหรับลูกค้าฟรีเมื่อเดือนที่แล้ว

ที่มา: Engadget

Mistral เปิดตัวโมเดลภาษาขนาดใหญ่ AI รุ่นใหม่ Mixtral 8x22B

By arjin

on 11 April 2024 - 13:08 Tag: Mistral, LLM

Mistral

Mistral สตาร์ทอัปด้าน AI จากฝรั่งเศส เปิดตัวโมเดลภาษาขนาดใหญ่ (LLM) Mixtral 8x22B ขนาดโมเดล 176 พันล้านพารามิเตอร์ ซึ่งเป็นรุ่นถัดจากโมเดลก่อนหน้า Mixtral 8x7B

การทำงานของ Mixtral 8x22B ยังคงใช้วิธี MoE (mixture of experts) ที่ทุกเลเยอร์ของแต่ละโทเค็น จะเลือกโมเดลที่เหมาะสม 2 ตัว (เรียกว่า experts) มาใช้ในการประมวลผล ทำให้ไม่ต้องใช้พารามิเตอร์ทั้งหมดมารัน ตอนนี้ Mistral ยังไม่ได้เปิดเผยรายละเอียดทั้งหมดของโมเดล แต่คาดการณ์ว่าโมเดลที่ถูกใช้จริงตอนรันมีประมาณ 38 พันล้านพารามิเตอร์

กูเกิลเปิดตัว Gemini Code Assist อาศัย Gemini อ่านโค้ดได้ทีละเป็นแสนบรรทัด

By lew

on 11 April 2024 - 00:37 Tag: Gemini, Google Cloud, LLM, Programming, Google

Gemini

กูเกิลเปิดตัวบริการ Gemini Code Assist ที่เปลี่ยนชื่อมาจาก Duet AI for Developer แต่เปลี่ยนปัญญาประดิษฐ์ภายในเป็น Gemini ที่อ่านข้อมูลได้นับล้่านโทเค็น ทำให้เวลาแนะนำโค้ดนั้นไม่ใช่การอ่านทีละไฟล์ แต่อ่านทั้งโครงการทีละเป็นแสนบรรทัดและแนะนำได้ทันที

การประกาศรอบนี้ยังประกาศเป็นพันธมิตรกับบริษัทความปลอดภัยซอฟต์แวร์ Synk โดยตอนนี้ยังเป็นเพียงการแนะนำการใช้งาน Synk ในแชตก่อน แต่ภายในปีนี้จะรวมความสามารถในการสแกนโค้ดเข้าไว้ในบริการ Code Assist เลย ทำให้แนะนำช่องโหว่ในโค้ดได้ทันที

อินเทลเตรียมสร้างแพลตฟอร์มทำแอปพลิเคชั่น RAG แบบโอเพนซอร์ส รองรับชิป Xeon / Gaudi

By lew

on 10 April 2024 - 13:51 Tag: Intel, LLM, Artificial Intelligence

Intel

อินเทลประกาศร่วมมือกับบริษัทพันธมิตรจำนวนมาก เตรียมสร้างแพลตฟอร์มสำหรับการใช้งาน AI ภายในองค์กร ทำให้สามารถสร้างแอปแบบ retrieval-augmented generation (RAG) ได้โดยง่าย

ทางอินเทลสัญญาว่าจะลงมือให้ก่อนเป็นโค้ดชุดแรกที่รองรับชิป Xeon และ Gaudi เป็นหลัก มีคลาวด์ให้นักพัฒนาใช้งาน และต่อจากนั้นจะสนับสนุนให้องค์กรอื่นๆ เข้ามาพัฒนาโครงการต่อให้ใช้งานได้กว้างขึ้น

กูเกิลเปิดบริการ Vertex AI Agent Builder สร้างแอป gen AI ไม่ต้องเขียนโค้ด, เปิด API ภายในให้ไปทำเองด้วย

By lew

on 10 April 2024 - 08:01 Tag: Google Cloud, LLM, Artificial Intelligence, Google, Chatbot

Google Cloud

กูเกิลเพิ่มบริการด้าน LLM ตัวใหม่ คือ Vertex AI Agent Builder สำหรับการพัฒนาบริการจาก LLM โดยไม่ต้องเขียนโค้ดเองโดยตรง (ยกเว้นส่วนที่เป็น integration กับภายนอก)

บริการนี้รวมเอาความสามารถหลายตัว ได้แก่

Apple เผยแพร่งานวิจัย AI ที่สามารถเข้าใจภาพบนหน้าจอ และทำงานตามคำสั่งได้

By arjin

on 10 April 2024 - 07:58 Tag: Apple, Artificial Intelligence, LLM

Apple

ทีมนักวิจัยของแอปเปิลเผยแพร่งานวิจัยใหม่ Ferret-UI ซึ่งเป็น Generative AI หรือ AI สร้างเนื้อหา ที่ต้องการแก้ไขปัญหาโมเดลภาษาขนาดใหญ่ข้อมูลผสมผสาน (MLLM - Multimodal Large Language Model) ที่ยังมีข้อจำกัดสำหรับอินพุทรูปภาพ ที่มีรายละเอียดเยอะมาก แต่อาจมีจุดสำคัญไม่กี่อย่าง เช่น ภาพจับหน้าจอโทรศัพท์ (Screen Capture)

องค์กรที่ใช้ LLM ยังมองการใช้ Generative AI สำหรับการติดต่อลูกค้าว่าต้องใช้งานเป็นขั้น ใช้ระบบเดิมๆ ในข้อมูลสำคัญ มีคนตรวจสอบผล

By lew

on 10 April 2024 - 04:20 Tag: LLM, Artificial Intelligence, AI, Google Cloud, Enterprise, Google

LLM

ในงาน Google Cloud Next 2024 กูเกิลเชิญผู้ให้บริการองค์กร จากองค์กรขนาดใหญ่ เช่น กลุ่มโรงแรม IHG, Verizon, Bayer โดยองค์กรเหล่านี้เตรียมใช้งาน generative AI ในแอปพลิเคชั่นที่ติดต่อกับลูกค้าแล้ว แม้จะมองเห็นโอกาสมากแต่ก็ยังเป็นการใช้งานอย่างระมัดระวังอยู่

กูเกิลปล่อยให้คนทั่วไปใช้ Gemini 1.5 Pro เพิ่มฟีเจอร์ค้นข้อมูลทั้ง Google Search และฐานข้อมูลในองค์กร เข้าใจเสียงพูด

By lew

on 10 April 2024 - 00:13 Tag: Gemini, Google Cloud, LLM, Google Search, Google

Gemini

กูเกิลเปิด Gemini 1.5 Pro ให้คนทั่วไปใช้งานแล้ว หลังจากเปิดตัวแบบจำกัดเมื่อเดือนกุมภาพันธ์ที่ผ่านมา พร้อมกับเพิ่มฟีเจอร์ค้นหาข้อมูลอ้างอิง (grounding) ทั้งการค้นด้วย Google Search และการค้นข้อมูลภายในองค์กรเอง

สำหรับการค้นข้อมูลในองค์กร เดิม Vertex AI มีบริการ Enterprise Search อยู่แล้ว ตอนนี้เพิ่มความสามารถเชื่อมต่อกับฐานข้อมูลภายนอก เช่น AlloyDB หรือ BigQuery เข้ามาเพิ่ม และยังเชื่อมต่อแอปที่องค์กรใช้งานอยู่ เช่น Workday, Salesforce, ServiceNow, Hadoop, Confluence, และ JIRA

กูเกิลปล่อย CodeGemma โมเดล AI สำหรับการเติมโค้ดระหว่างโปรแกรมเมอร์แก้โค้ด ตอบเร็วทันใจ

By lew

on 9 April 2024 - 22:57 Tag: Gemini, Artificial Intelligence, Google, LLM, Programming

Gemini

กูเกิลปล่อยโมเดลปัญญาประดิษฐ์ LLM สำหรับเขียนโค้ดในชื่อ CodeGemma เน้นใช้งานเป็นตัวช่วยเขียนโค้ดโดยเฉพาะ โดยมีโมเดล 3 รุ่น ได้แก่

Groq บริษัทชิปสำหรับรัน LLM เลิกขายชิป หลังจากนี้ต้องซื้อเป็นคลาวด์อย่างเดียว

By lew

on 8 April 2024 - 20:36 Tag: Groq, LLM, Semiconductor, Processor

Groq

Groq บริษัทพัฒนาชิปสำหรับประมวลผลปัญญาประดิษฐ์แบบ LLM โดยเฉพาะ ประกาศเลิกขายชิปให้กับลูกค้าทั่วไปแล้ว หลังยอมรับว่าขายยากเพราะลูกค้าต้องลงทุนสูง และตอนนี้ก็มีลูกค้าบนบริการคลาวด์จำนวนมาก

หากลูกค้าของ Groq ต้องการชิปจำนวนมากหลังจากนี้จะเป็นการเซ็นสัญญาร่วมกับศูนย์ข้อมูลเพื่อเข้าไปติดตั้งเซิร์ฟเวอร์ให้ลูกค้าใช้งานโดยเฉพาะ ตอนนี้มีลูกค้าแบบนี้คือ Aramco บริษัทน้ำมันจากซาอุดิอาระเบีย แต่มีข้อยกเว้นอยู่บ้างคือโครงการภาครัฐที่ยังซื้อชิปตรงได้

Stanford Medicine ทดสอบใช้ GPT-4 ช่วยร่างข้อความให้แพทย์และพยาบาล พบไม่ช่วยทำงานเร็วขึ้น แต่เหนื่อยน้อยลง

By lew

on 8 April 2024 - 01:41 Tag: Stanford, LLM, Medical, ChatGPT

Stanford

ทีมวิจัยจาก Stanford Medicine รายงานถึงการทดลองใช้ GPT-4 มาช่วยร่างข้อความสำหรับแอปต่างๆ ที่แพทย์แพลพยาบาลใช้งาน โดยข้อความทั้งหมดเจ้าหน้าที่ต้องมาตรวจสอบก่อนส่งอีกครั้ง

การทดลองครั้งนี้มีแพทย์และพยาบาลเข้าร่วม 162 คน ทดสอบเป็นเวลา 5 สัปดาห์ และเนื่องจากมีแอปที่เจ้าหน้าที่ต้องใช้งานหลากหลาย แอปที่รองรับ GPT-4 จริงๆ คิดเป็น 20% ของการตอบข้อความทั้งหมดของเจ้าหน้าที่ ข้อความมีหลากหลาย เช่น คนไข้ถามอาการข้างเคียงของยา, หรือการรักษาอาการเบื้องต้น

MyShell สร้างโมเดล LLM ระดับเดียวกับ LLaMA2 แต่ใช้ทุนแค่ 3 ล้านบาท

By lew

on 5 April 2024 - 11:11 Tag: LLM, Artificial Intelligence

LLM

MyShell บริษัทปัญญาประดิษฐ์สร้างตัวตนออนไลน์ เปิดตัวโมเดล JetMoE-8B โมเดล LLM ที่ประสิทธิภาพสูงกว่า LLaMA-2 13B เสียอีก และมีต้นทุนในการฝึกและการรันถูกกว่ามาก

JetMoE อาศัยสถาปัตยกรรม Mixture-of-Expert ทำให้ใช้โมเดลตอนรันจริงเพียง 2.2B เท่านั้น ต้นทุนการรันระดับเดียวกับ Gemma-2B ขณะที่การฝึกโมเดลนั้นใช้ชิป NVIDIA H100 96 ชุดเป็นเวลา 2 สัปดาห์ รวมต้นทุนประมาณ 80,000 ดอลลาร์หรือประมาณ 3 ล้านบาท น่าจะถูกกว่าโมเดลอื่นๆ ที่ประสิทธิภาพใกล้เคียงกันมาก โดยต้นทุนการฝึก LLaMA2 13B นั้นใช้ชิป A100 368640 ชั่วโมง หากคิดเป็นค่าคลาวด์ก็น่าจะเกิน 500,000 ดอลลาร์

JetBrains เพิ่มฟีเจอร์ใช้ AI เติมโค้ดบรรทัดถัดไป ทำงานแบบออฟไลน์ไม่ต้องต่อเน็ต

By mk

on 5 April 2024 - 09:22 Tag: JetBrains, IDE, Development, Programming, LLM

JetBrains

JetBrains ออกอัพเดตเวอร์ชัน 2024.1 ให้กับ IDE ทุกตัวในสังกัด เพิ่มฟีเจอร์ใหม่ full line code completion ใช้พลัง AI คาดเดาโค้ดบรรทัดต่อไปที่เราจะพิมพ์ใน editor โดยเป็นการคาดเดา "ทั้งบรรทัด" และสามารถทำงานได้แบบออฟไลน์ ไม่ต้องต่อเน็ต

การทำงานของ full line code completion จะแสดงข้อความสีเทาในบรรทัดถัดไป และสามารถกด tab เพื่อให้ editor เติมบรรทัดนั้นให้เราได้ ฟีเจอร์นี้รองรับโค้ดในภาษา Java, Kotlin, Python, JavaScript, TypeScript, CSS, PHP, Go, Ruby

Replit เปิดตัวโมเดลแก้บั๊กโปรแกรม Code Repair เทรนด้วยข้อมูล Error จริง ชนะ GPT-4

By mk

on 4 April 2024 - 11:14 Tag: Replit, LLM, Programming

Replit

Replit บริษัทผู้สร้าง IDE ผ่านเบราว์เซอร์ ที่ช่วงหลังเริ่มใช้งาน AI ช่วยเขียนโค้ด เปิดตัวฟีเจอร์ Code Repair ที่นำ LLM มาปรับแต่งเพื่อเน้นการแก้บั๊กโดยเฉพาะ

Replit บอกว่าการนำ LLM มาช่วยเขียนโค้ดที่ใช้กันอยู่ทุกวันนี้ เกิดจากการเทรนด้วยข้อมูลซอร์สโค้ด ผสมกับข้อมูลการพูดคุยกันของมนุษย์ เช่น กระทู้ใน StackExchange หรือ GitHub issue จึงมีข้อจำกัดเรื่องการขาดบริบทด้านสภาพแวดล้อมในการพัฒนา (development environment) ที่โปรแกรมเมอร์แต่ละคนใช้งาน

Apple เผยแพร่งานวิจัย AI ที่เข้าใจคำถามกำกวม โดยอาศัยบริบทเพิ่มเติมจากข้อมูลในหน้าจอโทรศัพท์

By arjin

on 3 April 2024 - 17:33 Tag: Apple, Artificial Intelligence, Siri, LLM

Apple

ทีมนักวิจัยของแอปเปิลเผยแพร่ผลงาน AI ที่เพิ่มความสามารถเข้าใจบริบท (context) ของคำถามจากผู้ใช้งาน โดยอ้างอิงจากสิ่งที่ปรากฏบนหน้าจอของผู้ใช้งาน

ระบบ AI นี้มีชื่อเรียกว่า ReALM ย่อมาจาก Reference Resolution As Language Modeling เป็นโมเดล LLM ที่สามารถเข้าใจคำถามซึ่งไม่ชัดเจนหรือกำกวม ด้วยการหาข้อมูลเพิ่มเติมจากสิ่งที่ปรากฏบนหน้าจอโทรศัพท์ ทำให้บทสนทนามีความลื่นไหลและเป็นธรรมชาติมากยิ่งขึ้น

Anthropic เผยแพร่รายงานช่องโหว่ AI ยอมตอบคำถามอันตรายไม่เหมาะสม ถ้ายิงคำถามซ้ำ ๆ ในบริบทที่เกี่ยวข้อง

By arjin

on 3 April 2024 - 15:17 Tag: Anthropic, LLM, Artificial Intelligence

Anthropic

ทีมนักวิจัยของ Anthropic บริษัท AI เจ้าของแชทบอต Claude เผยแพร่รายงานเกี่ยวกับช่องโหว่ของโมเดล AI ภาษาขนาดใหญ่ (LLM - large language model) ซึ่งสามารถทำให้ LLM ให้คำตอบที่ไม่เหมาะสมหรือเป็นอันตรายออกมาได้ แม้ผู้พัฒนาจะเขียนกฎป้องกันไว้แล้วก็ตาม

ช่องโหว่ที่รายงานเกิดจากการสร้างบทสนทนาถามตอบกับ LLM ที่ต่อเนื่องเป็นชุด จน LLM เกิดการเรียนรู้บริบท (in-context learning) ของเนื้อหาที่ถาม ทำให้กรอบหัวข้อที่สนใจแคบลงเรื่อย ๆ และยอมตอบคำถามที่ไม่เหมาะสมหรืออันตรายออกมา

Subscribe to LLM