LLM | Blognone

Large Language Model

Apple เปิดตัว OpenELM ชุดโมเดล AI โอเพนซอร์ส ทำงานบนอุปกรณ์ได้ไม่ต้องเชื่อมต่อกับเซิร์ฟเวอร์

By arjin

on 25 April 2024 - 12:01 Tag: Apple, LLM, Open Source

Apple

แอปเปิลเผยแพร่ OpenELM (Open-source Efficient Language Models) ชุดโมเดล AI ภาษาขนาดใหญ่ (LLM) แบบโอเพนซอร์ส ที่สามารถทำงานได้บนอุปกรณ์ ไม่ต้องเชื่อมต่อกับคลาวด์เซิร์ฟเวอร์ โดยสามารถดูรายละเอียดเพิ่มเติมได้ที่ Hugging Face

OpenELM มีทั้งหมด 8 โมเดล เป็น 4 โมเดลที่ยังไม่ถูกเทรน และอีก 4 โมเดลที่ผ่านการเทรนปรับแต่งมาแล้ว ขนาดพารามิเตอร์มีตั้งแต่ 270M ถึง 3B

Axon ใช้ LLM เขียนใบแจ้งความอัตโนมัติจากเสียงในกล้องติดตัวตำรวจ

By lew

on 24 April 2024 - 20:40 Tag: LLM, Law, Artificial Intelligence

LLM

Axon ผู้ผลิตอุปกรณ์สำหรับตำรวจ เช่น ปืนช็อตไฟฟ้า, กล้องติดตัวเจ้าหน้าที่, หรือระบบจัดเก็บหลักฐานคดี ออกซอฟต์แวร์ใหม่ Draft One ที่ใช้ generative AI ช่วยตำรวจเขียนเอกสารแจ้งความโดยอัตโนมัติ

Draft One ดึงเสียงจากกล้องติดตัวตำรวจ Axon Body มาแปลงเสียงเป็นข้อความ จากนั้นแปลงคำถามตอบของตำรวจกับผู้เสียหายกลายเป็นเอกสารแจ้งความ

ทาง Axon ระบุว่ามีแนวทางป้องกันความเสี่ยงที่เจ้าหน้าที่จะอาศัย AI มากเกินไป ได้แก่

บัญชี GitHub แฉซอร์สโค้ด Rabbit R1 เป็นแค่สคริปต์ ไม่มี AI จริง, ซีทีโอโต้ AI ไม่ได้อยู่ในโค้ดที่หลุด

By lew

on 24 April 2024 - 05:57 Tag: Rabbit, Gadget, LLM, Artificial Intelligence

Rabbit

บัญชี GitHub ที่ใช้ชื่อว่า rabbitscam ออกมาโพสซอร์สโค้ดของ Rabbit R1 อุปกรณ์ AI ผู้ช่วยที่เปิดตัวในงาน CES เมื่อต้นปีที่ผ่านมาว่าไม่ได้มี AI อะไรอยู่ภายใน และที่จริงแล้วความสามารถของ Rabbit R1 เป็นเพียงสคริปต์ Playwright ที่ควบคุมเบราว์เซอร์เท่านั้น

อย่างไรก็ดี ใน Hacker's News มีคนแคปหน้าจอข้อความ Discord ของ Peiyuan Liao ซีทีโอ Rabbit Inc. ระบุว่า Large Action Model (LAM) นั้นทำงานนอกโค้ดที่ rabbitscam โพสมา

ไมโครซอฟท์ปล่อยโมเดล Phi-3 เทียบชั้น GPT-3.5 แม้ขนาดเล็กจนรันบนโทรศัพท์ได้

By lew

on 23 April 2024 - 13:29 Tag: Microsoft, LLM, Phi

Microsoft

ไมโครซอฟท์ปล่อยโมเดลปัญญาประดิษฐ์แบบ LLM ขนาดเล็ก phi-3-mini ที่มีขนาดเพียง 3.8 พันล้านพารามิเตอร์ แต่สามารถทำคะแนน MMLU ได้ 69% และคะแนน MT-Bench 8.38 นับว่าใกล้เคียง GPT-3.5 อย่างมาก (MMLU 70.0%, MT-Bench 7.94) ชนะ Llama 3 ขนาด 8B ที่เพิ่งออกมาอีกด้วย

โมเดลตระกูล Phi-3 ยังมีอีกสองรุ่น คือ phi-3-small ขนาด 7B, และ phi-3-medium ขนาด 14B ขณะที่รุ่น phi-3-mini นั้นเมื่อใช้งานแบบ quantized 4 bit จะใช้แรมเพียง 1.8GB สามารถรันบน iPhone 14 ด้้วยอัตรา 12 โทเค็นต่อวินาที

Groq สตาร์ตอัพผู้สร้างชิปเร่งความเร็ว AI สามารถรัน Llama 3 ได้เร็ว 800 token ต่อวินาที

By mk

on 22 April 2024 - 10:41 Tag: Groq, Artificial Intelligence, LLM, Startup

Groq

Groq สตาร์ตอัพผู้สร้างชิปเร่งการประมวลผล AI (คนละบริษัทกับ Grok ที่เป็นของ Twitter/X) สามารถรันโมเดล Llama 3 ตัวใหม่ล่าสุดของ Meta ด้วยความเร็วสูงถึง 800 token ต่อวินาที

ถ้าดูจากสถิติเดิมเมื่อเดือนกุมภาพันธ์ปีนี้ Groq สามารถรัน Llama 2 70B ด้วยความเร็ว 240 token ต่อวินาที ซึ่งถือว่าเร็วมากๆ แล้ว เมื่อเทียบกับตัวเลขของ GPT-4 หรือ Claude Opus ที่ทำได้ไม่ถึง 40 token ต่อวินาที

แชทบอต Meta AI อัปเดตรองรับ Llama 3, มี AI สร้างรูปเรียลไทม์, เพิ่มประเทศได้ใช้งาน - ไทยรอไปก่อน

By arjin

on 19 April 2024 - 06:11 Tag: Meta AI, Meta, Llama, Artificial Intelligence, LLM, WhatsApp, Facebook, Facebook Messenger, Instagram, Chatbot

Meta AI

Meta ประกาศอัปเดต Meta AI แชทบอตผู้ช่วยบน Facebook, Instagram, WhatsApp และ Messenger ที่เปิดตัวในงาน Connect เมื่อปีที่แล้ว โดยขยายประเทศที่รองรับเพิ่มเติมนอกจากสหรัฐอเมริกา ตามที่มีข่าวก่อนหน้านี้ รวมทั้งเพิ่มความสามารถด้วยโมเดล Meta Llama 3 ล่าสุดที่เพิ่งเปิดตัว

Meta ปล่อย Llama 3 เอาชนะ GPT-3.5, Claude 3 Sonnet, Gemini Pro 1.0 กำลังพัฒนารุ่น 400B

By lew

on 19 April 2024 - 00:19 Tag: Llama, Meta, Artificial Intelligence, LLM

Llama

Meta ปล่อยโมเดลปัญญาประดิษฐ์ Llama 3 สองรุ่น คือ 8B และ 70B แยกรุ่นย่อยสำหรับการทำตามคำสั่ง โดยยังมีรุ่น 400B อยู่ระหว่างการพัฒนา

รุ่น 8B นั้น Meta เทียบกับ Gemma 7B และ Mistral 7B Instruct เอาชนะได้ทุกชุดการทดสอบ บางหมวดเช่น HumanEval สำหรับการเขียนโปรแกรม และ GSM-8K สำหรับการคำนวณนั้นนำห่าง

รุ่น 70B ทาง Meta นำไปเทียบกับ Gemini Pro 1.5 ทำคะแนนนำได้บางชุดทดสอบ และเมื่อเทียบกับ Claude 3 Sonnet ก็ชนะทุกชุดทดสอบเช่นกัน

MLCommons เปิดชุดทดสอบความปลอดภัยปัญญาประดิษฐ์ LLM

By lew

on 16 April 2024 - 23:29 Tag: LLM, Artificial Intelligence

LLM

MLCommons หน่วยงานกลางสำหรับออกชุดทดสอบประสิทธิภาพปัญญาประดิษฐ์ ออกชุดทดสอบใหม่ AI Safety สำหรับการวัดความปลอดภัยของโมเดลปัญญาประดิษฐ์แบบ LLM โดยเฉพาะ นับเป็นครั้งแรกที่ MLCommons หันมาออกชุดสอบตัวปัญญาประดิษฐ์เอง เพราะก่อนหน้านี้ชุดทดสอบ MLPerf มีไว้สำหรับการทดสอบประสิทธิภาพของฮาร์ดแวร์ที่ใช้รันและฝึกปัญญาประดิษฐ์เป็นหลัก

ลูกค้า ChatGPT แบบเสียเงิน ได้ใช้งาน GPT-4 Turbo แล้ว

By arjin

on 13 April 2024 - 06:25 Tag: OpenAI, ChatGPT, LLM

OpenAI

OpenAI ประกาศนำโมเดล GPT-4 Turbo มาให้ใช้งานแล้วสำหรับลูกค้า ChatGPT ที่เสียเงิน

GPT-4 Turbo นั้นเปิดตัวมาตั้งแต่พฤศจิกายนปีที่แล้ว มีการปรับปรุงความสามารถเช่น การเขียน, คณิตศาสตร์, การให้เหตุผลแบบตรรกะ และการเขียนโค้ด

ทั้งนี้ไมโครซอฟท์ได้นำ GPT-4 Turbo มาให้ใช้งานบน Copilot สำหรับลูกค้าฟรีเมื่อเดือนที่แล้ว

ที่มา: Engadget

Mistral เปิดตัวโมเดลภาษาขนาดใหญ่ AI รุ่นใหม่ Mixtral 8x22B

By arjin

on 11 April 2024 - 13:08 Tag: Mistral, LLM

Mistral

Mistral สตาร์ทอัปด้าน AI จากฝรั่งเศส เปิดตัวโมเดลภาษาขนาดใหญ่ (LLM) Mixtral 8x22B ขนาดโมเดล 176 พันล้านพารามิเตอร์ ซึ่งเป็นรุ่นถัดจากโมเดลก่อนหน้า Mixtral 8x7B

การทำงานของ Mixtral 8x22B ยังคงใช้วิธี MoE (mixture of experts) ที่ทุกเลเยอร์ของแต่ละโทเค็น จะเลือกโมเดลที่เหมาะสม 2 ตัว (เรียกว่า experts) มาใช้ในการประมวลผล ทำให้ไม่ต้องใช้พารามิเตอร์ทั้งหมดมารัน ตอนนี้ Mistral ยังไม่ได้เปิดเผยรายละเอียดทั้งหมดของโมเดล แต่คาดการณ์ว่าโมเดลที่ถูกใช้จริงตอนรันมีประมาณ 38 พันล้านพารามิเตอร์

กูเกิลเปิดตัว Gemini Code Assist อาศัย Gemini อ่านโค้ดได้ทีละเป็นแสนบรรทัด

By lew

on 11 April 2024 - 00:37 Tag: Gemini, Google Cloud, LLM, Programming, Google

Gemini

กูเกิลเปิดตัวบริการ Gemini Code Assist ที่เปลี่ยนชื่อมาจาก Duet AI for Developer แต่เปลี่ยนปัญญาประดิษฐ์ภายในเป็น Gemini ที่อ่านข้อมูลได้นับล้่านโทเค็น ทำให้เวลาแนะนำโค้ดนั้นไม่ใช่การอ่านทีละไฟล์ แต่อ่านทั้งโครงการทีละเป็นแสนบรรทัดและแนะนำได้ทันที

การประกาศรอบนี้ยังประกาศเป็นพันธมิตรกับบริษัทความปลอดภัยซอฟต์แวร์ Synk โดยตอนนี้ยังเป็นเพียงการแนะนำการใช้งาน Synk ในแชตก่อน แต่ภายในปีนี้จะรวมความสามารถในการสแกนโค้ดเข้าไว้ในบริการ Code Assist เลย ทำให้แนะนำช่องโหว่ในโค้ดได้ทันที

อินเทลเตรียมสร้างแพลตฟอร์มทำแอปพลิเคชั่น RAG แบบโอเพนซอร์ส รองรับชิป Xeon / Gaudi

By lew

on 10 April 2024 - 13:51 Tag: Intel, LLM, Artificial Intelligence

Intel

อินเทลประกาศร่วมมือกับบริษัทพันธมิตรจำนวนมาก เตรียมสร้างแพลตฟอร์มสำหรับการใช้งาน AI ภายในองค์กร ทำให้สามารถสร้างแอปแบบ retrieval-augmented generation (RAG) ได้โดยง่าย

ทางอินเทลสัญญาว่าจะลงมือให้ก่อนเป็นโค้ดชุดแรกที่รองรับชิป Xeon และ Gaudi เป็นหลัก มีคลาวด์ให้นักพัฒนาใช้งาน และต่อจากนั้นจะสนับสนุนให้องค์กรอื่นๆ เข้ามาพัฒนาโครงการต่อให้ใช้งานได้กว้างขึ้น

กูเกิลเปิดบริการ Vertex AI Agent Builder สร้างแอป gen AI ไม่ต้องเขียนโค้ด, เปิด API ภายในให้ไปทำเองด้วย

By lew

on 10 April 2024 - 08:01 Tag: Google Cloud, LLM, Artificial Intelligence, Google, Chatbot

Google Cloud

กูเกิลเพิ่มบริการด้าน LLM ตัวใหม่ คือ Vertex AI Agent Builder สำหรับการพัฒนาบริการจาก LLM โดยไม่ต้องเขียนโค้ดเองโดยตรง (ยกเว้นส่วนที่เป็น integration กับภายนอก)

บริการนี้รวมเอาความสามารถหลายตัว ได้แก่

Apple เผยแพร่งานวิจัย AI ที่สามารถเข้าใจภาพบนหน้าจอ และทำงานตามคำสั่งได้

By arjin

on 10 April 2024 - 07:58 Tag: Apple, Artificial Intelligence, LLM

Apple

ทีมนักวิจัยของแอปเปิลเผยแพร่งานวิจัยใหม่ Ferret-UI ซึ่งเป็น Generative AI หรือ AI สร้างเนื้อหา ที่ต้องการแก้ไขปัญหาโมเดลภาษาขนาดใหญ่ข้อมูลผสมผสาน (MLLM - Multimodal Large Language Model) ที่ยังมีข้อจำกัดสำหรับอินพุทรูปภาพ ที่มีรายละเอียดเยอะมาก แต่อาจมีจุดสำคัญไม่กี่อย่าง เช่น ภาพจับหน้าจอโทรศัพท์ (Screen Capture)

องค์กรที่ใช้ LLM ยังมองการใช้ Generative AI สำหรับการติดต่อลูกค้าว่าต้องใช้งานเป็นขั้น ใช้ระบบเดิมๆ ในข้อมูลสำคัญ มีคนตรวจสอบผล

By lew

on 10 April 2024 - 04:20 Tag: LLM, Artificial Intelligence, AI, Google Cloud, Enterprise, Google

LLM

ในงาน Google Cloud Next 2024 กูเกิลเชิญผู้ให้บริการองค์กร จากองค์กรขนาดใหญ่ เช่น กลุ่มโรงแรม IHG, Verizon, Bayer โดยองค์กรเหล่านี้เตรียมใช้งาน generative AI ในแอปพลิเคชั่นที่ติดต่อกับลูกค้าแล้ว แม้จะมองเห็นโอกาสมากแต่ก็ยังเป็นการใช้งานอย่างระมัดระวังอยู่

กูเกิลปล่อยให้คนทั่วไปใช้ Gemini 1.5 Pro เพิ่มฟีเจอร์ค้นข้อมูลทั้ง Google Search และฐานข้อมูลในองค์กร เข้าใจเสียงพูด

By lew

on 10 April 2024 - 00:13 Tag: Gemini, Google Cloud, LLM, Google Search, Google

Gemini

กูเกิลเปิด Gemini 1.5 Pro ให้คนทั่วไปใช้งานแล้ว หลังจากเปิดตัวแบบจำกัดเมื่อเดือนกุมภาพันธ์ที่ผ่านมา พร้อมกับเพิ่มฟีเจอร์ค้นหาข้อมูลอ้างอิง (grounding) ทั้งการค้นด้วย Google Search และการค้นข้อมูลภายในองค์กรเอง

สำหรับการค้นข้อมูลในองค์กร เดิม Vertex AI มีบริการ Enterprise Search อยู่แล้ว ตอนนี้เพิ่มความสามารถเชื่อมต่อกับฐานข้อมูลภายนอก เช่น AlloyDB หรือ BigQuery เข้ามาเพิ่ม และยังเชื่อมต่อแอปที่องค์กรใช้งานอยู่ เช่น Workday, Salesforce, ServiceNow, Hadoop, Confluence, และ JIRA

กูเกิลปล่อย CodeGemma โมเดล AI สำหรับการเติมโค้ดระหว่างโปรแกรมเมอร์แก้โค้ด ตอบเร็วทันใจ

By lew

on 9 April 2024 - 22:57 Tag: Gemini, Artificial Intelligence, Google, LLM, Programming

Gemini

กูเกิลปล่อยโมเดลปัญญาประดิษฐ์ LLM สำหรับเขียนโค้ดในชื่อ CodeGemma เน้นใช้งานเป็นตัวช่วยเขียนโค้ดโดยเฉพาะ โดยมีโมเดล 3 รุ่น ได้แก่

Groq บริษัทชิปสำหรับรัน LLM เลิกขายชิป หลังจากนี้ต้องซื้อเป็นคลาวด์อย่างเดียว

By lew

on 8 April 2024 - 20:36 Tag: Groq, LLM, Semiconductor, Processor

Groq

Groq บริษัทพัฒนาชิปสำหรับประมวลผลปัญญาประดิษฐ์แบบ LLM โดยเฉพาะ ประกาศเลิกขายชิปให้กับลูกค้าทั่วไปแล้ว หลังยอมรับว่าขายยากเพราะลูกค้าต้องลงทุนสูง และตอนนี้ก็มีลูกค้าบนบริการคลาวด์จำนวนมาก

หากลูกค้าของ Groq ต้องการชิปจำนวนมากหลังจากนี้จะเป็นการเซ็นสัญญาร่วมกับศูนย์ข้อมูลเพื่อเข้าไปติดตั้งเซิร์ฟเวอร์ให้ลูกค้าใช้งานโดยเฉพาะ ตอนนี้มีลูกค้าแบบนี้คือ Aramco บริษัทน้ำมันจากซาอุดิอาระเบีย แต่มีข้อยกเว้นอยู่บ้างคือโครงการภาครัฐที่ยังซื้อชิปตรงได้

Stanford Medicine ทดสอบใช้ GPT-4 ช่วยร่างข้อความให้แพทย์และพยาบาล พบไม่ช่วยทำงานเร็วขึ้น แต่เหนื่อยน้อยลง

By lew

on 8 April 2024 - 01:41 Tag: Stanford, LLM, Medical, ChatGPT

Stanford

ทีมวิจัยจาก Stanford Medicine รายงานถึงการทดลองใช้ GPT-4 มาช่วยร่างข้อความสำหรับแอปต่างๆ ที่แพทย์แพลพยาบาลใช้งาน โดยข้อความทั้งหมดเจ้าหน้าที่ต้องมาตรวจสอบก่อนส่งอีกครั้ง

การทดลองครั้งนี้มีแพทย์และพยาบาลเข้าร่วม 162 คน ทดสอบเป็นเวลา 5 สัปดาห์ และเนื่องจากมีแอปที่เจ้าหน้าที่ต้องใช้งานหลากหลาย แอปที่รองรับ GPT-4 จริงๆ คิดเป็น 20% ของการตอบข้อความทั้งหมดของเจ้าหน้าที่ ข้อความมีหลากหลาย เช่น คนไข้ถามอาการข้างเคียงของยา, หรือการรักษาอาการเบื้องต้น

MyShell สร้างโมเดล LLM ระดับเดียวกับ LLaMA2 แต่ใช้ทุนแค่ 3 ล้านบาท

By lew

on 5 April 2024 - 11:11 Tag: LLM, Artificial Intelligence

LLM

MyShell บริษัทปัญญาประดิษฐ์สร้างตัวตนออนไลน์ เปิดตัวโมเดล JetMoE-8B โมเดล LLM ที่ประสิทธิภาพสูงกว่า LLaMA-2 13B เสียอีก และมีต้นทุนในการฝึกและการรันถูกกว่ามาก

JetMoE อาศัยสถาปัตยกรรม Mixture-of-Expert ทำให้ใช้โมเดลตอนรันจริงเพียง 2.2B เท่านั้น ต้นทุนการรันระดับเดียวกับ Gemma-2B ขณะที่การฝึกโมเดลนั้นใช้ชิป NVIDIA H100 96 ชุดเป็นเวลา 2 สัปดาห์ รวมต้นทุนประมาณ 80,000 ดอลลาร์หรือประมาณ 3 ล้านบาท น่าจะถูกกว่าโมเดลอื่นๆ ที่ประสิทธิภาพใกล้เคียงกันมาก โดยต้นทุนการฝึก LLaMA2 13B นั้นใช้ชิป A100 368640 ชั่วโมง หากคิดเป็นค่าคลาวด์ก็น่าจะเกิน 500,000 ดอลลาร์

Subscribe to LLM