กูเกิลปล่อยโมเดล Gemma 2 2B โมเดลขนาดเล็กประสิทธิภาพดีกว่า GPT-3.5 เข้าใจภาษาไทย

By lew

on 1 August 2024 - 10:33 Tag: Gemma, Gemini, Google, LLM

Gemma

กูเกิลปล่อยโมเดล LLM Gemma 2 2B โมเดลขนาดเล็กเพื่อการรันบนอุปกรณ์โดยตรง ชูความสามารถที่เหนือกว่า GPT-3.5 นับว่าเป็นโมเดลที่ประสิทธิภาพดีที่สุดในขนาดใกล้เคียงกัน

โมเดลนี้ฝึกด้วยชุดข้อมูลขนาด 2 ล้านล้านโทเค็น ด้วยข้อมูลเว็บ, โค้ด, และข้อมูลคณิตศาสตร์ นับว่าชุดข้อมูลเล็กกว่าโมเดลขนาดใหญ่กว่ามาก ผลที่ได้คือคะแนนทดสอบ เช่น MMLU อยู่ที่ 51.3 ต่ำกว่าโมเดลขนาดใหญ่ค่อนข้างมาก หรือชุดทดสอบเขียนโค้ด HumanEval อยู่ที่ 17.7 เท่านั้น อย่างไรก็ดีผลทดสอบใน Chatbot Arena ที่ทดสอบด้วยผู้ใช้งานจริงนั้นกลับได้คะแนนดีมาก เอาชนะได้ทั้ง GPT-3.5 หรือ ChatGPT ตัวแรก, Mixtral 8x7B ที่มีขนาดใหญ่, หรือ Llama 2 70B

ด้วยโมเดลขนาดเล็กเท่านี้ ทำให้เราสามารถรันโมเดลที่ไหนก็ได้ รวมถึงการใช้งานบนชิป NVIDIA T4 ที่ Google Colab ให้บริการฟรี

นอกจาก Gemma 2 2B ตัวหลักแล้ว กูเกิลยังปล่อยโมเดล ShieldGemma สำหรับคัดกรองเนื้อหาอันตราย พร้อมกับ Gemma Scope เครื่องมือแสดงการทำงานภายในของ Gemma 2 ที่เปิดให้ส่องกระบวนการภายในได้ว่าโมเดลมองคำใดจึงสร้างคำตอบออกมา

ที่มา - Google for Developers

Hiring! บริษัทที่น่าสนใจ

Carmen Software

Hotel Financial Solutions

Next Innovation (Thailand) Co., Ltd.

We are web design with consulting & engineering services driven the future stronger and flexibility.

KKP Dime

KKP Dime บริษัทในเครือเกียรตินาคินภัทร

Kiatnakin Phatra Financial Group

Financial Service

Fastwork Technologies

Fastwork.co เว็บไซต์ที่รวบรวม ฟรีแลนซ์ มืออาชีพจากหลากหลายสายงานไว้ในที่เดียวกัน

Thoughtworks Thailand

Thoughtworks เป็นบริษัทที่ปรึกษาด้านเทคโนโยลีระดับโลกที่คว้า Great Place to Work 3 ปีซ้อน

Iron Software

Iron Software is an American company providing a suite of .NET libraries by engineer for engineers.

CLEVERSE

Cleverse is a Venture Builder. Our team builds several tech companies.

Nipa Cloud

#1 OpenStack cloud provider in Thailand with our own data center and software platform.

Bangmod Enterprise

The leader in Cloud Server and Hosting in Thailand.

CIMB THAI Bank

MOVING FORWARD WITH YOU - CIMB is the leading ASEAN Bank

Bangkok Bank

Bangkok Bank is one of Southeast Asia's largest regional banks, a market leader in business banking

MuvMi (Urban Mobility Tech Co.,Ltd.)

Shape the future of urban mobility towards affordable, clean, and safe solutions

T.N. Digital Solution Co., Ltd.

TNDS has been involving in every first move of banking’s major digital transformation.

KBTG - KASIKORN Business-Technology Group

KBTG - "The Technology Company for Digital Business Innovation"

Siam Commercial Bank Public Company Limited

"Let's start a brighter career future together"

Icon Framework co.,Ltd.

Global Standard Platform for Real Estate แพลตฟอร์มสำหรับธุรกิจอสังหาริมทรัพย์ครบวงจร มาตรฐานระดับโลก

REFINITIV

The Financial and Risk business of Thomson Reuters is now Refinitiv

H LAB

Re-engineering healthcare systems through intelligent platforms and system design.

The Gang Technology Co., Ltd.

We're a Digital Agency that helps our customers transform their business into digital with ease.

LTMH

LTMH มุ่งเน้นการพัฒนาผลิตภัณฑ์ที่สามารถช่วยพันธมิตรของเราให้บรรลุเป้าหมาย

Seven Peaks

We Drive Digital Transformation

Wisesight (Thailand) Co., Ltd.

The Best Choice For Handling Social Media · High Expertise in Social Data · Most Advanced and Secure

MOLOG Tech

We are Modern Logistic Platform, Specialize in WMS, OMS and TMS.

Data Wow Co.,Ltd

We enable our clients to realize increased productivity by solving their most complex issues by Data

LINE Company Thailand

LINE, the world's hottest mobile messaging platform, offers free text and voice messaging + Call

LINE MAN Wongnai

Join our journey to becoming No.1 food platform in Thailand

สำหรับรันบนอุปกรณ์โดยตรงนี่คื

hisoft Thu, 01/08/2024 - 13:06

สำหรับรันบนอุปกรณ์โดยตรงนี่คือปล่อยให้ใช้ฟรีด้วย หรือจะฝังกับ Android ให้คนอื่นเรียกใช้อีกทีนะ 🤔

ว่าแต่ทำไมเทียบแค่ GPT 3.5 ไม่มี GPT 4o mini 😑

Microsoft Phi 3 ก็ใหญ่ขึ้นกว่า 2 อีก orz แถมยังได้แต่ภาษาอังกฤษ

บรรทัดที่สองนี่มันไม่ทางเทียบ

lew Thu, 01/08/2024 - 13:13

บรรทัดที่สองนี่มันไม่ทางเทียบได้ครับ แต่ GPT-3.5 (175B) นี่ตัวนี้ก็เล็กกว่า 80 เท่าแล้ว ทำได้ดีกว่าแถมใช้ทรัพยากรน้อยกว่า 80 เท่าภายใน 20 เดือนนี่นับว่าเป็น break through ของวงการแล้ว

และอีกประการคือ GPT-3.5 เป็นหมุดหมายของ LLM ที่ "ดีพอใช้งาน" เราเทียบตัวโน้นตัวนี้แต่ต้องยอมรับว่าตอนมีแต่ GPT-3.5 เราก็อยู่กับมันได้ และพบว่ามันมีประโยชน์ การใช้ GPT-3.5 เป็นหลักชัย แล้วไปพัฒนาโมเดลให้มีขนาดเล็กรันบนพีซี หรือโทรศัพท์ได้เลยเป็นแนวทางที่สำคัญ

ขอบคุณครับ

hisoft Thu, 01/08/2024 - 13:40

ขอบคุณครับ ตอนแรกคิดว่าเห็นจากราคาแล้วคิดว่าตัว GPT 4o mini ก็น่าจะไซส์โอเค แต่ถ้านับว่า GPT-3.5 เป็นหมุดหมายนี่เห็นภาพเลย

เท่าที่ดูไฟล์โมเดล

mr_tawan Thu, 01/08/2024 - 18:00

เท่าที่ดูไฟล์โมเดล เหมือนรวมกันแล้วมีขนาดราว 10GB คิดว่าน่าจะฝังไม่ได้ครับ แรมหมดก่อน

หรือผมดูผิดไฟล์ ไม่ค่อยแน่ใจเหมือนกันครับ

น่าจะ 1.6 gb นะครับ

rbus Thu, 01/08/2024 - 20:26

น่าจะ 1.6 gb นะครับ
https://ollama.com/library/gemma2:2b

ตัว 1.6GB เป็นตัวย่อครับ

lew Thu, 01/08/2024 - 23:52

ตัว 1.6GB เป็นตัวย่อครับ ประสิทธิภาพจะไม่เท่ากับตัวที่ทดสอบ

ตัวเต็ม FP16 จะอยู่ที่ 5.4GB (1 พารามิเตอร์ประมาณ 2 ไบต์ ตัวโมเดลจริงๆ อาจจะเกิน 2B ไปบ้าง)

โอบกอด 2B Yorha :)