Gemini’s Robotics On-Device outperforms Google’s other models

แหล่งที่มา Cryptopolitan

Google DeepMind on Tuesday introduced a new language model called Gemini Robotics On-Device. The firm revealed that the model can run tasks locally on robots without an internet connection.

The new model, which builds on the company’s previous Gemini Robotics AI model that was released in March, can control a robot’s movements. Google also acknowledged that the vision-language-action model (VLA) is small and efficient enough to run directly on a robot. According to the company, developers can control and fine-tune the model to suit various needs using natural language prompts. 

Robotics On-Device outperforms Google’s other models

Head of robotics at Google DeepMind, Carolina Parada, maintained that the original Gemini Robotics model uses a hybrid approach, allowing it to operate on-device and on the cloud. She said that with the new device-only model, users can access offline features almost as well as the flagship’s.

The tech company claims that the model performs at a level close to the cloud-based Gemini Robotics model in benchmarks. Google also said it outperforms others on-device modes in general benchmarks, though it didn’t name those models. 

“The Gemini Robotics hybrid model is still more powerful, but we’re actually quite surprised at how strong this on-device model is. I would think about it as a starter model or as a model for applications that just have poor connectivity.”

-Carolina Parada, Head of Robotics at Google DeepMind.

The firm illustrated in the demo robots running the local model, unzipping bags, and folding clothes. Google acknowledged that while the model was trained for ALOHA robots, it later adapted it to work on a bi-arm Franka FR3 robot and the Apollo humanoid robot by Apptronik.

The tech company claims the bi-arm Franka FR3 was successful in tackling scenarios and objects it hadn’t seen before, like doing assembly on an industrial belt. The firm mentioned that developers can show robots 50 to 100 demonstrations of tasks to train them on new tasks using the models on the MuJoCo physics simulator. 

Google DeepMind also mentioned the release of a software development kit called the Gemini Robotics SDK. The company revealed that its Robotics SDK provides full lifecycle tooling necessary for using Gemini Robotics models, including accessing checkpoints, serving a model, evaluating the model on the robot and in the sim, uploading data, and fine-tuning it. The firm disclosed that its on-device Gemini Robotics model and its SDK will be available to a group of trusted testers while Google continues to work toward minimizing safety risks.

Tech companies join the robotics race

Other companies that use AI models are also showing interest in robotics. Nvidia is building a platform to create foundational models for humanoids. The firm’s CEO, Jensen Huang, noted that building foundation models for general humanoid robots is one of the most exciting problems to solve in AI today.

Huang argued that the humanoid factor is one of the most contested topics in the world of robotics at the moment. He acknowledged that it’s raising venture capital by the boatload while generating massive skepticism along the way. 

Nvidia has also been championing robotic innovation through initiatives like Isaac and Jetson. Last year in March, at its annual GTC developer conference, the company joined the humanoid race with Project GROOT.

Nvidia referred to the new platform as a general-purpose foundation model for humanoid robots. The firm said GROOT will support new hardware from Nvidia as well. 

Hugging Face is not only developing open models and data sets for robotics, but it is also working on robots. The firm revealed earlier this month an OpenAI model for robotics called SmolVLA. 

The company claims the model is trained on community-shared datasets and outperforms much larger models for robotics in both virtual and real-world environments. Hugging Face also revealed that SmolVLA aims to democratize access to vision-language-action (VLA) models and accelerate research toward generalist robotic agents.

Last year, the firm launched LeRobot, a collection of robotics-focused models, datasets, and tools. More recently, Hugging Face acquired Pollen Robotics, a robotics startup based in France, and revealed several inexpensive robotics systems, including humanoids, for purchase.

Your crypto news deserves attention - KEY Difference Wire puts you on 250+ top sites

ข้อจำกัดความรับผิดชอบ: เพื่อการอ้างอิงเท่านั้น ผลการดำเนินงานในอดีตไม่ได้บ่งบอกถึงผลลัพธ์ในอนาคต
placeholder
ราคาทองคำดิ่งลงสู่ระดับต่ำสุดในรอบกว่าสองสัปดาห์ท่ามกลางการฟื้นตัวของ USD ที่เพิ่มขึ้น ก่อนข้อมูล PCE ของสหรัฐฯราคาทองคํา (XAU/USD) ขยับลงเป็นวันที่สองติดต่อกัน ซึ่งยังเป็นการเคลื่อนไหวเชิงลบเป็นวันที่สามในรอบสี่วันที่ผ่านมา และลดลงสู่ระดับต่ำสุดในรอบกว่าสองสัปดาห์ที่บริเวณ $2,861-2,860 ในช่วงเซสชั่นเอเชียวันศุกร์
ผู้เขียน  FXStreet
2 เดือน 28 วัน ศุกร์
ราคาทองคํา (XAU/USD) ขยับลงเป็นวันที่สองติดต่อกัน ซึ่งยังเป็นการเคลื่อนไหวเชิงลบเป็นวันที่สามในรอบสี่วันที่ผ่านมา และลดลงสู่ระดับต่ำสุดในรอบกว่าสองสัปดาห์ที่บริเวณ $2,861-2,860 ในช่วงเซสชั่นเอเชียวันศุกร์
placeholder
GBP/USD ยังคงร่วงลงใกล้ระดับ 1.3400 ขณะที่สหรัฐฯ เข้าสู่สงครามอิสราเอล-อิหร่านในช่วงเช้าของตลาดลงทุนเอเชียวันจันทร์ คู่ GBPUSD ปรับตัวลดลงต่อไปที่ประมาณ 1.3405 ความกลัวที่อิหร่านจะตอบโต้การโจมตีของสหรัฐฯ ต่อสถานที่นิวเคลียร์ของตนช่วยหนุนกระแสการลงทุนในสินทรัพย์ปลอดภัย ซึ่งเป็นประโยชน์ต่อดอลลาร์สหรัฐ (USD)
ผู้เขียน  FXStreet
6 เดือน 23 วัน จันทร์
ในช่วงเช้าของตลาดลงทุนเอเชียวันจันทร์ คู่ GBPUSD ปรับตัวลดลงต่อไปที่ประมาณ 1.3405 ความกลัวที่อิหร่านจะตอบโต้การโจมตีของสหรัฐฯ ต่อสถานที่นิวเคลียร์ของตนช่วยหนุนกระแสการลงทุนในสินทรัพย์ปลอดภัย ซึ่งเป็นประโยชน์ต่อดอลลาร์สหรัฐ (USD)
placeholder
ราคาทองคำกลับตัวจากการปรับตัวขึ้นในช่วงเซสชันเอเชีย; แนวโน้มขาลงดูเหมือนจะจำกัดท่ามกลางความตึงเครียดที่เพิ่มขึ้นในตะวันออกกลางราคาทองคํา (XAU/USD) พยายามที่จะใช้ประโยชน์จากการปรับตัวขึ้นเล็กน้อยในช่วงเซสชันเอเชียและดึงดูดผู้ขายรายใหม่ในบริเวณระดับ $3,400 ในวันจันทร์
ผู้เขียน  FXStreet
6 เดือน 23 วัน จันทร์
ราคาทองคํา (XAU/USD) พยายามที่จะใช้ประโยชน์จากการปรับตัวขึ้นเล็กน้อยในช่วงเซสชันเอเชียและดึงดูดผู้ขายรายใหม่ในบริเวณระดับ $3,400 ในวันจันทร์
placeholder
การคาดการณ์ราคาเงิน: XAG/USD ทดสอบแนวรับเส้นแนวโน้มที่สำคัญโลหะเงิน (XAG/USD) ปรับตัวกลับในช่วงตลาดอเมริกันวันอังคาร หลังจากใช้เวลาส่วนใหญ่ของวันเคลื่อนไหวลดลงจากจุดสูงสุดระหว่างวันที่ 36.20 ดอลลาร์
ผู้เขียน  FXStreet
6 ชั่วโมงที่แล้ว
โลหะเงิน (XAG/USD) ปรับตัวกลับในช่วงตลาดอเมริกันวันอังคาร หลังจากใช้เวลาส่วนใหญ่ของวันเคลื่อนไหวลดลงจากจุดสูงสุดระหว่างวันที่ 36.20 ดอลลาร์
placeholder
คาดการณ์ XAUUSD: ราคาทองคำเคลื่อนตัวลงต่ำกว่า $3,350 ท่ามกลางการลดความตึงเครียดในตะวันออกกลางในช่วงเช้าของตลาดลงทุนเอเชียวันพุธ ราคาทองคำ (XAU/USD) ขยับลงมาใกล้ $3,325 โลหะมีค่าลดลงเนื่องจากความตึงเครียดในตะวันออกกลางลดลง เทรดเดอร์เตรียมพร้อมสำหรับการให้การของประธานธนาคารกลางสหรัฐฯ (เฟด) นายเจอโรม พาวเวลล์ ในภายหลังในวันพุธ
ผู้เขียน  FXStreet
2 ชั่วโมงที่แล้ว
ในช่วงเช้าของตลาดลงทุนเอเชียวันพุธ ราคาทองคำ (XAU/USD) ขยับลงมาใกล้ $3,325 โลหะมีค่าลดลงเนื่องจากความตึงเครียดในตะวันออกกลางลดลง เทรดเดอร์เตรียมพร้อมสำหรับการให้การของประธานธนาคารกลางสหรัฐฯ (เฟด) นายเจอโรม พาวเวลล์ ในภายหลังในวันพุธ
goTop
quote