Skip to content

Latest commit

 

History

History
21 lines (11 loc) · 2.25 KB

grasping-with-common-sense-bfe21743c02d.md

File metadata and controls

21 lines (11 loc) · 2.25 KB

使用 VLM 和 LLM 实现常识抓取

原文:towardsdatascience.com/grasping-with-common-sense-bfe21743c02d?source=collection_archive---------9-----------------------#2024-03-29

如何利用大型语言模型进行机器人抓取和代码生成

Nikolaus CorrellTowards Data Science Nikolaus Correll

·发表于 Towards Data Science ·6 分钟阅读·2024 年 3 月 29 日

--

抓取和操控仍然是机器人技术中的一个难题,尚未解决。抓取不仅仅是找出将手指放置在物体上的位置,以产生足够的约束力。抓取还涉及施加恰到好处的力量,既能捡起物体又不至于破坏它,同时确保物体能够按预期使用。同时,抓取还为检测物体的类型和属性提供了关键的传感器输入。随着移动性基本解决,抓取和操控仍然是实现真正自主劳动替代的最后一个前沿。

如果你不是 Medium 的订阅者,可以 在这里 免费阅读这篇文章

想象一下,你正在派遣你的类人机器人去超市,并告诉它:“检查鳄梨的成熟度,今天为做鳄梨酱拿一个鳄梨”。 这里有很多事情在发生:

  1. “成熟度”这一品质并不是像草莓或西红柿那样通过颜色显而易见,而是需要触觉信息来判断。

  2. “抓一个鳄梨”,特别是一个成熟的鳄梨,意味着某种…