pose拍照机器人

1、请问,机器人视觉抓取关键技术有哪些,各有哪些实现方法,有何优缺点...

首先，我们要了解，机器人领域的视觉（Machine Vision）跟计算机领域（Computer Vision）的视觉有一些不同：机器视觉的目的是给机器人提供操作物体的信息。所以，机器视觉的研究大概有这几块： 

物体识别（Object Recognition）：在图像中检测到物体类型等，这跟 CV 的研究有很大一部分交叉； 

位姿估计（Pose Estimation）：计算出物体在摄像机坐标系下的位置和姿态，对于机器人而言，需要抓取东西，不仅要知道这是什么，也需要知道它具体在哪里； 

相机标定（Camera Calibration）：因为上面做的只是计算了物体在相机坐标系下的坐标，我们还需要确定相机跟机器人的相对位置和姿态，这样才可以将物体位姿转换到机器人位姿。

当然，我这里主要是在物体抓取领域的机器视觉；SLAM 等其他领域的就先不讲了。   

由于视觉是机器人感知的一块很重要内容，所以研究也非常多了，我就我了解的一些，按照由简入繁的顺序介绍吧：  

0. 相机标定  

这其实属于比较成熟的领域。由于我们所有物体识别都只是计算物体在相机坐标系下的位姿，但是，机器人操作物体需要知道物体在机器人坐标系下的位姿。所以，我们先需要对相机的位姿进行标定。  内参标定就不说了，参照张正友的论文，或者各种标定工具箱；  外参标定的话，根据相机安装位置，有两种方式：

Eye to Hand：相机与机器人极坐标系固连，不随机械臂运动而运动

Eye in Hand：相机固连在机械臂上，随机械臂运动而运动 两种方式的求解思路都类似，首先是眼在手外（Eye to Hand）  

只需在机械臂末端固定一个棋盘格，在相机视野内运动几个姿态。由于相机可以计算出棋盘格相对于相机坐标系的位姿 、机器人运动学正解可以计算出机器人底座到末端抓手之间的位姿变化 、而末端爪手与棋盘格的位姿相对固定不变。  这样，我们就可以得到一个坐标系环

而对于眼在手上（Eye in Hand）的情况，也类似，在地上随便放一个棋盘格（与机器人基座固连），然后让机械臂带着相机走几个位姿，然后也可以形成一个 的坐标环

平面物体检测  

这是目前工业流水线上最常见的场景。目前来看，这一领域对视觉的要求是：快速、精确、稳定。所以，一般是采用最简单的边缘提取+边缘匹配/形状匹配的方法；而且，为了提高稳定性、一般会通过主要打光源、采用反差大的背景等手段，减少系统变量。

目前，很多智能相机（如 cognex）都直接内嵌了这些功能；而且，物体一般都是放置在一个平面上，相机只需计算物体的 三自由度位姿即可。  另外，这种应用场景一般都是用于处理一种特定工件，相当于只有位姿估计，而没有物体识别。   当然，工业上追求稳定性无可厚非，但是随着生产自动化的要求越来越高，以及服务类机器人的兴起。对更复杂物体的完整位姿 估计也就成了机器视觉的研究热点。   

2. 有纹理的物体  

机器人视觉领域是最早开始研究有纹理的物体的，如饮料瓶、零食盒等表面带有丰富纹理的都属于这一类。  当然，这些物体也还是可以用类似边缘提取+模板匹配的方法。但是，实际机器人操作过程中，环境会更加复杂：光照条件不确定（光照）、物体距离相机距离不确定（尺度）、相机看物体的角度不确定（旋转、仿射）、甚至是被其他物体遮挡（遮挡）。

幸好有一位叫做 Lowe 的大神，提出了一个叫做 SIFT （Scale-invariant feature transform）的超强局部特征点：  Lowe, David G. "Distinctive image features from scale-invariant keypoints."International journal of computer vision 60.2 (2004): 91-110.  具体原理可以看上面这篇被引用 4万+ 的论文或各种博客，简单地说，这个方法提取的特征点只跟物体表面的某部分纹理有关，与光照变化、尺度变化、仿射变换、整个物体无关。  因此，利用 SIFT 特征点，可以直接在相机图像中寻找到与数据库中相同的特征点，这样，就可以确定相机中的物体是什么东西（物体识别）。

对于不会变形的物体，特征点在物体坐标系下的位置是固定的。所以，我们在获取若干点对之后，就可以直接求解出相机中物体与数据库中物体之间的单应性矩阵。  如果我们用深度相机（如Kinect）或者双目视觉方法，确定出每个特征点的 3D 位置。那么，直接求解这个 PnP 问题，就可以计算出物体在当前相机坐标系下的位姿。

↑ 这里就放一个实验室之前毕业师兄的成果  当然，实际操作过程中还是有很多细节工作才可以让它真正可用的，如：先利用点云分割和欧氏距离去除背景的影响、选用特征比较稳定的物体（有时候 SIFT 也会变化）、利用贝叶斯方法加速匹配等。  而且，除了 SIFT 之外，后来又出了一大堆类似的特征点，如 SURF、ORB 等。   

3. 无纹理的物体 

好了，有问题的物体容易解决，那么生活中或者工业里还有很多物体是没有纹理的：

我们最容易想到的就是：是否有一种特征点，可以描述物体形状，同时具有跟 SIFT 相似的不变性？  不幸的是，据我了解，目前没有这种特征点。  所以，之前一大类方法还是采用基于模板匹配的办法，但是，对匹配的特征进行了专门选择（不只是边缘等简单特征）。  

这里，我介绍一个我们实验室之前使用和重现过的算法 LineMod：  Hinterstoisser, Stefan, et al. "Multimodal templates for real-time detection of texture-less objects in heavily cluttered scenes." Computer Vision (ICCV), 2011 IEEE International Conference on. IEEE, 2011.   

简单而言，这篇论文同时利用了彩色图像的图像梯度和深度图像的表面法向作为特征，与数据库中的模板进行匹配。  由于数据库中的模板是从一个物体的多个视角拍摄后生成的，所以这样匹配得到的物体位姿只能算是初步估计，并不精确。  但是，只要有了这个初步估计的物体位姿，我们就可以直接采用 ICP 算法（Iterative closest point）匹配物体模型与 3D 点云，从而得到物体在相机坐标系下的精确位姿。

当然，这个算法在具体实施过程中还是有很多细节的：如何建立模板、颜色梯度的表示等。另外，这种方法无法应对物体被遮挡的情况。（当然，通过降低匹配阈值，可以应对部分遮挡，但是会造成误识别）。  针对部分遮挡的情况，我们实验室的张博士去年对 LineMod 进行了改进，但由于论文尚未发表，所以就先不过多涉及了。   

4. 深度学习  

由于深度学习在计算机视觉领域得到了非常好的效果，我们做机器人的自然也会尝试把 DL 用到机器人的物体识别中。  

首先，对于物体识别，这个就可以照搬 DL 的研究成果了，各种 CNN 拿过来用就好了。有没有将深度学习融入机器人领域的尝试？有哪些难点？ - 知乎 这个回答中，我提到 2016 年的『亚马逊抓取大赛』中，很多队伍都采用了 DL 作为物体识别算法。   然而， 在这个比赛中，虽然很多人采用 DL 进行物体识别，但在物体位姿估计方面都还是使用比较简单、或者传统的算法。似乎并未广泛采用 DL。 如  @周博磊  所说，一般是采用 semantic segmentation network 在彩色图像上进行物体分割，之后，将分割出的部分点云与物体 3D 模型进行 ICP 匹配。  

当然，直接用神经网络做位姿估计的工作也是有的，如这篇：  Doumanoglou, Andreas, et al. "Recovering 6d object pose and predicting next-best-view in the crowd." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016.  

它的方法大概是这样：对于一个物体，取很多小块 RGB-D 数据（只关心一个patch，用局部特征可以应对遮挡）；每小块有一个坐标（相对于物体坐标系）；然后，首先用一个自编码器对数据进行降维；之后，用将降维后的特征用于训练Hough Forest。    

5. 与任务/运动规划结合  

这部分也是比较有意思的研究内容，由于机器视觉的目的是给机器人操作物体提供信息，所以，并不限于相机中的物体识别与定位，往往需要跟机器人的其他模块相结合。

我们让机器人从冰箱中拿一瓶『雪碧』，但是这个 『雪碧』 被『美年达』挡住了。  我们人类的做法是这样的：先把 『美年达』 移开，再去取 『雪碧』 。  所以，对于机器人来说，它需要先通过视觉确定雪碧在『美年达』后面，同时，还需要确定『美年达』这个东西是可以移开的，而不是冰箱门之类固定不可拿开的物体。   当然，将视觉跟机器人结合后，会引出其他很多好玩的新东西。由于不是我自己的研究方向，所以也就不再班门弄斧了。

机器人家上有关于这个很详细的图文讲解，你可以看下，希望对你有用

根据我在广东粤为工业机器人学院学习的知识所知：视觉注意在机器人上的应用主要是目标定位、目标识别以及目标跟踪等。视觉注意一般分为自上而下的视觉注意和自上而下的视觉注意；对于在机器人上的应用主要是自上而下（目标驱动）和自下而上（早期视觉特征）在什么时间以什么方式如何很好的结合。 视觉注意在机器人上的应用主要是目标定位、目标识别以及目标跟踪等。视觉注意一般分为自上而下的视觉注意和自上而下的视觉注意；对于在机器人上的应用主要是自上而下（目标驱动）和自下而上（早期视觉特征）在什么时间以什么方式如何很好的结合。

2、童真无价-葡萄PaiBot智能机器人电脑使用攻略

女儿一直使用iPAD mini 2，因为我觉得这个尺寸是儿童用起来最合适的尺寸，有个严重的问题就是她总喜欢靠得特别近，容易伤害视力，一叫她离远一点就跟我闹。

另外一个就是APP STORE里的APP实在诱惑力太大了，比如前几天她迷上了《不良人》，接着就是《不良人》手游，这些都是18岁以上适合的动画片和游戏，真是让人伤透了脑筋。

最近一直在搜寻一款产品能够把iPad mini 2替换下来，这个视力和APP分级的不明确确实是我的心病，最近机缘巧合之下得到达人专测，产品就是葡萄纬度在京东上架的一款儿童专用的平板电脑机器人PaiBot，主打就是这两个特点，写个心得体会提供一些育儿经的参考。

初始我说用个PaiBot交换iPad mini 2的时候，还跟我闹上了，我后来说是个机器人Pad，小孩子的好奇心上来了，这才勉强答应下来，京东一送到家，小家伙就迫不及待的要求开箱，那么这个艰巨的任务就交给她了。

葡萄纬度的PaiBot是第一台孩子的专属电脑，并为硬件开发了专属的操作系统PaiOS。从硬件上来说PaiBot光线护眼、姿势护眼、护耳等模式，规避了孩子使用普通电脑的危害。另一方面通过内容评级、以及家长设置等方式打造安全的内容环境。PaiBot自带的葡萄浏览器增加内容过滤以及儿童内容的导航功能。

淘气的小家伙还摆了一个POSE，就迫不及待的开箱了，夺取了我的特权。

包装内涵的东西还真不少，我还没拍完就给她拆的乱七八糟了。

在我的谆谆教导之下，终于放慢了节奏，对嘛，总得让我拍几张吧

好不容易虎口夺食下来的 全家福，包含PaiBot本体平板电脑一个，蓝牙基座一个，充电器和一个光线反馈器。

我选的这款是紫色的，从正面来看，正好是一个iPad mini的大小嘛。从这块屏幕的参数来看，是一块7.9寸的2K分辨率的高清视网膜IPS屏，前置500W像素摄像头和光线追踪器。全触屏设计，无实体按钮。

背部全金属外壳 阳极氧化，800W像素摄像头，中间看起来很想NOKIA摄像头的部分其实是链接底座的 磁吸式接口

底部两侧设计有双麦克风和立体声放音孔，中间是Type-C接口，非常的赶潮流啊

顶部是耳机孔和开机键

侧面是两个音量大小调节键

另外一侧是光板设计

PaiBot即使和iPAD mini放一起，颜值也毫不逊色。

标配电源适配器5.25V 3A的输出能力可以很高效地为底座和PaiPad平板电脑进行充电。6240mAh的电池配合原装大功率充电头可以进行快速充电。

基座也是很有意思的一个部分，下部的金属圆形带有密集孔的部分是个3W蓝牙音箱。

底座的上部是一个可以360度 三轴旋转式的链接

底座上的触点与PaiBot背部的触点是完全契合的，这是磁吸方式的连接方式。

底座背面只有一个解锁按键和一个Type-C口。当PAIPAD和底座完全结合起来，必须按解锁键来解锁取下PaiBot。

底座的底部只有一个开机键，这样设计可以防止小孩误触，另外周边的防滑垫可以有效防止在玻璃台面上滑溜。

跟小家伙说过这些注意事项之后，她就能轻松的装配好PaiBot了

装配好的PaiBot还真有点呆萌机器人的味道

7.9英寸2048×1536分辨率的IPS显示屏显示效果还真是不赖，先看一下底座的旋转角度，上为仰角最大角度

俯角最大角度

左侧视角最大角度

右侧视角最大角度

PaiBot是四核CPU 2.0GHz，2GB内存，32GB存储空间，但是实际上并不仅这么简单， 核心部分其实采用了四核心2×Cortex-A72+2×Cortex-A53构架的MT8173处理器，GPU为Power VR G6250。操作系统PaiOS是基于安卓6.0的儿童版。

PaiBot的固件分为两部分，一个是PaiPad部分，一个是底座部分，可以同时更新，那么这个固件就是专为儿童打造的PaiOS系统

PaiOS进行了大量的优化设计，整体UI卡通味十足，一句话说就是新奇有趣又实用，孩子们只需要通过简单的点按就可以编辑设定内容。

所有的APP均针对儿童打造，以动画和儿童教育为核心打造

WIFI方面支持2.4G和11AC的5G

小Pai是集成在PaiBot内部的语音机器人，类似iPAD的SERI。

针对孩子的观看习惯，PaiOS设置了很多护眼功能，包括光线护眼，姿势护眼和距离护眼。

如果距离PaiPot太近，机器人小Pai会将屏幕扭转一边不给你看，并且语音提示你使用正确的观看方法。

小Pai还会提醒你日程事项，这对孩子来说可以直接输入课程表，每天小Pai都会提醒孩子上什么课带什么书，几点有辅导课要去上等等等等，万能保姆解放老婆的感觉。

那么智能引擎也对科教有重度优化，孩子有不会的知识，可以直接问小Pai，比如问：李白是谁？小Pai会迅速用阅读和文字的方式回答你的问题。

小Pai的数学是强项，只要你念出你需要的计算，小Pai马上会告诉你答案和计算公式。当然这一切只是小PAI功能的冰山一角，还有很多附属功能，比如你告诉小Pai，要拍张照片，它马上会移动镜头追踪你声音的位置替你拍照。。。。。。

小Pai APP动画的功能非常的丰富也是最能吸引孩子的地方，适龄的健康动画片，小Pai都会推送给你。

游戏也是经过精挑细选的儿童游戏APP，有明确的分级。

有个PaiBot机器人终于成功交换回了iPAD mini 2，和孩子深度发掘PaiPot的功能也是一个乐趣，不时能发现一些小Pai带来的惊喜，让全家捧腹大笑，其乐融融。

3、机器人拍照怎么删除

机器人拍照需要绑定账号删除。
1、打开手机微信。
2、扫描牌照机器人正面的二维码。
3、进入机器人拍照微信小程序，关注。
4、点击右下角我的，绑定账号。
5、点击左下角已拍照片，找到需要删除的照片。
6、打开照片，点击右下角删除照片进行删除。

4、Abb机器人的POSE和POS变量的区别?

ABB机器人比一般国产和日系机器人要方便很多，比如用PERS前缀声明任意类型的变量，甚至自定义数据类型变量，就可以将数据永久保存，保存的数量基本没有限制。

1、pos型表示空间位置（矢量）。

2、orient型表示在空间中的方位。

3、pose型表示坐标系（位置/方位组合）。

主要研究对象是wobj工件坐标系。pose代表坐标点的姿态，pos代表空间坐标位置的。

5、请问,用手机美颜效能拍的照片机器人能识别通过吗?

使用手机美颜效果拍的照片机器人也是可以识别的。因为机器人识别主要看五官特征，如果真的很失真，别人都看不出来，那恐怕不行了。 是不可以的，必须是本人识别 这个应该不容易通过

转载请带上网址：http://www.pos-diy.com/posjitwo/141102.html