混合现实虚拟显示器

入职有一个月左右了，由于工作岗位是做AI算法（目前主要在做自研的深度学习计算框架），读文献的时候经常能发现一些很好玩的AI应用，这个小项目就是上周周末基于某个人体关键点检测网络做的一个小软件，大家感受一下~

原理是用传统cv的maker tracker方法和基于深度学习的关键点检测，分别进行二维码和body landmark的定位；solvePNP之后转换到虚拟三维坐标系；用游戏引擎检测碰撞并且实时渲染模型出来。大概就是这样，没有用到depth camera，只需要一个rgb摄像头，虽然目前帧率还不高且有抖动。

landmark的检测使用的训练数据集是COCO，手部检测模型介绍可以参考CVPR2017的这篇论文《Hand Keypoint Detection in Single Images using Multiview Bootstrapp》

1
看一下具体的演示视频↓





赏

感谢请我喝可乐~

支付宝
微信

扫一扫，分享到微信

微信分享二维码

tag:

    缺失模块。
    1、请确保node版本大于6.2
    2、在博客根目录（注意不是yilia根目录）执行以下命令：
    npm i hexo-generator-json-content --save

    3、在根目录_config.yml里添加配置： 

      jsonContent:
    meta: false
    pages: false
    posts:
      title: true
      date: true
      path: true
      text: false
      raw: false
      content: false
      slug: false
      updated: false
      comments: false
      link: false
      permalink: false
      excerpt: false
      categories: false
      tags: true