追踪方法及相关追踪系统

—— CN201811519308.1

摘要

本发明公开了一种追踪物体的追踪方法及其相关追踪系统,该物体包含惯性测量单元,用来产生第一追踪信息,以及该物体的表面具有多个鉴定点;该追踪方法包含取得具有该物体的影像以判断该影像中包含的鉴定点数量以及对应鉴定点,该鉴定点数量是大于等于零的整数;根据该第一追踪信息,判断第二追踪信息;以及根据该影像,校正该第二追踪信息。

权利要求书

1.一种追踪物体的追踪方法,其特征在于,该物体包含惯性测量单元,用来产生第一追踪信息,该物体的表面具有多个鉴定点,该追踪方法包含:
取得具有该物体的影像以判断该影像中包含的鉴定点数量以及对应鉴定点,其中该鉴定点数量是大于等于零的整数;
根据该第一追踪信息,判断第二追踪信息;以及
根据该影像,校正该第二追踪信息。

2.根据权利要求1所述的追踪方法,其特征在于,该多个鉴定点包含具有第一颜色的第一点、具有第二颜色的第二点、具有第三颜色的第三点以及具有第四颜色的第四点,且该第一颜色、该第二颜色、该第三颜色和该第四颜色为不同颜色。

3.根据权利要求2所述的追踪方法,其特征在于,该第一点、该第二点、该第三点和该第四点设置在相同平面,且该第一点、该第二点、该第三点和该第四点为非线性设置。

4.根据权利要求1、2、3任一项所述的追踪方法,其特征在于,该物体包含控制器,该第一追踪信息包含第一控制器信息,且该第二追踪信息包含第二控制器信息。

5.根据权利要求4所述的追踪方法,其特征在于,该第一控制器信息是三维自由度信息,且该第二控制器信息是六维自由度信息。

6.根据权利要求5所述的追踪方法,其特征在于,根据该第一控制器信息,判断该第二控制器信息的步骤是对该第一控制器信息进行积分运算,以取得该第二控制器信息。

7.根据权利要求5所述的追踪方法,其特征在于,根据该影像,校正该第二控制器信息的步骤包含:
根据该影像,判断第三控制器信息;以及
根据该第三控制器信息,校正该第二控制器信息;
其中该第三控制器信息是六维自由度信息。

8.一种追踪系统,用于追踪物体,其特征在于,该物体包含惯性测量单元用来产生第一追踪信息,且该物体的表面具有多个鉴定点,该追踪系统包含:
影像撷取模块,用来取得具有该物体的影像以判断该影像中包含的鉴定点数量以及对应鉴定点,其中该鉴定点数量是大于等于零的整数;
处理单元;以及
存储单元,用来存储程序码以指示该处理单元执行以下步骤:
根据该第一追踪信息,判断第二追踪信息;以及
根据该影像,校正该第二追踪信息。

9.根据权利要求8所述的追踪系统,其特征在于,该多个鉴定点包含具有第一颜色的第一点、具有第二颜色的第二点、具有第三颜色的第三点以及具有第四颜色的第四点,且该第一颜色、该第二颜色、该第三颜色和该第四颜色为不同颜色。

10.根据权利要求9所述的追踪系统,其特征在于,该第一点、该第二点、该第三点和该第四点设置在相同平面,且该第一点、该第二点、该第三点和该第四点为非线性设置。

11.根据权利要求8、9、10任一项所述的追踪系统,其特征在于,该物体包含控制器,该第一追踪信息包含第一控制器信息,且该第二追踪信息包含第二控制器信息。

12.根据权利要求11所述的追踪系统,其特征在于,该第一控制器信息是三维自由度信息,且该第二控制器信息是六维自由度信息。

13.根据权利要求12所述的追踪系统,其特征在于,该处理单元对该第一控制器信息进行积分运算以取得该第二控制器信息,用来根据该第一控制器信息,判断该第二控制器信息。

14.根据权利要求12所述的追踪系统,其特征在于,该处理单元进行以下步骤,以根据该影像来校正该第二控制器信息:
根据该影像,判断第三控制器信息;以及
根据该第三控制器信息,校正该第二控制器信息;
其中该第三控制器信息是六维自由度信息。


说明书

技术领域

本发明涉及一种追踪方法及相关追踪系统。

背景技术

随着虚拟实境(virtual reality,VR)、扩增实境(augmented reality,AR)、混合实境(mixed reality,MR)和延伸实境(extended reality,XR)装置和相关互动系统的普及率上升,用户可使用虚拟/扩增/混合/延伸实境装置,轻易地体验互动系统提供的虚拟/扩增/混合/延伸实境环境,让用户可完全沉浸在虚拟/扩增/混合/延伸实境环境中。为了提升用户体验,追踪系统通常会捕捉用户动作来产生对应反映给虚拟/扩增/混合/延伸实境环境。因此,用户可与互动系统进行一系列的手势身体移动等互动操作,以强化用户体验。

在现有技术中,为了精确地判断用户的手部移动,互动系统可藉由一控制器来可产生六维自由度(6degrees of freedom,6Dof)信息,如此,大幅地增加互动系统的硬件成本。然而,具备三维自由度控制器的互动系统却无法精确地判断用户的手部移动,如此导致用户体验不佳。简言之,互动系统让用户不是付出昂贵的硬件成本,就是无法提供良好的用户体验。因此,现有技术实有改善的必要。

发明内容

因此,本发明的目的在于提供一种追踪方法及相关追踪系统。

本发明公开一种追踪物体的追踪方法,其中该物体包含惯性测量单元,用来于互动系统中产第一追踪信息,以及该物体的表面具有多个鉴定点,该追踪方法包含取得具有该物体的影像以判断该影像中包含的鉴定点数量以及对应鉴定点,其中该鉴定点数量是大于等于零的整数;根据该第一追踪信息,判断第二追踪信息;以及根据该影像,校正该第二追踪信息。

本发明另外公开一种追踪系统,用于追踪物体,其中该物体包含惯性测量单元,用来于互动系统中产生第一追踪信息,用来于互动系统中产生第一追踪信息,该追踪系统包含影像撷取模块,用来取得具有该物体的影像和该多个鉴定点的至少一者;处理单元;以及存储单元,用来存储程序码以指示该处理单元执行以下步骤:根据该第一追踪信息,判断第二追踪信息;以及根据该影像,校正该第二追踪信息;其中该第一追踪信息是三维自由度信息,且该第二追踪信息是六维自由度信息。

附图说明

图1为本发明实施例一追踪系统的示意图。

图2为本发明实施例一控制器的示意图。

图3为本发明实施例一流程的流程图。

图4为本发明实施例另一流程的流程图。

图5到图8分别为本发明实施例四个预设影像的示意图。

图9为本发明实施例一重置影像的示意图。

附图标记说明:

10追踪系统

C1控制器

U1用户

U1_c1、U1_c1t控制器信息

100 影像撷取模块

102 处理单元

104 存储单元

d1、d2、d3、d4 鉴定点

I1影像

30、32 流程

300、302、304、306、308、310、步骤

320、322、324、326、328、330、

332

具体实施方式

请参阅图1,其为本发明实施例一追踪系统10的示意图。该追踪系统10可追踪控制器C1的运动,其中用户U1可手持控制器C1,以实现互动系统。详细来说,互动系统可以是虚拟实境(virtual reality,VR)、扩增实境(augmented reality,AR)、混合实境(mixedreality,MR)或延伸实境(extended reality,EX)装置,用户U1可沉浸在该互动系统提供的模拟的虚拟/扩增/混合/延伸环境中。为了在虚拟/扩增/混合/延伸实境环境中,生动地模拟互动行为,互动系统可设计来读取用户的身体移动,以产生真实的反应。控制器C1内的惯性测量单元(inertial measurement unit,IMU)可产生对应用户U1的手部移动的动能信息。如此一来,互动系统可根据控制器C1产生的控制器信息U1_c1,判断用户的手部移动U1。然而,控制器C1产生的控制器信息U1_c1若不能精确地指示用户U1的手部移动,将导致偏移状况,以至于互动系统的误判,如此进一步恶化互动系统的用户体验。因此,本发明提供的追踪系统10可校正控制器信息U1_c1,让校正过的控制器信息U1_c1可精确地指示用户的手部移动U1,让互动系统可产生适当的反应。换言之,有了追踪系统10的硬件配备,可降低互动系统的硬件成本,也可提升互动系统的用户体验。

请注意,控制器C1产生的控制器信息U1_c1可以是三维自由度(3degrees offreedom)信息,且追踪系统10可根据三维自由度的控制器信息U1_c1,产生六维自由度的控制器信息U1_c1t。当然,直接从控制器信息U1_c1取得的控制器信息U1_c1t可能存有误差而不能精确地指示用户的手部移动U1。因此,互动系统能够只使用三维自由度控制器,让追踪系统10对控制器信息U1_c1t进行校正,即可精确地追踪用户的手部移动U1。

详细来说,追踪系统10包含影像撷取模块100、处理单元102和存储单元104。影像撷取模块100用来取得影像I1,该影像I1中包含控制器C1。处理单元102耦接于控制器C1和影像撷取模块100,用来判断控制器信息U1_c1t,以及根据影像I1,校正控制器信息U1_c1t。存储单元104用来存储程序码1040以指示处理单元102执行流程所包含的步骤。

接着,请参阅图2,其为本发明实施例一控制器C1的示意图。如图2所示,控制器C1包含四个鉴定点d1~d4,其中每个鉴定点具有不同颜色,让处理单元102可从影像I1捕捉鉴定点,据以校正控制器信息U1_c1。具体来说,处理单元102可根据处理单元102对影像I1的分析结果,判断控制器C1的所在之处和指向之处。

在本实施例中,鉴定点d1~d4的颜色分别是红色、绿色、蓝色和白色。因此,影像I1不须太高的影像质量需求,也可提升鉴定速度和精确度。在其他实施例中,鉴定点d1~d4的形状及外观中的至少一者可以不同。举例来说,鉴定点d1~d4的形状分别正方形、三角形、长方形和梯形等。因此,鉴定点d1~d4的形状及外观中的至少一者可改由不同颜色和形状的组合来降低影像I1的影像质量需求,并可提升鉴定速度和精确度。

影像撷取模块100可以是整合在便携式电子装置内的摄影机、录音机或录像机等,只要处理单元102能够根据影像撷取模块100撷取到的影像I1来分辨鉴定点d1~d4即可。在本实施例中,影像撷取模块100是整合在虚拟/扩增/混合/延伸实境显示装置,让影像撷取模块100可从用户U1的主观视角来取得影像I1。处理单元102可以是微处理器或专用集成电路(application-specific inte-grated circuit,ASIC)。存储单元104可以是只读存储器(read-only memory,ROM)、随机存取存储器(random-access memory,RAM)、非挥发存储器(例如,电子抹除式可复写只读存储器(electrically erasable programmable read onlymemory(EEPROM))或快闪存储器)、只读记忆光盘、磁带、软盘、光学资料存储装置等,但不限于此。

追踪系统10的相关操作可归纳为流程30,如图3所示。流程30包含以下步骤:

步骤300:开始。

步骤302:控制器C1产生控制器信息U1_c1到处理单元102。

步骤304:处理单元102根据控制器信息U1_c1,判断控制器信息U1_c1t。

步骤306:影像撷取模块100取得包含控制器C1的影像I1。

步骤308:处理单元102根据影像I1,校正控制器信息U1_c1t。

步骤310:结束。

根据流程30,在步骤302中,控制器C1可产生控制器信息U1_c1到追踪系统10的处理单元102,用来指示用户U1的手部移动。在步骤304中,处理单元102可根据控制器C1产生的控制器信息U1_c1,判断控制器信息U1_c1t。详细来说,三维自由度的控制器信息U1_c1包含控制器C1的三轴加速度信息,让处理单元102可对控制器信息U1_c1进行双重积分运算,以判断控制器C1的三轴位移信息。因此,处理单元102可融合控制器信息U1_c1和三轴位移信息,以取得六维自由度的控制器信息U1_c1t。然而,处理单元102取得的控制器C1三轴加速度信息可能包含误差,每当用户U1做出一次手部移动,即会重复累加一次。因此,控制器信息U1_c1t会变得越来越不准,且控制器信息U1_c1t的偏移量也会随着累加而增加。如此一来,控制器信息U1_a2,包含对控制器信息U1_c1进行双重积分运算所取得的三轴位移信息,变得不准确,也不可直接用来指示正确的用户手部移动U1。因此,在步骤306中,追踪系统10的影像撷取模块100可取得包含控制器C1的影像I1。接着,在步骤308中,处理单元102可根据该影像I1,判断控制器C1的所在之处和指向之处。具体而言,处理单元102可根据影像I1捕捉的控制器C1的鉴定点d1~d4,判断控制器坐标和控制器方向。如此一来,有了控制器坐标和控制器方向,处理单元102可校正控制器信息U1_c1t来精确地指示用户的手部移动U1,其可进一步降低互动系统的硬件成本,并提升互动系统和追踪系统10的用户体验。

上述追踪系统10的详细操作可归纳为另一流程32,如图4所示。流程32包含以下步骤:

步骤320:开始。

步骤322:控制器C1产生控制器信息U1_c1到处理单元102。

步骤324:处理单元102根据控制器信息U1_c1,判断控制器信息U1_c1t。

步骤326:影像撷取模块100取得包含控制器C1的影像I1。

步骤328:处理单元102根据影像I1,判断控制器方向和控制器坐标。

步骤330:处理单元102根据控制器方向和控制器坐标,校正控制器信息U1_c1t。

步骤332:结束。

步骤320~326的操作类似于步骤300~306,在此不赘述。

在步骤328中,处理单元100通过对影像I1捕捉到的鉴定点d1~d4进行分析,以分辨控制器坐标和控制器方向。为了精确地指示控制器坐标和控制器方向,处理单元100分析影像I1捕捉到的鉴定点d1~d4。举例来说,请参阅图5至图8,其绘示四个预设影像P1~P4中,控制器C1分别指向不同控制器方向。请注意,四个预设影像P1~P4可存储在存储单元104,以供处理单元102进行存取和比较。每个预设影像分别对应预设控制器方向和预设控制器方向,让处理单元102可分别比较四个预设影像P1~P4和影像I1,以根据影像I1捕捉到的鉴定点d1~d4,判断控制器方向和控制器坐标。如图5所示,其为用户U1手持控制器C1并露出鉴定点d1、d2的预设影像P1。因此,当处理单元102侦测到影像I1含有鉴定点d1、d2时,处理单元102可取得预设控制器方向和预设控制器坐标对应的预设影像P1。此外,处理单元102可进一步计算鉴定点d1、d2在影像I1中的距离和角度。因此,处理单元102可根据上述计算,精细化预设影像P1对应的预设控制器方向和预设控制器坐标,以产生影像I1对应的控制器方向和控制器坐标。如图6所示,当处理单元102侦测到影像I1含有鉴定点d2、d3时,处理单元102可判断影像I1对应预设影像P2,因此可取得预设影像P2对应的预设控制器方向和预设控制器坐标。在进一步分析鉴定点d2、d3之间的距离和方向之后,可精确地取得控制器坐标和控制器方向。同理,如图7、8所示,其分别绘示含有鉴定点d4的预设影像P3和没有鉴定点的预设影像P4。因此,当影像I1仅捕捉到鉴定点d4和没有捕捉到鉴定点时,处理单元102可分别比较影像I1和预设影像P3、P4,以取得影像P3、P4对应的预设控制器方向和预设控制器坐标。换言之,处理单元102可取得具有物体(控制器C1)的影像I1,以判断影像I1中包含的鉴定点数量以及对应鉴定点d1~d4为何,其中鉴定点数量是大于等于零的整数(例如,0、1、2、3、4等整数)。

因此,在步骤330中,处理单元102可根据在步骤328取得的控制器方向和控制器坐标,校正控制器信息U1_c1t,以提升互动系统和追踪系统10的用户体验。处理单元102可固定和周期性地对控制器信息U1_c1t进行校正,可移除双重积分运算取得的误差,以取得准确的控制器信息U1_c1来精确地指出用户的手部移动U1,并进一步提升互动系统和追踪系统的用户体验。

请注意,上述实施例是用于描述本发明的概念。本发明所属技术领域的技术人员可据以修饰、变化,但不限于本发明实施例。根据不同应用和设计概念,本发明所属技术领域的技术人员可适当地修饰本发明的追踪系统。举例来说,影像撷取模块不仅限于整合在虚拟/扩增/混合/延伸实境显示装置的摄影机。在本实施例中,影像撷取模块可以是设置在用户前方的外接摄影机,让影像撷取模块可从其他视角取得包含鉴定的影像,如此有利于处理单元102对影像进行分析。在其他实施例中,多个影像撷取模块也可适用于本发明,即追踪系统可包含两个以上的影像撷取模块,让追踪系统可从不同视角取得多个影像。如此一来,可有效改善控制器上的鉴定点的死角区域,并可提升追踪系统的精确度。

另一方面,存储单元104除了可存储预设影像P1~P4,存储单元104也可进一步存储重置影像P5,以用于校正控制器信息U1_c1t。详细来说,用户U1进行的手部移动虽然看似混乱且不可预测,然而大多数用户仍有些惯用模式,让追踪系统10可据以校正控制器信息U1_c1t。请注意,请参阅图9,其为本发明实施例重置影像P5的示意图。如图9所示,重置影像P5绘示用户U1摆出准备位置(standing by position)姿势,其中重置影像P5对应重置坐标和重置方向。在此情况下,当处理单元102判断重置方向和控制器方向之间的方向差小于预设方向值,且重置坐标和控制器坐标之间的坐标差小于预设坐标值时,处理单元102可判断用户U1已回到准备位置。因此,处理单元102可设定控制器方向等于重置方向,并设定控制器坐标等于重置坐标,以校正控制器信息U1_c1t。

换言之,每当用户U1手部回到准备位置时,追踪系统10可据此来重置控制器信息U1_c1t,以消除误差。因此,追踪系统10可根据影像I1撷取模块100取得的影像和存储在存储单元104的预设影像,精确地判断六维自由度的控制器信息U1_c1t,进一步提升互动系统和追踪系统的用户体验。

在现有技术中,互动系统需配置控制器来产生六维自由度信息,以精确地追踪用户的手部移动。另一方面,该互动系统若没有配置六维自由度信息的控制器,则无法精确地追踪用户的手部移动,如此导致可互动系统的用户体验不佳。有鉴于此,该互动系统不是让用户付出昂贵的硬件成本,就是提供不佳的用户体验。因此,本发明提供的追踪系统可取得包含控制器的影像。如此一来,本发明的追踪系统可根据从控制器取得的三维自由度的控制器信息,产生六维自由度的控制器信息。此外,本发明的追踪系统进一步分析追踪影像来校正六维自由度的控制器信息,以移除控制器信息的误差。总而言之,通过影像撷取模块,本发明的追踪系统可根据三维自由度的控制器信息,精确地产生六维自由度的控制器信息,进而降低硬件成本需求并提升用户体验。

在上述说明中,本发明的追踪系统10、流程30和流程32并不限于追踪控制器C1的相关操作。举例来说,追踪系统10和流程30、32可追踪其他物体,例如,包含惯性测量单元的手机或平板计算机。

包含惯性测量单元的物体可产生第一追踪信息。追踪系统10和流程30、32可根据该第一追踪信息,判断第二追踪信息。意即,第一控制器信息U1_c1可以是该第一追踪信息、不是该第一追踪信息、或包含在第一追踪信息内,且第二控制器信息U1_c1t可以是该第二追踪信息、不是该第二追踪信息、或包含在第二追踪信息。

因此,虽然本发明的许多段落是相关于一特定领域(即,互动系统的控制器)的应用,该应用可以大幅提升对于控制器的追踪功能,从而使得本发明在该特定领域的应用上有极大的特殊优点。然而,本发明亦可应用于其他领域,例如对其他物体的追踪,而不限于控制器领域的应用。

以上所述仅为本发明的较佳实施例,凡依本发明權利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。

"},"instr":"

技术领域

本发明涉及一种追踪方法及相关追踪系统。

背景技术

随着虚拟实境(virtual reality,VR)、扩增实境(augmented reality,AR)、混合实境(mixed reality,MR)和延伸实境(extended reality,XR)装置和相关互动系统的普及率上升,用户可使用虚拟/扩增/混合/延伸实境装置,轻易地体验互动系统提供的虚拟/扩增/混合/延伸实境环境,让用户可完全沉浸在虚拟/扩增/混合/延伸实境环境中。为了提升用户体验,追踪系统通常会捕捉用户动作来产生对应反映给虚拟/扩增/混合/延伸实境环境。因此,用户可与互动系统进行一系列的手势身体移动等互动操作,以强化用户体验。

在现有技术中,为了精确地判断用户的手部移动,互动系统可藉由一控制器来可产生六维自由度(6degrees of freedom,6Dof)信息,如此,大幅地增加互动系统的硬件成本。然而,具备三维自由度控制器的互动系统却无法精确地判断用户的手部移动,如此导致用户体验不佳。简言之,互动系统让用户不是付出昂贵的硬件成本,就是无法提供良好的用户体验。因此,现有技术实有改善的必要。

发明内容

因此,本发明的目的在于提供一种追踪方法及相关追踪系统。

本发明公开一种追踪物体的追踪方法,其中该物体包含惯性测量单元,用来于互动系统中产第一追踪信息,以及该物体的表面具有多个鉴定点,该追踪方法包含取得具有该物体的影像以判断该影像中包含的鉴定点数量以及对应鉴定点,其中该鉴定点数量是大于等于零的整数;根据该第一追踪信息,判断第二追踪信息;以及根据该影像,校正该第二追踪信息。

本发明另外公开一种追踪系统,用于追踪物体,其中该物体包含惯性测量单元,用来于互动系统中产生第一追踪信息,用来于互动系统中产生第一追踪信息,该追踪系统包含影像撷取模块,用来取得具有该物体的影像和该多个鉴定点的至少一者;处理单元;以及存储单元,用来存储程序码以指示该处理单元执行以下步骤:根据该第一追踪信息,判断第二追踪信息;以及根据该影像,校正该第二追踪信息;其中该第一追踪信息是三维自由度信息,且该第二追踪信息是六维自由度信息。

附图说明

图1为本发明实施例一追踪系统的示意图。

图2为本发明实施例一控制器的示意图。

图3为本发明实施例一流程的流程图。

图4为本发明实施例另一流程的流程图。

图5到图8分别为本发明实施例四个预设影像的示意图。

图9为本发明实施例一重置影像的示意图。

附图标记说明:

10追踪系统

C1控制器

U1用户

U1_c1、U1_c1t控制器信息

100 影像撷取模块

102 处理单元

104 存储单元

d1、d2、d3、d4 鉴定点

I1影像

30、32 流程

300、302、304、306、308、310、步骤

320、322、324、326、328、330、

332

具体实施方式

请参阅图1,其为本发明实施例一追踪系统10的示意图。该追踪系统10可追踪控制器C1的运动,其中用户U1可手持控制器C1,以实现互动系统。详细来说,互动系统可以是虚拟实境(virtual reality,VR)、扩增实境(augmented reality,AR)、混合实境(mixedreality,MR)或延伸实境(extended reality,EX)装置,用户U1可沉浸在该互动系统提供的模拟的虚拟/扩增/混合/延伸环境中。为了在虚拟/扩增/混合/延伸实境环境中,生动地模拟互动行为,互动系统可设计来读取用户的身体移动,以产生真实的反应。控制器C1内的惯性测量单元(inertial measurement unit,IMU)可产生对应用户U1的手部移动的动能信息。如此一来,互动系统可根据控制器C1产生的控制器信息U1_c1,判断用户的手部移动U1。然而,控制器C1产生的控制器信息U1_c1若不能精确地指示用户U1的手部移动,将导致偏移状况,以至于互动系统的误判,如此进一步恶化互动系统的用户体验。因此,本发明提供的追踪系统10可校正控制器信息U1_c1,让校正过的控制器信息U1_c1可精确地指示用户的手部移动U1,让互动系统可产生适当的反应。换言之,有了追踪系统10的硬件配备,可降低互动系统的硬件成本,也可提升互动系统的用户体验。

请注意,控制器C1产生的控制器信息U1_c1可以是三维自由度(3degrees offreedom)信息,且追踪系统10可根据三维自由度的控制器信息U1_c1,产生六维自由度的控制器信息U1_c1t。当然,直接从控制器信息U1_c1取得的控制器信息U1_c1t可能存有误差而不能精确地指示用户的手部移动U1。因此,互动系统能够只使用三维自由度控制器,让追踪系统10对控制器信息U1_c1t进行校正,即可精确地追踪用户的手部移动U1。

详细来说,追踪系统10包含影像撷取模块100、处理单元102和存储单元104。影像撷取模块100用来取得影像I1,该影像I1中包含控制器C1。处理单元102耦接于控制器C1和影像撷取模块100,用来判断控制器信息U1_c1t,以及根据影像I1,校正控制器信息U1_c1t。存储单元104用来存储程序码1040以指示处理单元102执行流程所包含的步骤。

接着,请参阅图2,其为本发明实施例一控制器C1的示意图。如图2所示,控制器C1包含四个鉴定点d1~d4,其中每个鉴定点具有不同颜色,让处理单元102可从影像I1捕捉鉴定点,据以校正控制器信息U1_c1。具体来说,处理单元102可根据处理单元102对影像I1的分析结果,判断控制器C1的所在之处和指向之处。

在本实施例中,鉴定点d1~d4的颜色分别是红色、绿色、蓝色和白色。因此,影像I1不须太高的影像质量需求,也可提升鉴定速度和精确度。在其他实施例中,鉴定点d1~d4的形状及外观中的至少一者可以不同。举例来说,鉴定点d1~d4的形状分别正方形、三角形、长方形和梯形等。因此,鉴定点d1~d4的形状及外观中的至少一者可改由不同颜色和形状的组合来降低影像I1的影像质量需求,并可提升鉴定速度和精确度。

影像撷取模块100可以是整合在便携式电子装置内的摄影机、录音机或录像机等,只要处理单元102能够根据影像撷取模块100撷取到的影像I1来分辨鉴定点d1~d4即可。在本实施例中,影像撷取模块100是整合在虚拟/扩增/混合/延伸实境显示装置,让影像撷取模块100可从用户U1的主观视角来取得影像I1。处理单元102可以是微处理器或专用集成电路(application-specific inte-grated circuit,ASIC)。存储单元104可以是只读存储器(read-only memory,ROM)、随机存取存储器(random-access memory,RAM)、非挥发存储器(例如,电子抹除式可复写只读存储器(electrically erasable programmable read onlymemory(EEPROM))或快闪存储器)、只读记忆光盘、磁带、软盘、光学资料存储装置等,但不限于此。

追踪系统10的相关操作可归纳为流程30,如图3所示。流程30包含以下步骤:

步骤300:开始。

步骤302:控制器C1产生控制器信息U1_c1到处理单元102。

步骤304:处理单元102根据控制器信息U1_c1,判断控制器信息U1_c1t。

步骤306:影像撷取模块100取得包含控制器C1的影像I1。

步骤308:处理单元102根据影像I1,校正控制器信息U1_c1t。

步骤310:结束。

根据流程30,在步骤302中,控制器C1可产生控制器信息U1_c1到追踪系统10的处理单元102,用来指示用户U1的手部移动。在步骤304中,处理单元102可根据控制器C1产生的控制器信息U1_c1,判断控制器信息U1_c1t。详细来说,三维自由度的控制器信息U1_c1包含控制器C1的三轴加速度信息,让处理单元102可对控制器信息U1_c1进行双重积分运算,以判断控制器C1的三轴位移信息。因此,处理单元102可融合控制器信息U1_c1和三轴位移信息,以取得六维自由度的控制器信息U1_c1t。然而,处理单元102取得的控制器C1三轴加速度信息可能包含误差,每当用户U1做出一次手部移动,即会重复累加一次。因此,控制器信息U1_c1t会变得越来越不准,且控制器信息U1_c1t的偏移量也会随着累加而增加。如此一来,控制器信息U1_a2,包含对控制器信息U1_c1进行双重积分运算所取得的三轴位移信息,变得不准确,也不可直接用来指示正确的用户手部移动U1。因此,在步骤306中,追踪系统10的影像撷取模块100可取得包含控制器C1的影像I1。接着,在步骤308中,处理单元102可根据该影像I1,判断控制器C1的所在之处和指向之处。具体而言,处理单元102可根据影像I1捕捉的控制器C1的鉴定点d1~d4,判断控制器坐标和控制器方向。如此一来,有了控制器坐标和控制器方向,处理单元102可校正控制器信息U1_c1t来精确地指示用户的手部移动U1,其可进一步降低互动系统的硬件成本,并提升互动系统和追踪系统10的用户体验。

上述追踪系统10的详细操作可归纳为另一流程32,如图4所示。流程32包含以下步骤:

步骤320:开始。

步骤322:控制器C1产生控制器信息U1_c1到处理单元102。

步骤324:处理单元102根据控制器信息U1_c1,判断控制器信息U1_c1t。

步骤326:影像撷取模块100取得包含控制器C1的影像I1。

步骤328:处理单元102根据影像I1,判断控制器方向和控制器坐标。

步骤330:处理单元102根据控制器方向和控制器坐标,校正控制器信息U1_c1t。

步骤332:结束。

步骤320~326的操作类似于步骤300~306,在此不赘述。

在步骤328中,处理单元100通过对影像I1捕捉到的鉴定点d1~d4进行分析,以分辨控制器坐标和控制器方向。为了精确地指示控制器坐标和控制器方向,处理单元100分析影像I1捕捉到的鉴定点d1~d4。举例来说,请参阅图5至图8,其绘示四个预设影像P1~P4中,控制器C1分别指向不同控制器方向。请注意,四个预设影像P1~P4可存储在存储单元104,以供处理单元102进行存取和比较。每个预设影像分别对应预设控制器方向和预设控制器方向,让处理单元102可分别比较四个预设影像P1~P4和影像I1,以根据影像I1捕捉到的鉴定点d1~d4,判断控制器方向和控制器坐标。如图5所示,其为用户U1手持控制器C1并露出鉴定点d1、d2的预设影像P1。因此,当处理单元102侦测到影像I1含有鉴定点d1、d2时,处理单元102可取得预设控制器方向和预设控制器坐标对应的预设影像P1。此外,处理单元102可进一步计算鉴定点d1、d2在影像I1中的距离和角度。因此,处理单元102可根据上述计算,精细化预设影像P1对应的预设控制器方向和预设控制器坐标,以产生影像I1对应的控制器方向和控制器坐标。如图6所示,当处理单元102侦测到影像I1含有鉴定点d2、d3时,处理单元102可判断影像I1对应预设影像P2,因此可取得预设影像P2对应的预设控制器方向和预设控制器坐标。在进一步分析鉴定点d2、d3之间的距离和方向之后,可精确地取得控制器坐标和控制器方向。同理,如图7、8所示,其分别绘示含有鉴定点d4的预设影像P3和没有鉴定点的预设影像P4。因此,当影像I1仅捕捉到鉴定点d4和没有捕捉到鉴定点时,处理单元102可分别比较影像I1和预设影像P3、P4,以取得影像P3、P4对应的预设控制器方向和预设控制器坐标。换言之,处理单元102可取得具有物体(控制器C1)的影像I1,以判断影像I1中包含的鉴定点数量以及对应鉴定点d1~d4为何,其中鉴定点数量是大于等于零的整数(例如,0、1、2、3、4等整数)。

因此,在步骤330中,处理单元102可根据在步骤328取得的控制器方向和控制器坐标,校正控制器信息U1_c1t,以提升互动系统和追踪系统10的用户体验。处理单元102可固定和周期性地对控制器信息U1_c1t进行校正,可移除双重积分运算取得的误差,以取得准确的控制器信息U1_c1来精确地指出用户的手部移动U1,并进一步提升互动系统和追踪系统的用户体验。

请注意,上述实施例是用于描述本发明的概念。本发明所属技术领域的技术人员可据以修饰、变化,但不限于本发明实施例。根据不同应用和设计概念,本发明所属技术领域的技术人员可适当地修饰本发明的追踪系统。举例来说,影像撷取模块不仅限于整合在虚拟/扩增/混合/延伸实境显示装置的摄影机。在本实施例中,影像撷取模块可以是设置在用户前方的外接摄影机,让影像撷取模块可从其他视角取得包含鉴定的影像,如此有利于处理单元102对影像进行分析。在其他实施例中,多个影像撷取模块也可适用于本发明,即追踪系统可包含两个以上的影像撷取模块,让追踪系统可从不同视角取得多个影像。如此一来,可有效改善控制器上的鉴定点的死角区域,并可提升追踪系统的精确度。

另一方面,存储单元104除了可存储预设影像P1~P4,存储单元104也可进一步存储重置影像P5,以用于校正控制器信息U1_c1t。详细来说,用户U1进行的手部移动虽然看似混乱且不可预测,然而大多数用户仍有些惯用模式,让追踪系统10可据以校正控制器信息U1_c1t。请注意,请参阅图9,其为本发明实施例重置影像P5的示意图。如图9所示,重置影像P5绘示用户U1摆出准备位置(standing by position)姿势,其中重置影像P5对应重置坐标和重置方向。在此情况下,当处理单元102判断重置方向和控制器方向之间的方向差小于预设方向值,且重置坐标和控制器坐标之间的坐标差小于预设坐标值时,处理单元102可判断用户U1已回到准备位置。因此,处理单元102可设定控制器方向等于重置方向,并设定控制器坐标等于重置坐标,以校正控制器信息U1_c1t。

换言之,每当用户U1手部回到准备位置时,追踪系统10可据此来重置控制器信息U1_c1t,以消除误差。因此,追踪系统10可根据影像I1撷取模块100取得的影像和存储在存储单元104的预设影像,精确地判断六维自由度的控制器信息U1_c1t,进一步提升互动系统和追踪系统的用户体验。

在现有技术中,互动系统需配置控制器来产生六维自由度信息,以精确地追踪用户的手部移动。另一方面,该互动系统若没有配置六维自由度信息的控制器,则无法精确地追踪用户的手部移动,如此导致可互动系统的用户体验不佳。有鉴于此,该互动系统不是让用户付出昂贵的硬件成本,就是提供不佳的用户体验。因此,本发明提供的追踪系统可取得包含控制器的影像。如此一来,本发明的追踪系统可根据从控制器取得的三维自由度的控制器信息,产生六维自由度的控制器信息。此外,本发明的追踪系统进一步分析追踪影像来校正六维自由度的控制器信息,以移除控制器信息的误差。总而言之,通过影像撷取模块,本发明的追踪系统可根据三维自由度的控制器信息,精确地产生六维自由度的控制器信息,进而降低硬件成本需求并提升用户体验。

在上述说明中,本发明的追踪系统10、流程30和流程32并不限于追踪控制器C1的相关操作。举例来说,追踪系统10和流程30、32可追踪其他物体,例如,包含惯性测量单元的手机或平板计算机。

包含惯性测量单元的物体可产生第一追踪信息。追踪系统10和流程30、32可根据该第一追踪信息,判断第二追踪信息。意即,第一控制器信息U1_c1可以是该第一追踪信息、不是该第一追踪信息、或包含在第一追踪信息内,且第二控制器信息U1_c1t可以是该第二追踪信息、不是该第二追踪信息、或包含在第二追踪信息。

因此,虽然本发明的许多段落是相关于一特定领域(即,互动系统的控制器)的应用,该应用可以大幅提升对于控制器的追踪功能,从而使得本发明在该特定领域的应用上有极大的特殊优点。然而,本发明亦可应用于其他领域,例如对其他物体的追踪,而不限于控制器领域的应用。

以上所述仅为本发明的较佳实施例,凡依本发明權利要求所做的均等变化与修饰,皆应属本发明的涵盖范围。

  • 标题:追踪方法及相关追踪系统
  • 申请人:未来市股份有限公司
  • 发明人:周永明, 谢毅刚, 林俊伟, 吴嘉伟
  • 申请号:CN201811519308.1
  • 申请日:2018-12-12
  • 公开号:CN110928401A
  • 公开日:2020-03-27
  • 优先权号:
  • 代理人:江耀纯
  • 代理机构:44223深圳新创友知识产权代理有限公司
  • 申请人地址:中国台湾桃园市
  • 是否有效:审中
  • 标签:追踪,方法,系统