一种辅助显示方法、装置及显示系统与流程

文档序号:11208710阅读:1374来源:国知局
一种辅助显示方法、装置及显示系统与流程

本发明的实施例涉及人工智能与增强显示技术,尤其涉及一种辅助显示方法、装置及显示系统。



背景技术:

近年来,随着机器智能理论和计算机硬件水平的高速发展,越来越多的机器智能技术已被用来服务于人们的工作和生活的各个领域。然而,由于机器智能技术还不能做到百分百的可靠,在很多应用中依然需要结合后台的人工服务。在传统的人工服务中,后台服务人员需要依靠显示设备上显示的简单的图像或语音技术对前端用户或机器人进行监控及操作。当后端客户端上的图像呈现的场景较为复杂、周边信息量较大时,服务人员的工作负担会急速增加,甚至会出现由于不及时处理而出现信息丢失或错误处理的情况。



技术实现要素:

本发明的实施例提供一种辅助显示方法、装置及显示系统,能够优化显示设备上显示的图像,为服务人员提供必要的指示降低其工作量。

第一方面、提供一种辅助显示方法,包括:

获取前端设备的传感器采集的数据,所述采集的数据包含图像数据;

对所述采集的数据分析,生成所述图像数据中的预定目标的指示标识;

将所述指示标识与所述采集的数据中的图像数据合成为显示数据并通过显示设备显示,其中所述指示标识与所述图像数据中的预定目标相关联。

第二方面、一种辅助显示装置,包括:

获取单元,用于获取前端设备的传感器采集的数据,所述数据包含图像数据;

分析单元,用于对所述获取单元获取的所述采集的数据分析,生成所述图像数据中的预定目标的指示标识;

图像合成单元,用于将所述分析单元获取的指示标识与所述获取单元获取的所述采集的数据中的图像数据合成为显示数据发送至客户端显示,其中所述指示标识与所述图像数据中的预定目标相关联。

第三方面,提供一种辅助显示系统,包括:存储器、通信接口、处理器以及显示设备;存储器、通信接口以及显示设备耦合至处理器;所述存储器用于存储计算机执行代码,所述处理器用于执行所述计算机执行代码控制执行上述的辅助显示方法,所述通信接口用于所述辅助显示装置与外部设备的数据传输。

第四方面,提供一种计算机存储介质,用于储存为辅助显示装置所用的计算机软件指令,其包含执行上述的辅助显示方法所设计的程序代码。

第五方面,一种计算机程序产品,可直接加载到计算机的内部存储器中,并含有软件代码,所述计算机程序经由计算机载入并执行后能够实现上述辅助显示方法。

在上述方案中,辅助显示装置获取前端设备的传感器采集的数据,所述采集的数据包含图像数据;对所述采集的数据分析,生成所述图像数据中的预定目标的指示标识;将所述指示标识与所述采集的数据中的图像数据合成为显示数据通过显示设备显示,其中所述指示标识与所述图像数据中的预定目标相关联,由于在合成的显示数据中包含预定目标的指示标识,因此使用显示设备的服务人员能够根据指示标识作出相应的判断,当图像呈现的场景较为复杂、周边信息量较大时,能够降低服务人员的工作负担,同时减少或消除由于不及时处理而出现信息丢失或错误处理的情况。

附图说明

为了更清楚地说明本发明实施例的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

图1为本发明的实施例提供的一种辅助显示系统的架构图;

图2为本发明的另一实施例提供的一种辅助显示系统的架构图;

图3为本发明实施例提供的一种辅助显示方法的流程图;

图4为本发明的实施例提供的辅助显示方法生成的一种图像的示意图;

图5为本发明的实施例提供的辅助显示方法生成的另一种图像的示意图;

图6为本发明的实施例提供的辅助显示方法生成的又一种图像的示意图;

图7为本发明的实施例提供的一种辅助显示装置的结构图;

图8a为本发明的另一实施例提供的一种辅助显示装置的结构图;

图8b为本发明的又一实施例提供的一种显示系统的结构图。

具体实施方式

本发明实施例描述的系统架构以及业务场景是为了更加清楚的说明本发明实施例的技术方案,并不构成对于本发明实施例提供的技术方案的限定,本领域普通技术人员可知,随着系统架构的演变和新业务场景的出现,本发明实施例提供的技术方案对于类似的技术问题,同样适用。

需要说明的是,本发明实施例中,“示例性的”或者“例如”等词用于表示作例子、例证或说明。本发明实施例中被描述为“示例性的”或者“例如”的任何实施例或设计方案不应被解释为比其它实施例或设计方案更优选或更具优势。确切而言,使用“示例性的”或者“例如”等词旨在以具体方式呈现相关概念。

需要说明的是,本发明实施例中,“的(英文:of)”,“相应的(英文:corresponding,relevant)”和“对应的(英文:corresponding)”有时可以混用,应当指出的是,在不强调其区别时,其所要表达的含义是一致的。

本发明的实施例提供的客户端可以为个人计算机((英文全称:personalcomputer,缩写:pc)、上网本、个人数字助理(英文:personaldigitalassistant,简称:pda)等,或者上述客户端可以为安装有可执行本发明实施例提供的方法的软件客户端或软件系统或软件应用的pc等,具体的硬件实现环境可以通用计算机形式,或者是asic的方式,也可以是fpga,或者是一些可编程的扩展平台例如tensilica的xtensa平台等等。本发明的实施例提供的服务器包括本地域名服务器、本地代理服务器,网络服务器,本发明的实施例提供服务器用于响应服务请求提供计算服务。基本构成包括处理器、硬盘、内存、系统总线等,和通用的计算机架构类似。

本发明的基本原理为辅助显示装置未采集的图像数据中的预定目标生成指示标识;并将指示标识通过渲染或其他手段与图像数据合成为显示数据通过显示设备显示,这样服务人员能够根据指示标识作出相应的判断,当图像呈现的场景较为复杂、周边信息量较大时,能够降低服务人员的工作负担,同时减少或消除由于不及时处理而出现信息丢失或错误处理的情况。

参照图1所示,本发明的实施例提供的辅助显示系统包括本发明的实施例提供的辅助显示装置,其中实现形式包括以下两种架构,架构一:包括前端设备d1以及与前端设备连接的客户端d2,其中客户端d2为本发明的实施例提供的辅助显示装置;当辅助显示装置采集的数据较为简单时,本发明的实施例提供的辅助显示方法可以将前端设备采集的数据直接在客户端d2的计算资源下进行处理,并将合成的显示数据直接在客户端d2的显示设备上显示。

当然,客户端d2也可只做数据采集,并不具备数据处理功能,这样可以仅为客户端d2配置较少的计算资源以降低其成本,这样本发明的实施例提供了另一种系统架构,参照图2所示,架构二:包括前端设备d1、服务器s以及客户端d2,前端设备d1以及客户端d2连接服务器s,这样服务器s为本发明的实施例提供的辅助显示装置;这样即使前端设备d1采集的数据量较大的情况下,服务器s也可以为其提供足够的计算资源实施本发明的实施例提供的辅助显示方法,这样前端设备d1采集数据后发送至服务器s,由服务器s合成显示数据并发送至客户端d2的显示设备显示。其中,前端设备可以为一种便携式终端设备,如可佩带的头盔、头戴;移动设备如手机、平板电脑等。即本发明的实施例可以是通过服务器配合客户端执行,也可以由客户端单独执行。

基于上述的系统,参照图3所示,本发明的实施例提供一种辅助显示方法,包括如下步骤:

101、获取前端设备的传感器采集的数据,所述采集的数据包含图像数据。

在步骤101中,传感器可以为图像传感器、声音传感器、超声雷达传感器,其中采集的数据可以为图像传感器采集的图像数据、声音传感器采集的音频数据、超声雷达传感器采集的超声波数据。其中图像传感器可以为红外传感器、cmos传感器等。在具体实施时,上述的方法可以用于导盲,此时这里的前端设备可以是指导盲前端设备,比如图2中所示的导盲头盔等。该导盲头盔上安装有上述的传感器。

102、对采集的数据分析,生成图像数据中的预定目标的指示标识。

这里预定目标可以为携带前端设备的用户的行进路线、用户周围的障碍物、用户周围的人物或交通设施,当然还可以包含其他目标物体,这里并不作具体限定。

103、将指示标识与采集的数据中的图像数据合成为显示数据通过显示设备显示,其中在所述显示数据中指示标识与图像数据中的预定目标相关联。

其中在步骤103中,在显示设备中可以以携带前端设备的用户的第一视角方式显示,当然也可以以观察视角显示,当以观察视角显示时该方法在步骤103中还包括:在显示数据中合成携带所述前端设备的用户的位置。

具体的,当预定目标包括携带前端设备的用户的行进路线时,指示标识包括设置在行进路线上用于指示用户前进方向的标识。具体的,若以观察视角在显示设备显示显示数据,则可以在显示的图像数据中显示用户在地图中的位置,例如采用2d图片方式呈现。从用户的位置到目的地的行进路线可以采用3d线条呈现,当然也可以采用其他方式如特殊颜色的2d线条显示,这里指示标识具有指示用户前进方向的作用,因此可以使用箭头的形式呈现,例如可以为3d箭头或特殊颜色的箭头,其指向可以指示用户行进的方向。

此外,预定目标还可以是携带前端设备的用户周边的障碍物、人物或交通设施;指示标识用于显示预定目标的相关数据。具体的,障碍物的相关数据至少包括以下各项中的一种或多种:障碍物的种类、颜色、轮廓、方位、数目、与所述用户的距离;人物的相关数据至少包括以下各项中的一种或多种:人物的位置、轮廓、身份id、性别、年龄;交通设施的相关数据至少包括以下各项中的一种或多种:交通设施的位置,以及所述交通设施指示的内容。

示例性的,对于障碍物,可以使用障碍物位置周围的矩形框或圆框将其轮廓框出标识障碍物的轮廓,并在障碍物的周边(例如矩形框或圆框内部)使用数字显示障碍物的种类、颜色、方位、数目、与所述用户的距离等信息。对于人物,可以使用人物位置周围的矩形框或圆框将其轮廓框出标识人物的轮廓,并在人物的周边(例如矩形框或圆框内部)使用数字显示人物的身份id、性别、年龄。对于交通设施,可以直接在交通设施的位置上显示其指示的内容,如在交通灯位置显示当前交通灯的状态红/绿/黄灯、在禁止通行标牌处显示禁止通行标记等等。以上仅仅是为了说明本发明的实施例提供的部分示例性说明,其他类似的或可以轻易转化的方案也应该属于本申请的保护范围。

具体参照图4所示,其通过箭头和文字turnleft显示了行进线路上用户的前进方向。以车辆作为障碍物,通过danger!显示了图像中车辆的位置并通过5m显示了车辆与用户的距离。图5中,通过ped示出了图像中交通设施斑马线的位置,通过stop示出了图像中交通设施交通灯的状态。图6中通过caution!提示图像中用户周围有人物,并提供了对人物的轮廓范围以矩形框标识,并标记了人物的高度为2m,同时用箭头提供了用户的前进方向。

在上述方案中,辅助显示装置获取前端设备的传感器采集的数据,所述采集的数据包含图像数据;对所述采集的数据分析,生成所述图像数据中的预定目标的指示标识;将所述指示标识与所述采集的数据中的图像数据合成为显示数据发送至显示设备显示,其中所述指示标识与所述图像数据中的预定目标相关联,由于在合成的显示数据中包含预定目标的指示标识,因此使用显示设备的服务人员能够根据指示标识作出相应的判断,当图像呈现的场景较为复杂、周边信息量较大时,能够降低服务人员的工作负担,同时减少或消除由于不及时处理而出现信息丢失或错误处理的情况。

可以理解的是,辅助显示装置通过其包含的硬件结构和/或软件模块实现上述实施例提供的功能。本领域技术人员应该很容易意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,本发明能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

本发明实施例可以根据上述方法示例对辅助显示装置进行功能模块的划分,例如,可以对应各个功能划分各个功能模块,也可以将两个或两个以上的功能集成在一个处理模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。需要说明的是,本发明实施例中对模块的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

在采用对应各个功能划分各个功能模块的情况下,图7示出了上述实施例中所涉及的辅助显示装置的一种可能的结构示意图,辅助显示装置包括:获取单元71、分析单元72和图像合成单元73。获取单元71用于支持辅助显示装置执行图3中的过程101;分析单元72用于支持辅助显示装置执行图3中的过程102;图像合成单元73用于支持辅助显示装置执行图3中的过程103。其中,上述方法实施例涉及的各步骤的所有相关内容均可以援引到对应功能模块的功能描述,在此不再赘述。

在采用集成的单元的情况下,图8a示出了上述实施例中所涉及的辅助显示装置的一种可能的结构示意图。辅助显示装置包括:通信模块81和处理模块82。处理模块82用于对辅助显示装置的动作进行控制管理,例如,处理模块82用于支持辅助显示装置执行图3中的过程102和103。通信模块81用于支持辅助显示装置与其他外部设备的数据传输,例如与图2中示出的前端设备之间的通信。辅助显示装置还可以包括存储模块,用于存储辅助显示装置的程序代码和数据。

其中,处理模块82可以是处理器或控制器,例如可以是中央处理器(centralprocessingunit,cpu),通用处理器,数字信号处理器(digitalsignalprocessor,dsp),专用集成电路(application-specificintegratedcircuit,asic),现场可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本发明公开内容所描述的各种示例性的逻辑方框,模块和电路。所述处理器也可以是实现计算功能的组合,例如包含一个或多个微处理器组合,dsp和微处理器的组合等等。通信模块81可以是收发器、收发电路或通信接口等。存储模块可以是存储器。

示例性的,处理模块82可以为处理器,通信模块81可以为通信接口,存储模块可以为存储器,参阅图8b所示,提供一种显示系统包括:处理器91、通信接口92、存储器93、总线94以及显示设备95;存储器93、通信接口92以及显示设备95通过总线94耦合至处理器91其中,通信接口92、处理器91以及存储器93通过总线94相互连接;总线94可以是外设部件互连标准(peripheralcomponentinterconnect,pci)总线或扩展工业标准结构(extendedindustrystandardarchitecture,eisa)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8b中仅用一条粗线表示,但并不表示仅有一根总线或一种类型的总线。该显示系统可以仅包含客户端,也可以是由客户端与服务器构成,其中客户端和服务器类似,均包括各自的处理器、通信接口和存储器。

本发明的实施例还提供一种机器人,包括上述的辅助显示装置。

结合本发明公开内容所描述的方法或者算法的步骤可以硬件的方式来实现,也可以是由处理器执行软件指令的方式来实现。软件指令可以由相应的软件模块组成,软件模块可以被存放于随机存取存储器(randomaccessmemory,ram)、闪存、只读存储器(readonlymemory,rom)、可擦除可编程只读存储器(erasableprogrammablerom,eprom)、电可擦可编程只读存储器(electricallyeprom,eeprom)、寄存器、硬盘、移动硬盘、只读光盘(cd-rom)或者本领域熟知的任何其它形式的存储介质中。一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于asic中。另外,该asic可以位于核心网接口设备中。当然,处理器和存储介质也可以作为分立组件存在于核心网接口设备中。

本领域技术人员应该可以意识到,在上述一个或多个示例中,本发明所描述的功能可以用硬件、软件、固件或它们的任意组合来实现。当使用软件实现时,可以将这些功能存储在计算机可读介质中或者作为计算机可读介质上的一个或多个指令或代码进行传输。计算机可读介质包括计算机存储介质和通信介质,其中通信介质包括便于从一个地方向另一个地方传送计算机程序的任何介质。存储介质可以是通用或专用计算机能够存取的任何可用介质。

以上所述的具体实施方式,对本发明的目的、技术方案和有益效果进行了进一步详细说明,所应理解的是,以上所述仅为本发明的具体实施方式而已,并不用于限定本发明的保护范围,凡在本发明的技术方案的基础之上,所做的任何修改、等同替换、改进等,均应包括在本发明的保护范围之内。

当前第1页1 2 
网友询问留言 已有0条留言
  • 还没有人留言评论。精彩留言会获得点赞!
1