【
技术领域：
：】本发明涉及医疗
技术领域：
：，尤其涉及一种手术室监控方法和一种手术室监控装置。
背景技术：
：：目前，传统的手术室监控系统可以获取手术室中的实时图像，以便远程学习或监控医生的手术过程。然而，这种监控方式仅仅是简单拍摄了手术过程的视频，该视频所能够提供的信息量十分有限，不便于对手术过程的全面掌控。因此，如何提供一种更为全面有效的手术室监控方式，成为目前亟待解决的技术问题。技术实现要素：本发明实施例提供了一种手术室监控方法和一种手术室监控装置，旨在解决相关技术中的手术室监控系统提供的信息量十分有限的技术问题，能够提供一种新的手术室监控方式，能够远程输出手术室的实时虚拟与现实的混合图像，便于对手术过程进行全方位的学习和监控。第一方面，本发明实施例提供了一种手术室监控方法，包括：获取手术室的实时虚拟与现实的混合图像；将所述实时虚拟与现实的混合图像传输至输出设备；在所述输出设备上输出所述实时虚拟与现实的混合图像，以供通过所述输出设备对所述实时虚拟与现实的混合图像中的实时虚拟进行处理。在本发明上述实施例中，可选地，所述在所述输出设备上输出所述实时虚拟与现实的混合图像的步骤，包括：通过普通显示器、虚拟现实显示器、增强现实显示器或混合现实显示器中的一种或多种显示器输出所述实时虚拟与现实的混合图像；所述通过所述输出设备对所述实时虚拟与现实的混合图像中的实时虚拟进行处理的方式包括添加虚拟物体、改变虚拟物体的位置、删除虚拟物体和改变虚拟物体的显示效果中的一项或多项。在本发明上述实施例中，可选地，所述获取手术室的实时虚拟与现实的混合图像的步骤，具体包括：通过拍摄装置获取手术室的全景实物图像；根据即时定位系统，确定所述摄像机的位置信息；确定虚拟物体的位置信息；根据已确定的所述虚拟物体的位置信息和所述摄像机的位置信息，生成所述手术室的虚拟物体图像；通过预定设备将所述虚拟物体图像与所述全景实物图像融合，得到所述实时虚拟与现实的混合图像。在本发明上述实施例中，可选地，所述确定虚拟物体的位置信息包括：根据几何信息、生物信息、物理信息中的一种或多种信息，通过自动算法或手动设置确定虚拟物体的位置和形态，所述自动算法包括目标对象识别、3d姿态估计、图像配准、点云匹配、动作捕捉等中的一种或多种算法。在本发明上述实施例中，可选地，所述通过预定设备将所述虚拟物体图像与所述全景实物图像融合的步骤，具体包括：将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上；或者根据所述全景实物图像的属性，对所述虚拟物体图像的属性进行调整，并在调整后将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上，其中，所述属性包括图像尺寸、图像亮度、图像对比度和图像颜色比例中的一项或多项。在本发明上述实施例中，可选地，所述即时定位系统包括：即时定位与地图构建系统或lighthouse系统，以及所述预定设备包括：虚拟现实设备、增强现实设备或混合现实设备，所述输出设备包括：远程设备或本地设备。第二方面，本发明实施例提供了一种手术室监控装置，包括：混合图像获取单元，获取手术室的实时虚拟与现实的混合图像；远程传输单元，将所述实时虚拟与现实的混合图像传输至输出设备；远程输出单元，在所述输出设备上输出所述实时虚拟与现实的混合图像，以供通过所述输出设备对所述实时虚拟与现实的混合图像中的实时虚拟进行处理。在本发明上述实施例中，可选地，所述远程输出单元具体用于：通过普通显示器、虚拟现实显示器、增强现实显示器或混合现实显示器中的一种或多种显示器输出所述实时虚拟与现实的混合图像，以及添加虚拟物体、改变虚拟物体的位置、删除虚拟物体和改变虚拟物体的显示效果中的一项或多项。在本发明上述实施例中，可选地，所述混合图像获取单元包括：实物图像获取单元，通过拍摄装置获取手术室的全景实物图像；即时定位单元，根据即时定位系统，确定所述摄像机的位置信息；位置确定单元，确定虚拟物体的位置信息；虚拟图像获取单元，根据已确定的所述虚拟物体的位置信息和所述摄像机的位置信息，生成所述手术室的虚拟物体图像；图像融合单元，通过预定设备将所述虚拟物体图像与所述全景实物图像融合，得到所述实时虚拟与现实的混合图像。在本发明上述实施例中，可选地，所述位置确定单元具体用于：根据几何信息、生物信息、物理信息中的一种或多种信息，通过自动算法或手动设置确定虚拟物体的位置和形态，其中，所述自动算法包括目标对象识别、3d姿态估计、图像配准、点云匹配、动作捕捉等中的一种或多种算法。在本发明上述实施例中，可选地，所述图像融合单元具体用于：将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上，或者根据所述全景实物图像的属性，对所述虚拟物体图像的属性进行调整，并在调整后将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上，其中，所述属性包括图像尺寸、图像亮度、图像对比度和图像颜色比例中的一项或多项。在本发明上述实施例中，可选地，所述即时定位系统包括：即时定位与地图构建系统或lighthouse系统，以及所述预定设备包括：虚拟现实设备、增强现实设备或混合现实设备，所述输出设备包括：远程设备或本地设备。以上技术方案，针对相关技术中的手术室监控系统提供的信息量十分有限的技术问题，能够提供一种新的手术室监控方式，具体来说，在将增强现实技术引入手术室之后，可以通过虚拟现实技术、增强现实技术或混合现实技术获取手术室的实时虚拟与现实的混合图像，并将该混合图像传输给输出设备进行显示，从而可以将混合现实手术中的场景通过网络的方式实时传输出来，用于直播教学或远程指导等方面，便于对手术过程进行全方位的学习和监控，提升了用户体验。【附图说明】为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。图1示出了本发明的一个实施例的手术室监控方法的流程图；图2示出了本发明的一个实施例的获取混合图像的流程图；图3示出了本发明的一个实施例的手术室监控装置的框图；图4示出了本发明的一个实施例的监控设备的框图。【具体实施方式】为了更好的理解本发明的技术方案，下面结合附图对本发明实施例进行详细描述。应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的，而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式，除非上下文清楚地表示其他含义。图1示出了本发明的一个实施例的手术室监控方法的流程图。如图1所示，本发明的一个实施例的手术室监控方法，包括：步骤102，获取手术室的实时虚拟与现实的混合图像。其中，实时虚拟与现实的混合图像指的是在手术室的实物图像中融合了虚拟图像后得到的图像，获取该混合图像可使用虚拟现实技术、增强现实技术或混合现实技术。比如，在直播手术时，显示界面可在显示实时手术过程的同时，显示为每个手术步骤实时标注显示对应的名称和所需器械。步骤104，将所述实时虚拟与现实的混合图像传输至输出设备。步骤106，在所述输出设备上输出所述实时虚拟与现实的混合图像，以供通过所述输出设备对所述实时虚拟与现实的混合图像中的实时虚拟进行处理。在将增强现实技术引入手术室之后，可以获取手术室的实时虚拟与现实的混合图像，并将该混合图像传输给输出设备进行显示，从而可以将混合现实手术中的场景通过网络的方式实时传输出来，用于直播教学或远程指导等方面，便于对手术过程进行全方位的学习和监控，提升了用户体验。图2示出了本发明的一个实施例的获取混合图像的流程图。如图2所示，获取手术室的实时虚拟与现实的混合图像的过程具体包括：步骤202，通过拍摄装置获取手术室的全景实物图像。其中，拍摄装置可以为具有全景功能的摄像机，当然，也可以为具有景拍摄功能的任何其他设备，将拍摄装置连接至服务器，即可将拍摄到的手术室的全景实物图像上传至服务器，以便服务器进行进一步处理。步骤204，根据即时定位系统，确定所述摄像机的位置信息。即时定位系统包括：slam(simultaneouslocalizationandmapping，即时定位与地图构建)系统或lighthouse系统，其中，slam系统的原理为：目标对象在应用环境中从一个位置开始移动,在移动过程中slam系统根据位置估计和地图进行目标对象的定位，同时在对目标对象定位的基础上建造增量式地图，实现目标对象的自主定位和导航。而lighthouse系统的核心原理为：利用房间中密度极大的非可见光，来探测室内佩戴vr(virtualreality，虚拟现实)设备的玩家的位置和动作变化，并将其模拟在虚拟现实3d空间中。当然，所使用的即时定位系统不限于上述两种，还可以是根据需要除此之外的任何其他即时定位系统。由此可知，通过即时定位系统，能够确定摄像机的位置信息，从而便于结合摄像机的位置信息，进一步确定虚拟物体的相对位置信息，为形成虚拟物体图像提供基础。步骤206，根据已确定的所述虚拟物体的位置信息和所述摄像机的位置信息，生成所述手术室的虚拟物体图像。当然，在此之前，还包括确定虚拟物体的位置信息，以供在步骤206中将虚拟物体的位置信息作为生成所述手术室的虚拟物体图像的依据之一。具体来说，确定虚拟物体的位置信息的步骤，具体包括：根据几何信息、生物信息、物理信息中的一种或多种信息，通过自动算法或手动设置确定虚拟物体的位置和形态，其中，所述自动算法包括目标对象识别、3d姿态估计、图像配准、点云匹配、动作捕捉等中的一种或多种算法。由此，多样化的虚拟物体位置确定方式带来了更加多样化的选择，以适配具有不同自动算法的系统。当然，确定虚拟物体的位置的方式不限于上述内容，还可以通过任何其他算法来确定虚拟物体的位置，当然，用户也可以在输出设备端进行操作以手动设置虚拟物体的位置。虚拟物体可以由系统预先进行配置或实时进行配置，也可以由远程设备输出设备侧进行配置。比如，在两个医生进行手术的过程中，需要对两个医生进行区分，以便远程专家进行指导时，医生可以准确地接收命令，因此，系统可以自动确定两个字符“a”和“b”作为虚拟物体，预计分别标注在两个医生的头顶，或者，远程设备输出设备侧也可以直接设置两个医生的标注为“a”和“b”，作为虚拟物体分别标注在两个医生的头顶，以便远程专家可以方便地区分这两个医生。此时，可以根据摄像机的位置信息，通过相对位置计算公式等方式，计算两个字符“a”和“b”所应该在的相对位置，并在该相对位置生成两个字符“a”和“b”，也就是虚拟物体图像。综上，虚拟物体图像的存在可以便于输出设备端的用户更加方便地获知手术室的实时信息。步骤208，通过预定设备将所述虚拟物体图像与所述全景实物图像融合，得到所述实时虚拟与现实的混合图像。将虚拟物体图像与全景实物图像融合显示，可供输出设备端的用户更加方便地获知更加生动的手术室的实时信息，增加了输出设备端所能够得到的信息量，对手术效率或输出设备端的学习效率都产生了很大的提升。其中，预定设备包括：虚拟现实设备、增强现实设备或混合现实设备，虚拟现实设备即vr设备，可生成多源信息融合的、交互式的三维动态视景和实体行为的仿真环境；增强现实设备即ar设备(augmentedreality)可生成虚拟数字画面加上裸眼现实；混合现实设备即mr(mediatedreality)设备，mr也可以称为介导现实，结合了vr与ar的优势，能够更好地将ar技术体现出来，并利用vr视角大的优势弥补ar的视角不足的情况。当然，预定设备还可以是其他任何能够融合得到实时虚拟与现实的混合图像的设备，不限于上述三种。另外，所述输出设备包括：远程设备或本地设备，即既可以实现本地传输，也可以实现远程传输，为远程会诊等医疗方式提供了便利。在本发明的一种实现方式中，步骤208中，可以将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上，以实现融合的目的，这种方式的后台操作简单，能够提升系统运行的效率。在本发明的另一种实现方式中，步骤208中，还可以根据所述全景实物图像的属性，对所述虚拟物体图像的属性进行调整，并在调整后将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上。这样一来，可避免因全景实物图像与虚拟物体图像的属性不相符而造成的融合效果差的问题，能够得到更加优质的混合图像，增加了对手术室的实时情况掌握的有效性，提升了用户体验。另外，所述属性包括但不限于图像尺寸、图像亮度、图像对比度和图像颜色比例中的一项或多项。比如，当虚拟物体图像的尺寸远小于全景实物图像时，将虚拟物体图像融合放置在全景实物图像上，很难看清虚拟物体图像具体是什么内容，影响对混合图像发观察和分析，不便于对手术的学习或指导。因此，可以按照系统中的预定尺寸比例调整虚拟物体图像的尺寸。在本发明的另一种实现方式中，根据实际需要，也可以根据所述虚拟物体图像的属性，对所述全景实物图像的属性进行调整。在上述任一实施例的基础上，可通过普通显示器、虚拟现实显示器、增强现实显示器或混合现实显示器中的一种或多种显示器输出所述实时虚拟与现实的混合图像。这样，增加了实时虚拟与现实的混合图像的显示方式，取代了相关技术中只能佩戴眼镜设备才能使用户个人看到眼镜中显示的混合图像的方案，能够将混合图像以普通显示器或其他类型的显示器直接显示，降低了显示成本，提升了用户获取混合图像的便利性。需要补充的是，所述通过所述输出设备对所述实时虚拟与现实的混合图像中的实时虚拟进行处理的方式包括添加虚拟物体、改变虚拟物体的位置、删除虚拟物体和改变虚拟物体的显示效果中的一项或多项。例如：远程手术指导时，当输出设备端的用户口头表达不够明确，可以通过操作输出设备显示的虚拟物体来进行标注说明，如高亮手术位置、高亮手术路径、标注手术方式信息等。图3示出了本发明的一个实施例的手术室监控装置的框图。如图3所示，本发明的一个实施例的手术室监控装置300，包括：混合图像获取单元302、远程传输单元304和远程输出单元306。其中，混合图像获取单元302用于获取手术室的实时虚拟与现实的混合图像；远程传输单元304用于将所述实时虚拟与现实的混合图像传输至输出设备；远程输出单元306用于在所述输出设备上输出所述实时虚拟与现实的混合图像，以供通过所述输出设备对所述实时虚拟与现实的混合图像中的实时虚拟进行处理。由于手术室监控装置300使用图1和图2示出的任一实施例所述的方法，因此，手术室监控装置300具有与图1和图2示出的任一实施例相同的技术效果在此不再赘述。在本发明的一种实现方式中，所述远程输出单元具体用于：通过普通显示器、虚拟现实显示器、增强现实显示器或混合现实显示器中的一种或多种显示器输出所述实时虚拟与现实的混合图像，以及添加虚拟物体、改变虚拟物体的位置、删除虚拟物体和改变虚拟物体的显示效果中的一项或多项。在本发明的一种实现方式中，所述混合图像获取单元包括：实物图像获取单元，通过拍摄装置获取手术室的全景实物图像；即时定位单元，根据即时定位系统，确定所述摄像机的位置信息；位置确定单元，确定虚拟物体的位置信息；虚拟图像获取单元，根据已确定的所述虚拟物体的位置信息和所述摄像机的位置信息，生成所述手术室的虚拟物体图像；图像融合单元，通过预定设备将所述虚拟物体图像与所述全景实物图像融合，得到所述实时虚拟与现实的混合图像。在本发明的一种实现方式中，所述位置确定单元具体用于：根据几何信息、生物信息、物理信息中的一种或多种信息，通过自动算法或手动设置确定虚拟物体的位置和形态，其中，所述自动算法包括目标对象识别、3d姿态估计、图像配准、点云匹配、动作捕捉中的一种或多种算法。在本发明的一种实现方式中，所述图像融合单元具体用于：将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上，或者根据所述全景实物图像的属性，对所述虚拟物体图像的属性进行调整，并在调整后将所述虚拟物体图像通过直接覆盖、或不透明度混合、或融合算法融合至所述全景实物图像上，其中，所述属性包括图像尺寸、图像亮度、图像对比度和图像颜色比例中的一项或多项。在本发明的一种实现方式中，所述即时定位系统包括：即时定位与地图构建系统或lighthouse系统，以及所述预定设备包括：虚拟现实设备、增强现实设备或混合现实设备，所述输出设备包括：远程设备或本地设备。图4示出了本发明的一个实施例的监控设备的框图。如图4所示，根据本发明的一个实施例的监控设备400，包括图3示出的手术室监控装置300，因此，该终端400具有和图3示出的手术室监控装置300相同的技术效果，在此不再赘述。其中，监控设备400包括但不限于终端、服务器以及其他任何具有显示功能的设备。以上结合附图详细说明了本发明的技术方案，通过本发明的技术方案，能够提供一种新的手术室监控方式，在将增强现实技术引入手术室之后，可以获取手术室的实时虚拟与现实的混合图像，并将该混合图像传输给输出设备进行显示，便于对手术过程进行全方位的学习和监控，提升了用户体验。取决于语境，如在此所使用的词语“如果”可以被解释成为“在……时”或“当……时”或“响应于确定”或“响应于检测”。类似地，取决于语境，短语“如果确定”或“如果检测(陈述的条件或事件)”可以被解释成为“当确定时”或“响应于确定”或“当检测(陈述的条件或事件)时”或“响应于检测(陈述的条件或事件)”。需要说明的是，本发明实施例中所涉及的终端可以包括但不限于个人计算机(personalcomputer，pc)、个人数字助理(personaldigitalassistant，pda)、无线手持设备、平板电脑(tabletcomputer)、手机、mp3输出器、mp4输出器等。在本发明所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如，多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机装置(可以是个人计算机，服务器，或者网络装置等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(read-onlymemory，rom)、随机存取存储器(randomaccessmemory，ram)、磁碟或者光盘等各种可以存储程序代码的介质。以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。当前第1页12当前第1页12