图像处理装置、图像处理方法以及计算机可读取的记录介质与流程

本发明涉及图像处理装置、图像处理方法以及计算机可读取的记录介质。

背景技术：

作为从多个图像生成特殊效果的图像(全景图像、3d图像、全方向图像等)的技术，例如，如特开2005-223812号公报记载的那样，已知如下技术：具备2台摄像装置，构成为用户能变更该各摄像装置的拍摄角度和各摄像装置的间隔，若通过用户操作从得到特殊效果的图像的各种拍摄模式中选择了所期望的模式，判别各摄像装置的拍摄角度和间隔是否与该选择模式吻合，若不吻合，则将该意思警告，若吻合，则进行与该选择模式对应的图像处理来获得特殊效果的图像。

但上述的专利文献的技术，由于遵循基于用户预先选择的模式的警告来由用户调整各摄像装置的拍摄角度和间隔，因此虽然能支援该调整作业，但由于需要事前的模式的选择，因此不一定能说用户的便利性高。

技术实现要素：

鉴于上述的课题，本发明的目的在于，不事前进行选择所期望的特殊效果模式的操作，就可得到用户所期望的特殊效果的图像。

本发明的课题在于，进行用户能容易地得到特殊效果的图像的控制。

本发明的图像处理装置的特征在于，具备：信息取得单元，其取得第1摄像装置与第2摄像装置的位置关系所相关的位置信息；判别单元，其基于由所述信息取得单元取得的所述位置信息来判别所述第1摄像装置与所述第2摄像装置的相对的位置关系是否是给定的位置关系；和合成控制单元，其进行控制，在由所述判别单元判别为是给定的位置关系的情况下，将该位置关系下由所述第1摄像装置和第2摄像装置摄像的各图像作为合成处理的对象，并设定其合成形式。

本发明的图像处理方法是图像处理装置中的图像处理方法，其特征在于，包括如下处理：取得第1摄像装置与第2摄像装置的位置关系所相关的位置信息；基于所述取得的所述位置信息来判别所述第1摄像装置与所述第2摄像装置的相对的位置关系是否是给定的位置关系；在判别为是所述给定的位置关系的情况下，进行控制，将该位置关系下由所述第1摄像装置和第2摄像装置摄像的各图像作为合成处理的对象并设定其合成形式。

本发明的计算机可读的记录介质是记录程序的记录介质，其特征在于，所述程序使计算机执行如下功能：取得第1摄像装置与第2摄像装置的位置关系所相关的位置信息；基于所述取得的所述位置信息来判别所述第1摄像装置与所述第2摄像装置的相对的位置关系是否是给定的位置关系；在判别为是所述给定的位置关系的情况下，进行控制，将该位置关系下由所述第1摄像装置和第2摄像装置摄像的各图像作为合成处理的对象并设定其合成形式。

发明的效果

根据本发明，能容易地控制是否得到特殊效果的图像。

附图说明

图1a是表征在作为图像处理装置而运用的数字摄像机中将构成该摄像机的摄像装置10和主体装置20一体组合的状态的外观图。

图1b是表征将摄像装置10和主体装置20分离的状态的外观图。

图2是表示各摄像装置10和主体装置20的概略构成的框图。

图3a是用于说明2台摄像装置10中的第1位置关系的图。

图3b是用于说明2台摄像装置10中的第1位置关系的侧视图。

图3c是用于说明2台摄像装置10中的第2位置关系的图。

图3d是用于说明2台摄像装置10中的第2位置关系的图。

图4a是例示在图3a的位置关系下拍摄前方的鱼眼图像的图。

图4b是例示在图3a的位置关系下拍摄前方的鱼眼图像的图。

图5是用于说明切换到拍摄模式时执行开始的数字摄像机的动作(第1实施方式的特征性动作)的流程图。

图6是表示紧接图5的动作的流程图。

图7a是在第2实施方式中表示图像处理装置(pc)30的概略构成的框图。

图7b是在第2实施方式中表示摄像装置(数字摄像机)40的概略构成的框图。

图8是用于说明在摄像装置40侧切换到拍摄模式时执行开始的动作(第2实施方式的特征性动作)的流程图。

图9是用于说明在图像处理装置30侧通过用户操作指定了将2个图像合成并重放的合成重放时执行开始的动作(第2实施方式的特征性动作)的流程图。

图10是用于详述合成处理(图9的步骤c3)的流程图。

图11a是在第3实施方式中表示支承2台摄像装置(数字摄像机)50的图像处理装置(支承装置：附件)的概略构成的外观图。

图11b图11a所示的图像处理装置的铰链进行驱动的状态。

图12a是在第3实施方式中表示2台摄像装置50的相对的位置关系(开闭角度)为开闭角0°的情况的图。

图12b是在第3实施方式中表示2台摄像装置50的相对的位置关系(开闭角度)为开闭角90°的情况的图。

图12c是在第3实施方式中表示2台摄像装置50的相对的位置关系(开闭角度)为开闭角75°的情况的图。

图13是在第3实施方式中表示2台摄像装置50、支承装置60的概略构成的框图。

图14是表示每当在摄像装置50侧进行拍摄而执行开始的支承装置60侧的动作(第3实施方式的特征性动作)的流程图。

图15是用于说明各实施方式的变形例的图，是表示通过图像解析来判定光轴方向的处理的流程图。

标号的说明

10、40、50摄像装置

11、21、31、61控制部

13、23、33、63存储部

16、46、54摄像部

17、47姿态检测部

18、28磁传感器

20图像处理装置(主体装置)

30图像处理装置(pc)

60图像处理装置(支承装置)

64角度检测部

80左右铰链

具体实施方式

以下，参考附图来详细说明本发明的实施方式。

(第1实施方式)

首先参考图1～图6来说明本发明的第1实施方式。

本实施方式例示了作为图像处理装置而适用于数字摄像机中的情况，该图像处理装置是能分离成后述的具备摄像部的摄像装置10和后述的具备显示部的主体装置20的分体型数字摄像机。图1是图像处理装置(数字摄像机)的外观图，图1a表示将摄像装置10和主体装置20一体组合的状态，图1b是表示将摄像装置10和主体装置20分离的状态的图。摄像装置10例如其筐体整体形成箱型，在第1实施方式中示出了设置2太基本相同构成的摄像装置10的情况，用户能任意选择是使用其1台来进行拍摄，还是同时使用2台来进行拍摄，在本实施方式中，以下说明使用2台摄像装置10来进行拍摄的情况。

构成该分体型数字摄像机的摄像装置10和主体装置20分别能使用能利用的无线通信进行配对(无线连接认识)，作为无线通信，例如使用无线lan(wi-fi)或bluetooth(注册商标)。另外，摄像装置10和主体装置20的连接方法并不限于无线方式，也可以构成为用线缆等以有线连接进行通信。

在主体装置20侧，接收取得在摄像装置10侧拍摄的图像，将该拍摄图像作为实时取景图像来显示。另外，在本实施方式中，所谓拍摄图像，并不限于保存完毕的图像，是指包含显示于实时取景画面的图像(实时取景图像：保存前的图像)的广义的图像。

图2是表示摄像装置10的概略构和主体装置20的概略构成的框图。

在图2中，摄像装置10除了能拍摄静止图像以外，还能拍摄动态图像，具备控制部11、电源部12、存储部13、通信部14、操作部15、摄像部16、姿态检测部17、磁传感器18。控制部11通过来自电源部(二次电池)12的电力提供而动作，按照存储部13内的各种程序来控制该摄像装置10的整体动作，在该控制部11中设有未图示的cpu(中央运算处理装置)和存储器等。

存储部13例如是具有rom、闪速存储器等的构成，容纳用于实现本实施方式的程序和各种应用等。另外，存储部13例如可以是包含sd卡、usb存储器等拆装自由的可移动型存储器(记录介质)的构成，另外，其一部分也可以包含未图示的给定的外部服务器的区域。通信部14将拍摄图像发送给主体装置20侧，或接收来自主体装置20的操作指示信号等。操作部15具备电源开关等基本的操作键。

摄像部16构成能高精细拍摄被摄体的摄像装置，在该摄像部16的镜头组件16a设置鱼眼镜头16b、摄像元件16c等。另外，本实施方式的摄像机能更换通常的摄像镜头(图示省略)和鱼眼镜头16b，图示的示例表示装备鱼眼镜头16b的状态。该鱼眼镜头16b例如由3片构成的镜头系统构成，是能进行视角为大致180°这样大范围的拍摄的圆周鱼眼镜头(全周鱼眼镜头)，由该鱼眼镜头16b拍摄的广角图像(鱼眼图像)的整体成为圆形的图像。在该情况下，由于采用投影方式，因此用鱼眼镜头16b拍摄的广角图像(鱼眼图像)越从其中心朝向端部，则失真越大。

即，由于鱼眼镜头16b是能进行其视角大致180°这样大范围的拍摄的圆周鱼眼镜头，因此鱼眼图像的整体成为圆形的图像，越从其中心部朝向端部(周边部)失真越大，相比于鱼眼图像的中心部而其周边部成为缩小的图像，因而用户即使仔细目视确认该周边部的内容，该确认也极其困难。这样的鱼眼镜头16b的被摄体像(光学像)在摄像元件(例如cmos或ccd)16c成像后，由摄像元件16c光电变换的图像信号(模拟值的信号)，通过图示省略的a/d变换部被变换成数字信号，并在被实施给定的图像显示处理后，发送到主体装置20侧来进行监视器显示。

姿态检测部17例如具备加速度传感器以及角速度传感器，作为摄像装置10的拍摄时的姿态而检测鱼眼镜头16b的光轴方向，该加速度传感器检测相对于重力方向的光轴方向，角速度传感器测定在加速度传感器中没有反应的旋转角速度来检测光轴方向。由该姿态检测部17检测到的姿态信息(鱼眼镜头16b的光轴方向)从通信部14发送到主体装置20侧。磁传感器18在鱼眼镜头16b的相反侧(摄像机的背面侧)配设于鱼眼镜头16b的光轴上，具有磁铁、霍尔元件的任意一方，在之后叙述，是基于磁场的强度和其方向来检测2台摄像装置10的光轴的位置偏离、或检测2台摄像装置10的间隔的传感器。

在图2中，主体装置20构成数字摄像机的控制器，具有显示由摄像装置10拍摄的图像的重放功能，具备控制部21、电源部22、存储部23、通信部24、操作部25、触摸显示部26。控制部21通过来自电源部(二次电池)22的电力提供而动作，按照存储部23内的各种程序来控制该主体装置20的整体动作，在该控制部21设有未图示的cpu(中央运算处理装置)或存储器等。存储部23例如是具有rom、闪速存储器等的构成，具有暂时存储用于实现本实施方式的程序和各种应用等的程序存储器23a、为了让该主体装置20动作所需的各种信息(例如标记等)的工作内存23b等。

通信部24在与摄像装置10之间进行各种数据的收发。操作部25具备电源键、释放键、设定曝光或快门速度等拍摄条件的设定键、后述的取消键等，控制部21执行与来自该操作部25的输入操作信号相应的处理，或将输入操作信号对摄像装置10发送。触摸显示部26是在高精细液晶等的显示器26a上层叠配置触控面板26b的构成，其显示画面成为实时显示拍摄的图像(鱼眼图像)的监视器画面(实时取景画面)，或成为重放拍摄完毕图像的重放画面。

图3是用于说明2台摄像装置10的相对的位置关系的图，图3a是从倾斜方向观察2台摄像装置10的立体图，图3b是从摄像装置10的一侧方向进行观察的侧视图。

图3a、b表示2台摄像装置10的光轴方向成为反向的位置关系，即，在摄像装置10的光轴方向与重力方向垂直、或相对于垂直处于给定的容许范围内的状态下，表示它们的光轴方向成为反向或相对于该反向为容许范围内的方向的配置关系(第1位置关系)。在图示的示例中，进一步在该第1位置关系(反向的位置关系)下，表示各摄像装置10的光轴一致、或大致一致的情况(光轴的位置偏离处于容许范围内的情况)，并表示使2台摄像装置10的背面彼此接触或接近的情况。

图4例示在图3a、b所示的第1位置关系(反向的位置关系)下拍摄的鱼眼图像，在2台摄像装置10当中，图4a表示其一方的拍摄图像(鱼眼图像)，图4b表示另一方的拍摄图像(鱼眼图像)。若在这样的位置关系下各摄像装置10使用鱼眼镜头16b进行拍摄，就能得到拍摄前方180°的鱼眼图像和拍摄后方180°的鱼眼图像。即，通过前方180°的拍摄和后方180°的拍摄而得到作为其整体成为范围为360°的图像(全方向的图像)。

图3c表示2台摄像装置10的光轴方向成为同向的位置关系，即，在摄像装置10的光轴方向与重力方向垂直、或相对于垂直处于给定的容许范围内的状态下，2台摄像装置10的光轴方向成为同向或相对于该同向为容许范围内的方向的配置关系(第2位置关系)。图示的示例进一步表示在该第2位置关系(同向的位置关系)下使各摄像装置10的间隔缩窄(第1距离以下)而接近的状态。

若在这样的位置关系下各摄像装置10进行拍摄，则能得到在相同范围错开视点而拍摄的各图像(具有视差的各图像)。图3d表示在第2位置关系(同向的位置关系)下拉大各摄像装置10的间隔(第2距离以上)而空开进行拍摄的情况。另外，第1距离、第2距离处于第1距离＜第2距离的关系。若在这样的位置关系下各摄像装置10进行拍摄，则能得到范围完全不同的图像或范围的一部分(周边部分)重合的图像。

主体装置20从2台摄像装置10取得由该姿态检测部17检测到的姿态信息(光轴方向)，判定2台摄像装置10的相对的位置关系，在该位置关系满足给定的条件的情况下，对在各摄像装置摄像的图像设定合成形式。

例如若2台摄像装置10的相对的位置关系为给定的关系、即图3a、c、d所示的相对的位置关系，则将该给定的位置关系下摄像的各图像作为合成对象的图像来设定其合成形式，若不是给定的位置关系，则进行控制，不使摄像的各图像作为合成对象，而是作为非合成的图像(通常的图像)。

接下来，参考图5以及图6所示的流程图来说明第1实施方式中的图像处理装置(数字摄像机)的动作概念。在此，这些流程图中所记述的各功能以可读的程序代码的形态容纳，遵循该程序代码的动作被逐次执行。另外，还能逐次执行基于经由网络等传输介质传输来的上述的程序代码的动作。这在后述的其他实施方式中也同样，除了记录介质以外，还能利用经由传输介质而外部提供的程序/数据来执行本实施方式特有的动作。另外，图5以及图6是表示图像处理装置(数字摄像机)的整体动作当中表示本实施方式的特征部分的动作概要的流程图，在从该图5以及图6的流程脱离时返回整体动作的主流程(图示省略)。

图5以及图6是用于说明切换到拍摄模式时执行开始的数字摄像机的动作(第1实施方式的特征性动作)的流程图。

首先，主体装置20侧的控制部21，在能与2台摄像装置10通信的状态下开始使从各摄像装置10取得的图像作为实时取景图像显示在触摸显示部26的动作(图5的步骤a1)。在该状态调查是否进行了释放键的半按操作(步骤a2)，直到进行该半按操作为止都成为待机状态。若现在对释放键进行半按操作(步骤a2“是”)，在对各摄像装置10指示拍摄准备处理来进行af(自动对焦处理)、ae(自动曝光处理)等(步骤a3)。

然后，从各摄像装置10取得姿态信息(光轴方向)作为该姿态检测部17的检测结果(步骤a4)，调查各摄像装置10的光轴方向是否处于第1位置关系(反向的位置关系)(步骤a5)，若是第1位置关系(步骤a5“是”)，则从摄像装置10取得该磁传感器18的检测结果(磁场的强度、方向)(步骤a6)，基于该检测结果(磁场的强度以及方向)来调查各摄像装置10是否未过于分离(是否是容许范围内)，并调查这些光轴的位置偏离是否是容许范围内(步骤a7)。在此，若各摄像装置10过于分离，或光轴的位置过于偏离(步骤a7“否”)，则为了不使由2台摄像装置10摄像的各图像作为合成处理的对象而作为非合成，对合成形式标记(图示省略)设定“0”作为指定非合成的信息(步骤a9)。

另外，在第1位置关系下(步骤a5“是”)，若各摄像装置10的间隔以及光轴的位置偏离为容许范围内(步骤a7“是”)，则判断为如图3a所示那样，2台摄像装置10处于使其背面彼此接触接近而配置的状态(处于给定的位置关系)，将由2台摄像装置10摄像的各图像作为合成处理的对象来设定其合成形式(步骤a8)。在该情况下，设定适于第1位置关系的合成形式，即，对合成形式标记设定“1”作为指定全方向合成的信息。例如，对合成形式标记设定“1”作为指定合成处理的信息，在该合成处理中，例如通过将图4a所示的拍摄前方180°的鱼眼图像和图4b所示的拍摄后方180°的鱼眼图像接合起来来得到范围成为360°的图像(全方向图像)。

另一方面，若各摄像装置10的光轴方向不是第1位置关系(步骤a5“否”)，则调查是否是第2位置关系(同向的位置关系)(步骤a10)。在此，若也不是第2位置关系(步骤a10“否”)，则为了将由2台摄像装置10摄像的各图像作为非合成而对合成形式标记设定“0”(步骤a9)，若是第2位置关系(步骤a10“是”)，则从2台摄像装置10取得摄像图像(步骤a11)，则对各图像进行解析，一边比较该解析结果一边判定两者的相似度(步骤a12)，调查各图像的中央部分的相似度是否是给定的阈值以上(相似度高)(步骤a13)。

在此，若各图像的中央部分的相似度为给定的阈值以上、即两者的相似度高(步骤a13“是”)，则判断为如图3c所示那样，2台摄像装置10是在第2位置关系下缩窄其间隔(第1距离以下)而接近配置的状态，且处于错开视点拍摄相同范围的状态(处于给定的位置关系)，移转到步骤a14，对合成形式标记设定“2”作为指定3d(三维)合成处理的信息，在该3d合成处理中，将一方的图像作为左眼用的图像，将另一方的图像作为右眼用的图像。

另外，在第2位置关系下(步骤a10“是”)，若各图像的中央部分的相似度不足给定的阈值而该部分的相似度不高(步骤a13“否”)，则调查各图像的周边部分的相似度是否是给定的阈值以上(相似度高)(步骤a15)。在此，若周边部分的相似度也不足给定的阈值(步骤a15“否”)，则为了将由2台摄像装置10摄像的各图像作为非合成而对合成形式标记设定“0”(步骤a9)，若周边部分的相似度为给定的阈值以上而相似度高(步骤a15“是”)，则判断为如图3(d)所示那样各摄像装置10是拉大其间隔(第2距离以上)而空开配置的状态，且处于扩大范围进行拍摄的状态(处于给定的位置关系)，移转到步骤a16，对合成形式标记设定“3”作为针对并排2张图像的广角的全景合成处理的信息。

若如此按照各摄像装置10的相对的位置关系设定了适于该位置关系的合成形式，则移转到图6的流程，通过在实时取景画面显示图标或显示消息来报知设定的合成形式(步骤a17)。即，报知非合成，或者报知全方向合成、三维合成、全景合成的任一者。在该状态下调查是否全按操作了释放键(步骤a18)，或调查是否操作了使设定的合成形式无效的取消键(步骤a19)。

在现在操作了取消键的情况下(步骤a19“是”)，为了使设定的合成形式无效而返回图5的步骤a2，在全按操作了释放键的情况下(步骤a18“是”)，取得该全按操作时由各摄像装置10摄像的各图像(步骤a20)并读出上述的合成形式标记(步骤a21)，调查合成形式标记是否是“0”(步骤a23)。在此，若合成形式标记是“0”(步骤a22“是”)，则为了不使由2台摄像装置10摄像的各图像作为合成处理的对象而作为非合成，在将各图像个别进行显影处理并变换成标准尺寸的文件后，进行记录、保存到存储部23的记录介质的处理(步骤a28)。

另外，若合成形式标记不是“0”(步骤a22“否”)，则进一步判别合成形式(步骤a23)，若合成形式标记是“1”，则进行使由2台摄像装置10摄像的各图像接合起来的全方向合成处理来生成全方向合成图像(步骤a24)。在该情况下，在本实施方式中进行补正摄像的各鱼眼图像的失真的处理来生成没有失真的图像，然后再进行合成处理(以下同样)。若合成形式标记是“2”，则进行3d合成处理来生成3d合成图像(步骤a25)。若合成形式标记是“3”，则进行全景合成处理来生成全景合成图像(步骤a26)。在对由此生成的合成图像进行显影处理并变换成给定尺寸的文件后，记录保存在存储部23的记录介质(步骤a27)。另外，是仅记录保存合成图像，还是和合成图像一起也记录保存各鱼眼图像，按照预先由用户操作任意设定的保存形式来进行。

如此记录保存图像的处理结束后，调查是否解除了拍摄模式(步骤a29)，若保持拍摄模式不变(步骤a29“否”)，则返回图5的步骤a2，以下重复上述的动作，但在解除了拍摄模式的情况下(步骤a29“是”)，从图5以及图6的流程脱离。

如以上那样，在第1实施方式中，主体装置20基于2台摄像装置10的光轴方向所相关的信息来判别各摄像装置10的相对的位置关系是否是给定的位置关系，若是给定的位置关系，则将在该位置关系下由各摄像装置10摄像的各图像作为合成处理的对象并设定其合成形式，若不是给定的位置关系，则进行控制，不使该位置关系下由各摄像装置10摄像的各图像作为合成处理的对象而作为非合成，因此不用通过用户操作指示就能容易地控制是否得到特殊效果拍摄的图像，能容易地应对各种特殊效果的拍摄和这以外的通常的拍摄。

由于将各摄像装置10的光轴方向成为反向或相对于该反向为容许范围内的方向的第1位置关系、各摄像装置10的光轴方向成为同向或相对于该同向为容许范围内的方向的第2位置关系作为给定的位置关系，因此各摄像装置10的相对的位置关系成为适于全方向合成、3d合成、全景合成且对用户而言易于理解的位置关系。

主体装置20在各摄像装置10处于第1位置关系的情况下，进一步判别各摄像装置10的光轴的位置偏离是否是容许范围内，若是该容许范围内，则判别为处于给定的位置关系，因此能准确地确定适于给定的合成处理的位置关系。

主体装置20在各摄像装置10处于第2位置关系的情况下，进一步判别各摄像装置10是否是给定的间隔，若是给定的间隔，则判别为处于给定的位置关系，因此能准确地确定适于给定的合成处理的位置关系。

主体装置20在各摄像装置10处于第2位置关系的情况下，进一步对由各摄像装置10摄像的各图像进行解析来求取它们的相似度，基于该相似度来判别各摄像装置10是否是给定的间隔，因此不实际测量各摄像装置10的间隔，仅解析各图像就能判别是否是给定的间隔。

主体装置20在对各图像进行解析来判别是否是给定的间隔时，在各图像的中央部分的相似度高的情况下判别为处于给定的间隔，因此能准确地确定适于给定的合成处理的间隔。

主体装置20在对各图像进行解析来判别是否是给定的间隔时，在各图像的周边部分的相似度高的情况下判别为处于给定的间隔，因此能准确地确定适于给定的合成处理的间隔。

若各摄像装置10在第1位置关系下它们的光轴的位置偏离是容许范围内，则主体装置20设定从由各摄像装置10摄像的各鱼眼图像生成全方向的图像的合成形式，因此能准确地确定适于生成全方向图像的合成处理的位置关系。

若各摄像装置10在第2位置关系下是给定的间隔，则主体装置20按照该给定的间隔的大小设定从由各摄像装置10摄像的各图像输出全景图像或三维图像的合成形式，因此能准确地确定适于生成全景图像或三维图像的合成处理的位置关系。

主体装置20按照设定的合成形式来进行合成处理，因此能记录保存在拍摄时合成的图像。

主体装置20由于报知设定的合成形式，因此在用户那边能确定所设定的合成形式，仅改变各摄像装置10的配置就能变更合成形式。

主体装置20由于从各摄像装置10中具备的姿态检测部17取得光轴方向所相关的信息，因此能取得精度良好的光轴方向。

<变形例1>

另外，在上述的第1实施方式中，示出运用到能分离成摄像装置10和主体装置20的分体型数字摄像机的情况，但也可以运用到将摄像装置10和主体装置20一体化的摄像机(例如紧凑摄像机)中。在该情况下，2台摄像机的一方成为主摄像机，另一方成为从摄像机，并构成为能短距离通信即可。即，主摄像机以释放键的半按操作进行拍摄准备处理，并对从摄像机指示拍摄准备处理，进而基于从自摄像机取得的光轴方向和从摄像机取得的光轴方向来判别2台摄像机的相对的位置关系即可。如此在主摄像机与从摄像机之间也与第1实施方式同样，用户不进行指示也能容易地控制是否从由2台摄像机摄像的各图像得到特殊效果拍摄的图像，能应对各种特殊效果拍摄。

在上述的第1实施方式中，也可以在各摄像装置10的光轴方向为第2位置关系的情况下，若各图像的中央部分的相似度为给定的阈值以上而相似度高(图5的步骤a13“是”)，则2台摄像装置10移转到步骤a14，为了指定3d合成处理而对合成形式标记设定“2”，但也可以除了各图像的中央部分的相似度以外，进一步判别各图像的周边部分的相似度是否为给定的阈值以上而相似度高，以该周边部分的相似度高为条件移转到步骤a14。

在上述的第1实施方式中，对由各摄像装置10摄像的各图像进行解析，按照其相似度来判别各摄像装置10是否处于给定的间隔，但当然也可以测量各摄像装置10之间的距离来判别是否是给定的间隔。例如也可除了在各摄像装置10具备gps(globalpositioningsystem，全球定位系统)功能以外，在各摄像装置10还具备短距离通信部，基于各摄像装置10是否存在于能通信的区域内来判别各摄像装置10是否是给定的间隔。

进而在上述的第1实施方式中，示出了作为图像处理装置而运用在能分离成2台摄像装置10和主体装置20的分体型数字摄像机的情况，但也可以是将2台摄像装置10装入主体装置20而一体化的数字摄像机。在该情况下，也是只要设为使各摄像装置10的光轴方向可变的结构(在从第1位置关系到第2位置关系之间可变的结构)即可。

(第2实施方式)※仅以光轴方向进行合成判断的实施例

以下参考图7～图10来说明本发明的第2实施方式。

另外，在上述的第1实施方式中，在拍摄时判别合成形式来进行合成处理，并记录保存合成图像，但在该第2实施方式中，作为图像处理装置而运用到笔记本型的pc(个人计算机)30，该pc在取得由摄像装置(数字摄像机)40拍摄的拍摄完毕图像(保存图像)并进行显示的情况下，判别合成形式来进行合成处理，显示该合成图像。在此，两实施方式中基本或名称上相同的构成标注同一标号示出，省略其说明，并且以下以第2实施方式的特征部分为中心来进行说明。

图7是表示图像处理装置(pc)30和摄像装置(数字摄像机)40的概略构成的框图。

图像处理装置(pc)30和摄像装置(数字摄像机)40由于是与第1实施方式所示的摄像装置10和主体装置20基本同样的构成，因此省略其详细的说明。图7a表示图像处理装置30的构成，图像处理装置30具备控制部31、电源部32、存储部33、通信部34、操作部35、显示部36。图7b表示摄像装置40的构成，摄像装置40具备控制部41、电源部42、存储部43、通信部44、操作部45、带鱼眼镜头的摄像部46、姿态检测部47、磁传感器28。

图8是用于说明在摄像装置40侧切换到拍摄模式时执行开始的动作(第2实施方式的特征性动作)的流程图。

首先，摄像装置40的控制部41开始使从带鱼眼镜头的摄像部46取得的鱼眼图像作为实时取景图像显示的动作(步骤b1)。在该状态下，若操作释放键(步骤b2“是”)，则移转到步骤b3，取得释放键操作时的摄像图像并进行显影处理，进行变换成标准尺寸的文件的处理。

然后从姿态检测部47取得姿态信息(光轴方向)(步骤b4)，另外从磁传感器28取得其检测结果(步骤b5)。将该姿态信息(光轴方向)以及磁传感器检测结果附加到拍摄图像作为其exif信息(步骤b6)，记录保存在存储部43的记录介质(步骤b7)。以下调查是否解除了拍摄模式(步骤b8)，若保持拍摄模式不变(步骤b8“否”)，则返回上述的步骤b2，以下重复上述的动作。

图9是用于说明通过用户操作指定在图像处理装置30侧将2个图像合成来重放的合成重放模式时执行开始的动作(第2实施方式的特征性动作)的流程图。

首先，通过用户操作指定了生成合成图像并重放的合成重放模式后，图像处理装置30的控制部31将各种图像一览显示，这时，使作为合成对象相互关联的一对图像建立对应而一览显示(步骤c1)。即，参考各图像的exif信息(拍摄日期时间)，将拍摄日期时间相同的图像确定为关联性高的图像，使该关联的一对图像建立对应而一览显示。若通过用户操作从该一览画面中选择任意的2个图像(步骤c2)，则移转到接下来的步骤c3，进行将2个图像合成的处理。

图10是用于详述合成处理(图9的步骤c3)的流程图。

首先控制部31从通过用户操作选择的各图像取得其exif信息(光轴方向)(步骤d1)，基于该各光轴方向来调查各摄像装置40的光轴方向在拍摄时是否处于第1位置关系(反向的位置关系)(步骤d2)。在此，在判断为在第1位置关系下进行了拍摄的情况下(步骤d2“是”)，从各图像的exif信息取得其磁传感器检测结果(磁场的强度、方向)(步骤d3)，基于该检测结果(磁场的强度以及方向)来调查各摄像装置40是否未过于分离(处于容许范围内)，并调查这些光轴的位置偏离是否是容许范围内(步骤d4)。

在判断为在第1位置关系下，以各摄像装置40过于分离、光轴的位置过于偏离的状态下进行了拍摄的情况下(步骤d4“否”)，为了不将选择的2个图像作为合成处理的对象而进行设定(有效)非合成标记(图示省略)的处理(步骤d5)。另外，若判断为在第1位置关系下各摄像装置40的间隔以及光轴的位置偏离为容许范围内进行了拍摄的情况下(步骤d4“是”)，则判断为各摄像装置40以使其背面彼此接触或接近配置的状态进行了拍摄，移转到步骤d6，将选择的2个图像指定为合成处理的对象，来进行将2个图像全方向合成的处理。

另一方面，若各摄像装置40的光轴方向不是第1位置关系(步骤d2“否”)，调查是否是第2位置关系(同向的位置关系)(步骤d7)，若也不是第2位置关系(步骤d7“否”)，将选择的2个图像设定为非合成(步骤d5)，若是第2位置关系(步骤d7“是”)，则对选择的2个图像进行解析，一边比较其解析结果一边判定两者的相似度(步骤d8)，调查2个图像的中央部分的相似度是否是给定的阈值以上(相似度高)(步骤d9)。在此，若2个图像的中央部分的相似度为给定的阈值以上而相似度高(步骤d9“是”)，则移转到步骤d10，将选择的2个图像指定为合成处理的对象，进行将这2个图像3d合成的处理。

另外，在第2位置关系下(步骤d7“是”)，若2个图像的中央部分的相似度不足给定的阈值而该部分的相似度不高(步骤d9“否”)，则调查2个图像的周边部分的相似度是否是给定的阈值以上(相似度高)(步骤d11)。在此，若周边部分的相似度也不足给定的阈值(步骤d11“否”)，则将各图像设定为非合成(步骤d5)，若周边部分的相似度为给定的阈值以上而相似度高(步骤d11“是”)，则移转到步骤d12，将选择的2个图像指定为合成处理的对象，进行将该2个图像全景合成的处理。

这样的合成处理(图9的步骤c3)结束后，移转到接下来的步骤c4，调查上述的非合成标记是否被设为有效，即，是否设定了非合成，若非合成标记被设为有效(步骤c4“是”)，则进行将选择的图像个别显示的重放处理(步骤c6)。在该情况下，依次指定选择为合成对象的2个图像，并每隔一定时间进行切换显示。另外，若未设定非合成(步骤c4“否”)，则移转到显示通过合成处理合成的图像的处理(步骤c5)。然后调查是否通过用户操作指示了重放结束(步骤c7)，在指示了重放结束的情况下(步骤c7“是”)，从图9的流程脱离，但若未指示重放结束(步骤c7“否”)，则返回上述的步骤c1，以下重复上述的动作。

如以上那样，在第2实施方式中，图像处理装置30的控制部31取得多个图像并评价其附带信息(exif信息)，基于该评价结果来进行控制，将多个图像作为合成处理的对象图像来设定与评价结果相应的合成形式，或不使多个图像作为合成处理的对象而作为非合成，因此不用在图像重放时通过用户操作进行指示就能容易地控制是否得到特殊效果拍摄的图像，能容易地得到各种特殊效果的图像和这以外的通常的图像。

另外，在上述的第2实施方式中，在生成合成图像并重放的合成重放模式下，将成为合成对象的关联的一对图像建立对应来一览显示的情况下，参考拍摄日期时间来确定关联的图像，但也可以参考附加在拍摄图像的拍摄位置，将拍摄位置一致的图像或相近的各图像确定为关联的图像。

(第3实施方式)

以下参考图11～图14来说明本发明的第3实施方式。

另外，第1以及第2实施方式中的2台摄像装置10、40，示出了能自由单独移动的摄像机，但本第3实施方式将2台摄像装置50装备在图像处理装置(支承装置)60，这2台摄像装置50装备在图像处理装置(支承装置)60，能使其相对的位置关系变更。该图像处理装置(支承装置)60是构成支承2台摄像装置50的附件的小型电子设备。

图11是表示支承2台摄像装置(数字摄像机)50的图像处理装置(支承装置：附件)的概略构成的外观图。

摄像装置50其整体是箱型的筐体，安装在摄像机安装工具70。即，摄像装置50，被载置固定为其背面侧(摄像镜头50a的相反侧)以及底面侧与截面l字型的摄像机安装工具70面接触。支承装置60的筐体60a的整体是厚板状的长方体，在该筐体60a的厚度方向(左右方向)的两侧面部，载置固定于摄像机安装工具70的2台摄像装置50经由一对左右铰链80而能开闭地装备(被支承)。该一对左右铰链80是沿着支承装置60的上表面部和左右两侧面部的角部配置固定的轴状的开闭构件，且是支承该2台摄像装置50的支承构件，使得2台摄像装置50的光轴方向能在成为反向的位置关系到成为同向的位置关系的范围(0°～90°)内位移(能开闭)。支承装置60的筐体60a、一对左右铰链80成为支承2台摄像装置50的支承构件。

图11a表示将2台摄像装置50闭合的状态，即，2台摄像装置50的光轴方向成为反向的位置关系，图11b表示将2台摄像装置50打开的状态，即，2台摄像装置50的光轴方向成为同向的位置关系，在这些开闭角度(0°～90°)的范围内，2台摄像装置50能进行位移。另外，2台摄像装置50在开闭角度0°～90°的范围内能多阶段(例如以5°为单位的18阶段)位移，一对左右铰链80成为能在该各级的位置保持2台摄像装置50的构成。

支承装置(附件)60具备检测摄像装置50的开闭角度(0°～90°)的角度检测部(参考后述的图13)，该角度检测部检测在支承装置60被支承的2台摄像装置50的位移(开闭角度)，支承装置60基于该角度检测部的检测结果来判别2台摄像装置50的相对的位置关系(开闭角度)是否是给定的位置关系。其结果，若是给定的位置关系，则将该位置关系下拍摄的各图像作为合成处理的对象并设定其合成形式，若不是给定的位置关系，则不使该位置关系下拍摄的各图像作为合成处理的对象而作为非合成。图12a～c是作为该给定的位置关系(开闭角度)而示出第1位置关系～第3位置关系的图。

即，图12a表示摄像装置50的光轴方向成为反向或相对于该反向为容许范围内的方向的配置关系(第1位置关系)，在该第1位置关系下，摄像装置50的光轴方向的打开角成为0°。图12b表示摄像装置50的光轴方向成为同向或相对于该同向为容许范围内的方向的配置关系(第2位置关系)，在该第2位置关系下，摄像装置50的光轴方向的打开角成为90°。图12c表示摄像装置50的光轴方向成为第1位置关系与第2位置关系之间的给定的中间点方向或相对于该中间点方向为容许范围内的方向的配置关系(第3位置关系)，在该第3位置关系下，摄像装置50的光轴方向的打开角成为75°±5°。在第3实施方式中，将第1～第3位置关系判别为给定的位置关系。

图13是表示2台摄像装置50、支承装置60的概略构成的框图。

摄像装置50由于是与第1实施方式所示的摄像装置10基本同样的构成，因此省略其详细的说明，如图13所示那样，摄像装置50具备控制部51、电源部52、摄像部53、图像存储部54、通信部55等。进而，图13表示支承装置60的构成，支承装置60具备cpu61、电源部62、通信部63、角度检测部64、操作部65等。

通信部63是从2台摄像装置50接收拍摄图像、或将取得的拍摄图像发送给2台摄像装置50的短距离通信单元。角度检测部64是检测摄像装置50的开闭角度(0°～90°)的传感器，成为在0°～90°的范围内以例如5°的幅度检测角度的构成。操作部65省略图示，但具备释放键、摄像装置50的开闭调整键等，若操作释放键，则cpu61对2台摄像装置50同时发送拍摄指示，若操作了开闭调整键，则cpu61使2台摄像装置50的开闭角度向正向(0°～90°的方向)或反向(90°～0°)阶段性地位移。

图14是表示在摄像装置50侧每当进行拍摄而执行开始的支承装置60侧的动作(第3实施方式的特征性动作)的流程图。

首先，支承装置60调查是否操作了释放键(步骤e1)，若未操作释放键(步骤e1“否”)，则移转到与该操作键相应的处理，但若操作了释放键(步骤e1“是”)，则对2台摄像装置50同时发送拍摄指示(步骤e2)。然后，从2台摄像装置50取得(接收)该拍摄图像(步骤e3)，从角度检测部64取得拍摄时的开闭角度(步骤e4)。然后，基于该角度检测部64的检测结果来判别2台摄像装置50的相对的位置关系(开闭角度)是否是给定的位置关系(第1～第3位置关系)(步骤e5)。

在此，若2台摄像装置50的相对的位置关系不是给定的位置关系(步骤e6“否”)，则将指示非合成的标记附加到各拍摄图像的exif信息(步骤e7)，若是给定的位置关系(步骤e6“是”)，则判别是第1～第3位置关系的哪个关系(步骤e8)。在此，若是第1位置关系(0°)，则将指示全方向合成处理的标记附加到各拍摄图像的exif信息(步骤e9)，若是第2位置关系(90°)，则将指示3d合成处理的标记附加到各拍摄图像的exif信息(步骤e11)，若是第3位置关系(75°±5°)，则将指示全景合成处理的标记附加到各拍摄图像的exif信息(步骤e10)。然后，使附加了上述的标记的各拍摄图像发送到对应的摄像装置50并记录保存(步骤e12)。之后返回上述的步骤e1。

在摄像装置50侧，若从支承装置60接收到带指示合成处理的标记的拍摄图像，则使该拍摄图像显影并记录保存，这时，参考该拍摄图像的exif信息(标记)来判别合成形式，进行遵循该合成形式的合成处理来生成其合成图像，将该合成图像显影并和上述的拍摄图像一起记录保存。

如以上那样，在第3实施方式中，支承装置(附件)60支承2台摄像装置50，使2台摄像装置50的光轴方向能从成为反向的位置关系到成为同向的位置关系之间位移，基于该2台摄像装置50的位移(开闭角度)来判别各摄像装置50的相对的位置关系是否是给定的位置关系，若是给定的位置关系，则将该位置关系下拍摄的各图像作为合成处理的对象来设定其合成形式，若不是给定的位置关系，则不将该位置关系下拍摄的各图像作为合成处理的对象而作为非合成，因此不用进行基于用户操作的指示也能容易地控制是否得到特殊效果的图像，能应对各种特殊效果的拍摄和这以外的通常的拍摄。

由于将各摄像装置50的光轴方向成为反向或相对于该反向为容许范围内的方向的第1位置关系、各摄像装置50的光轴方向成为同向或相对于该同向为容许范围内的方向的第2位置关系、成为第1位置关系与第2位置关系之间的给定的中间点方向或相对于该中间点方向为容许范围内的方向的第3位置关系判别为给定的位置关系，因此各摄像装置50的相对的位置关系成为适于全方向合成、3d合成、全景合成且对用户而言易于理解的位置关系。

另外，在上述的第3实施方式中，在拍摄图像的记录保存时参考该图像的exif信息(标记)来判别合成形式，进行遵循该合成形式的合成处理来记录保存该合成图像，但也可以在重放拍摄完毕图像(保存图像)时参考该图像的exif信息(标记)来判别合成形式，进行遵循该合成形式的合成处理来重放该合成图像。

在上述的第3实施方式中，支承装置60判别合成形式并将其加到各图像，也可以通过在支承装置60具备图像合成功能来进行遵循合成形式的合成处理，生成该合成图像。由此能容易地得到各种特殊效果图像。另外，支承装置60的构成为任意，另外，摄像装置50的安装位置也任意。

<变形例2>

在上述的第1、第2实施方式中，摄像装置10、40基于该姿态检测部17、姿态检测部47的检测结果来检测其光轴方向，另外，在第3实施方式中，摄像装置50的光轴方向基于支承装置60的角度检测部64的检测结果来检测其光轴方向，但也可以不是用传感器检测摄像装置的光轴方向，而是通过对图像进行解析来判定光轴方向。

图15是表示通过图像解析判定光轴方向的处理的流程图，是例示了使用鱼眼镜头摄像的动态图像的情况，但并不限于动态图像，也可以是连续高速摄像的静止图像。

图像处理装置(例如pc、摄像机、支承装置)，从2台摄像装置取得数帧份的图像(步骤f1)，对每个摄像装置解析各帧图像(步骤f2)，判别其中央部分和周边部分中的图像的流向(步骤f3)。

在此，若2台摄像装置当中的一方是从中央部分向周边部分(从内向外)的流向，另一方是从周边部分向中央部分(从外向内)的流向(步骤f4“是”)，则判定为2台摄像装置的光轴方向是反向(步骤f5)。另外，若2台摄像装置的流向两方都是从中央部分向周边部分(从内向外)的流向，或者两方都是从周边部分向中央部分(从外向内)的流向(步骤f6“是”)，则判定为2台摄像装置的光轴方向是同向(步骤f7)。

如此仅从2台摄像装置取得多帧份的图像来解析，就能从该图像的流向检测2台摄像装置的光轴方向。

另外，在上述的各实施方式中，也可以判别各摄像装置的相对的位置关系是否是给定的位置关系，若是给定的位置关系，则将该位置关系下拍摄的各图像作为合成处理的对象并设定其合成形式，但若是给定的位置关系，还进一步从各摄像装置取得设定中的变焦倍率、焦距等拍摄条件，判别该拍摄条件是否适合合成处理，在适合的情况下，按照给定的位置关系设定合成形式。由此能准确地进行合成处理。

另外，在上述的各实施方式中，也可以构成为判别各摄像装置的相对的位置关系是否是给定的位置关系，若是给定的位置关系，则将该位置关系下拍摄的各图像作为合成处理的对象来设定其合成形式，但在成为给定的位置关系的情况下，将各摄像装置的变焦倍率、焦距等拍摄条件设定为适合各合成形式的条件。由此能用更合适的摄像条件下摄像的图像进行合成处理。

另外，在上述的各实施方式中，构成为根据各摄像装置的光轴方向和位置关系、距离来设定适合的合成形式，但也可以构成为仅根据各摄像装置的位置关系设定合成形式。

例如，可以将摄像装置构成为能进行全方向拍摄的摄像装置那样能不依赖于摄像方向对周围进行拍摄那样的拍摄装置。判别相对的位置关系是否是给定的位置关系，若是给定的位置关系，则将该位置关系下拍摄的各图像作为合成处理的对象并对各图像设定合成形式，但也可以构成为在处于给定的位置关系的情况下，从全方向拍摄的各图像切出按照该合成形式而需要的范围的图像。由此，不用确定视角就能根据摄像的图像来设定合成形式。

在上述的各实施方式中，示出了作为图像处理装置而适用于pc、摄像机、支承装置的情况，但并不限于此，图像处理装置也可以是pda(面向个人的便携型信息通信设备)、平板终端装置、智能手机等便携电话机、电子游戏机、音乐播放器等。

另外，上述的各实施方式中示出的“装置”、“部”，也可以按功能分离成多个筐体，并不限于单一的筐体。另外，上述的流程图中记述的各步骤并不限于时间序列上的处理，也可以并行处理多个步骤，或分开独立进行处理。

以上说明了本发明的实施方式，但本发明并不限定于此，还包含记载于权利要求书的发明和其等同的范围。