具体实施方式

以下，基于附图对本发明的实施方式进行说明。

图1(A)-(B)是应用了本发明的实施方式的汽车1的乘员监视状态的说明图。

图1(A)是汽车1的俯视图。图1(B)是从前方观察汽车1的乘员室3的纵剖面的示意性说明图。

汽车1为交通工具的一例。在人乘坐并移动的交通工具中，此外还有例如大型车、二轮车、个人移动设备、自行车、铁路交通工具、飞机、船。

图1(A)-(B)的汽车1具有：车体2、在车体2的乘员室3左右并排设置的多个座椅4、设置于多个座椅4之前的仪表板5、从仪表板5向后突出设置的方向盘6等。

乘员就座在设置于乘员室3的座椅4上。作为驾驶员的乘员在能够用左右的两手握住处于座椅4前方的方向盘6的驾驶位置就座于座椅4。汽车1通过未图示的发动机或马达的驱动力根据乘员的操作来行驶。另外，汽车1也可以例如在设定了自动驾驶的目的地的情况下，以探索直到目的地的路径的方式自动行驶。

图2是设置于图1(A)-(B)的汽车1的交通工具控制系统10的说明图。

图2中，构成汽车1的交通工具控制系统10的多个控制装置由分别编入的控制ECU(Electronic Control Unit，电子控制单元)代表而表示。控制装置除控制ECU以外，也可以具有例如：记录控制程序及数据的记录部件、与控制对象物或其状态检测装置连接的输入输出端口、计时时间或时刻的计时部件、以及连接它们的内部总线。

图2所示的控制ECU具体而言例如为驱动ECU11、转向ECU12、制动ECU13、自动驾驶/驾驶辅助ECU14、驾驶操作ECU15、检测ECU16、外通信ECU17、UI操作ECU18、乘员监视装置60的乘员监视ECU19、空调装置50的空调ECU20。汽车1的交通工具控制系统10也可以具备未图示的其他控制ECU。

多个控制ECU与汽车1中采用的例如CAN(Controller Area Network，控制器局域网)やLIN(Local Interconnect Network，局部互联网络)等的车辆网络26连接。车辆网络26也可以由能够连接多个控制ECU的多个总线线缆27和连接多个总线线缆27的作为中继装置的中央网关(CGW)28构成。将相互不同的作为识别信息的ID分配给多个控制ECU。控制ECU基本上定期地向其他控制ECU输出通知数据。在通知数据中附加上输出源的控制ECU的ID和输出目的地的控制ECU的ID。其他的控制ECU监视总线线缆27，在输出目的地的ID例如为本身时，取得通知数据，并基于通知数据执行处理。中央网关28分别监视所连接的多个总线线缆27，当检测到与和输出源的控制ECU不同的总线线缆27所连接的控制ECU时，向该总线线缆27输出通知数据。通过这样的中央网关28的中继处理，多个控制ECU能够在与和分别连接的总线线缆27不同的总线线缆27连接的其他控制ECU之间输入输出通知数据。

外通信ECU17例如也可以与存在于汽车1外的通信基站101、其他汽车110的通信装置进行无线通信。通信基站101例如可以为ADAS(Advanced Driver Assistance System，高级驾驶辅助系统)通信网的基站，也可以为运营商通讯网络(キャリア通信網)的基站。运营商通讯网络的基站不仅与其他汽车110的通信装置，也可以与行人所持的移动设备进行通信。外通信ECU17也可以以直接通信的对方的种类划分为多个，设置于汽车1。而且，通信基站101、其他汽车110的通信装置、以及移动设备与服务器装置102一起构成交通系统100。外通信ECU17直接与通信基站101或其他汽车110的通信装置进行无线通信，从而在与服务器装置102、其他汽车110或移动设备之间发送接收通信数据。

UI操作ECU18上例如作为与乘员的用户接口设备连接有显示设备21、操作设备22。显示设备21例如也可以为液晶设备、映像投影设备。操作设备22例如也可以为触摸面板、键盘。显示设备21及操作设备22例如也可以设置于仪表板5。UI操作ECU18从车辆网络26获得通知数据，在显示设备21上显示。UI操作ECU18将对于操作设备22的操作输入输出到车辆网络26。另外，UI操作ECU18也可以基于操作输入执行处理，并将其处理结果包含于通知数据中。UI操作ECU18例如也可以显示关于设置于汽车1的其他装置即空调装置50之类的设备的设定画面，将通过操作输入选择的设定值从车辆网络26输出到其他设备。

为了乘员控制汽车1的行驶，驾驶操作ECU15上连接有例如方向盘6、制动踏板32、加速踏板33、变速杆34等作为操作部件。当操作操作部件时，驾驶操作ECU15将包含操作的有无、操作量等的通知数据输出到车辆网络26。另外，驾驶操作ECU15也可以执行与对于操作部件的操作有关的处理，并将其处理结果包含在通知数据中。驾驶操作ECU15例如也可以在汽车1的行进方向上存在其他移动体或固定物的状况下操作加速踏板33的情况下，判断该异常操作，并将其判断结果包含在通知数据中。

检测ECU16上作为用于检测汽车1的行驶状态的检测部件连接有例如检测汽车1的速度的速度传感器41、检测汽车1的加速度的加速度传感器42、拍摄汽车1的外侧周围的例如立体相机之类的外部相机(外カメラ)43、检测手是否搭在方向盘6上的手扶传感器44等。检测ECU16从检测部件获得检测信息，将包含检测信息的通知数据输出到车辆网络26。另外，检测ECU16也可以执行基于检测信息的处理，并将其处理结果包含于通知数据中。检测ECU16例如也可以在加速度传感器42检测到超过碰撞检测阈值的加速度的情况下，判断检出碰撞，并将碰撞检出结果包含于通知数据中。检测ECU16也可以基于外部相机43的图像提取存在于本车周围的行人及其他汽车110之类的移动体，判断移动体的种类及属性，并根据图像中的移动体的位置、大小、变化推定移动体的相对方向、相对距离、移动方向，将包含这些推定结果的移动体的信息包含于通知数据中并输出到车辆网络26。

自动驾驶/驾驶辅助ECU14从车辆网络26获得通知数据，以自动驾驶和手动驾驶来切换汽车1的行驶。

另外，自动驾驶/驾驶辅助ECU14从车辆网络26获得通知数据，执行用于汽车1的自动驾驶或驾驶辅助的控制，生成行驶控制数据并输出到驱动ECU11、转向ECU12、以及制动ECU13。驱动ECU11、转向ECU12、以及制动ECU13基于输入的行驶控制数据控制汽车1的行驶。

在自动驾驶汽车1的情况下，自动驾驶/驾驶辅助ECU14从车辆网络26获得通知数据，探索或获得直到目的地的路径。自动驾驶/驾驶辅助ECU14从车辆网络26获得通知数据，判定汽车1中是否没有异常或危险，在汽车1中没有异常或危险的情况下，生成关于沿路径移动的前进的道路的行驶控制数据，并输出为通知数据。自动驾驶/驾驶辅助ECU14基于GPS接收机等的本车的位置信息控制汽车1的行驶，以沿着其移动路径行驶，直到在目的地的停车场等停车，直到到达目的地。在有关于汽车1的异常或危险的情况下，自动驾驶/驾驶辅助ECU14生成行驶控制数据并输出为通知数据以避免其异常或危险。

在辅助汽车1的驾驶的情况下，自动驾驶/驾驶辅助ECU14通过车辆网络26从UI操作ECU18获得操作输入的通知数据，生成调整了其操作输入的操作的行驶控制数据并输出为通知数据。自动驾驶/驾驶辅助ECU14根据乘员的驾驶操作控制汽车1的行驶。在有关于汽车1的异常或危险的情况下，自动驾驶/驾驶辅助ECU14生成行驶控制数据并输出为通知数据以避免该异常或危险。

空调ECU20上例如连接有使热介质循环的压缩器51、蒸发器52、风扇53。通过它们构成图1(A)-(B)的汽车1的空调装置50。空调ECU20控制这些部件的动作，向乘员室3供给暖风或冷风。空调ECU20控制暖风或冷风的供给以使乘员室3成为设定温度。

乘员监视ECU19上连接有存储器64、计时器63、麦克风62、内部相机61。通过它们构成图1(A)-(B)的汽车1的乘员监视装置60。

计时器63计量时间、时刻。

麦克风62收集乘员室3的声音。

内部相机61作为拍摄装置拍摄乘员室3。内部相机61例如如图1(A)-(B)所示，向后设置于乘员室3的仪表板5，拍摄就座于乘员室3的座椅4的乘员。图1(A)-(B)的内部相机61的拍摄图像中拍摄有就座于左右并列的多个座椅4的多个乘员的上身。

存储器64记录乘员监视ECU19执行的程序、用于程序执行的数据。

就乘员监视ECU19而言，当乘员乘坐在汽车1上时或操作汽车1的未图示的开始按钮而汽车1起动为可行驶的状态时，从存储器64读入程序并执行。乘员监视ECU19例如也可以在汽车1起动时车辆网络26成为可通信时，据此从存储器64读入程序并执行。该情况下，乘员监视ECU19无论乘员的上下车状态如何，在乘员乘坐的情况下，经常从存储器64读入程序并执行。由此，乘员监视ECU19作为汽车1的乘员监视装置60的控制部起作用。作为乘员监视装置60的控制部的乘员监视ECU19认证并确定乘坐在汽车1上的乘员。乘员监视ECU19监视乘车的乘员，主要基于乘员的头部的图像及眼睛的图像，判断乘员的斜视、瞌睡。由此，能够改善关于汽车1的行驶安全性。

然而，汽车1中，为了其安全性，除了关于乘员的斜视及瞌睡以外也潜在地要求改善。例如，乘员为了设定设置于汽车1的例如空调装置50等，操作设置于汽车1的操作设备22。该情况下，乘员使注意力转向操作设备22及显示设备21。如果乘员的乘员注意力集中于操作，则与乘员的斜视及瞌睡同样，有可能对汽车1的行驶安全性产生影响。期望对于空调装置50等的操作能够简单地操作，以抑制对汽车1的驾驶操作的影响。

另外，汽车1期望自动驾驶化。在自动驾驶/驾驶辅助ECU14通过自动驾驶使汽车1行驶的情况下，乘员不需要亲自进行驾驶操作。该情况下，乘员有可能在与能够立即操作方向盘6等的驾驶位置不同的自由且舒适的状态下就座。在乘员以与为了驾驶所需的驾驶位置不同的状态下就座的情况下，手有可能够不到设置于仪表板5的操作设备22或显示设备21。在汽车1中，即使为这样的状态，也期望能够进行设置于汽车1的例如空调装置50等的设定。

这样，在汽车1中，期望使设置于汽车1的例如空调装置50等设备的操作简单。

乘员监视装置60具有整体拍摄乘车乘员的上身的内部相机61。

因此，在本实施方式的汽车1中，能够通过内部相机61拍摄拍摄图像中所含的乘员的例如手的形状形成的动作，并根据手势进行控制。例如，对于内部相机61的拍摄图像中指定形状的手势关联上预先设定的空调装置50的温度控制的情况下，通过内部相机61拍摄其手势，由此，能够执行空调装置50的温度控制。

在这样通过手的形状之类的手势进行操作的情况下，乘员不必操作操作设备22，而能够通过非接触的操作，设定或控制设置于汽车1的例如空调装置50等。例如如图1(B)所示，通过将作为驾驶员的乘员张开成伸掌形状的手在座椅4之间伸出，乘员监视ECU19能够将关于伸掌形状预先关联的设定或控制输出到空调装置50。除此以外，例如，通过将乘员合上成握拳形状的手在座椅4之间伸出，乘员监视ECU19能够将关于握拳形状预先关联的设定或控制输出到空调装置50。空调装置50例如基于与伸掌对应的输出能够设定变更为提高温度，或基于与握拳对应的输出设定变更为降低温度。乘员能够通过非接触操作设定或控制设置于汽车1的例如空调装置50等。

图3是用于图2的乘员监视ECU19进行的非接触操作的主要处理的流程图。

乘员监视ECU19为了检测乘员的手势进行的非接触操作并设定或控制设置于汽车1的例如空调装置50等，反复执行图3的处理。乘员监视ECU19也可以在乘员乘坐的情况下经常反复执行图3的处理。在图3的处理中，乘员监视ECU19判断乘员是否安全地实施手势进行的非接触操作。

在步骤ST1中，乘员监视ECU19收集并获得汽车1的状态的信息、及乘员状态的信息。乘员监视ECU19除由内部相机61拍摄的图像、自身判定的瞌睡及斜视的判定信息外，也可以从车辆网络26获得关于汽车1的行驶的信息。

在步骤ST2中，乘员监视ECU19基于在步骤ST1中收集的信息判断汽车1的车速。在车速例如比每小时0公里大，且比汽车1的最大速度小的情况下，汽车1行驶，因此，乘员监视ECU19判断车速不是0。该情况下，乘员监视ECU19结束本处理。与此相对，在车速为0的情况下，乘员监视ECU19使处理进入步骤ST3。

在步骤ST3中，乘员监视ECU19基于在步骤ST1中收集的信息判断转向角。汽车1行驶的方向根据关于方向盘6的转向的转向角从前后方向偏移。在转向角的大小为指定的规定角以上的情况下，乘员监视ECU19结束本处理。规定角例如也可以为180度。与此相对，在转向角的大小比指定的规定角小的范围的情况下，乘员监视ECU19使处理进入步骤ST4。

在步骤ST4中，乘员监视ECU19基于在步骤ST1中收集的信息对汽车1的后退进行判断。在汽车1后退的情况下，乘员为了确认车体2的后方，有时朝向后面。例如在变速杆处于倒挡位置，或以自动驾驶后退或有可能进行后退的情况下，乘员监视ECU19结束本处理。与此相对，在不可能后退的情况下，乘员监视ECU19使处理进入步骤ST5。

在步骤ST5中，乘员监视ECU19基于在步骤ST1中收集的信息判断乘员是否处于正对汽车1的行进方向即前方且能够驾驶的状态。在乘员的脸例如由于斜视等未朝向前方的情况下，乘员监视ECU19结束本处理。与此相对，在乘员的脸正对前方的情况下，乘员监视ECU19使处理进入步骤ST6。

在步骤ST6中，乘员监视ECU19基于在步骤ST1中收集的信息判断乘员的眼睛是否处于能够驾驶的状态。在乘员的眼睛例如有时由于瞌睡等闭上的情况下，乘员未处于能够驾驶的状态。该情况下，乘员监视ECU19结束本处理。与此相对，在乘员的眼睛连续地睁开的情况下，乘员监视ECU19使处理进入步骤ST7。

在步骤ST7中，乘员监视ECU19基于在步骤ST1中收集的信息判断点火开关是否处于断开状态。在点火开关为断开状态的情况下，空调装置50停止动作。因此，在点火开关处于断开状态的情况下，乘员监视ECU19结束本处理。与此相对，在点火开关处于接通状态且不是断开状态的情况下，乘员监视ECU19使处理进入步骤ST8。

在步骤ST8中，乘员监视ECU19基于在步骤ST1中收集的信息判断作为汽车1的方向指示灯的信号灯(ウィンカ)是否处于断开状态。在汽车1被转向进行右转左转的情况下，在紧急停车的情况下，信号灯成为接通状态并闪烁。在信号灯处于接通状态且没有成为断开状态的情况下，乘员监视ECU19结束本处理。与此相对，在信号灯处于断开状态的情况下，乘员监视ECU19使处理进入步骤ST9。

在步骤ST9中，乘员监视ECU19执行检测乘员的手势进行的非接触操作的处理。然后，乘员监视ECU19结束本处理。

这样，乘员监视ECU19在步骤ST2～步骤ST8中判定汽车1的状态及乘员的状态，在这些都处于适于非接触操作的状态的情况下，执行步骤ST9的非接触操作的检测处理。乘员监视ECU19判断汽车1的速度、汽车1的转向角、汽车1的后退状态、汽车1能够行驶的状态、方向灯的开灯状态、以及关于乘员的能够手动驾驶的状态中的全部作为汽车1的状态或乘员的状态，在判定为能够允许乘员的非接触操作的情况下，执行步骤ST9的非接触操作的检测处理。此外，用于执行非接触操作的检测处理的条件不局限于上述的条件。例如，也可以不需要步骤ST8的处理。

图4是图3的步骤ST9的手势检测处理的详细处理的流程图。

在步骤ST11中，乘员监视ECU19作为开始判定单元执行用于手势检测处理的初始化处理。乘员监视ECU19设定用于基于乘员手的形状判定操作的初始检测区域80。初始检测区域80也可以为以下范围，该范围为例如如图1(A)-(B)所示，成为内部相机61的拍摄范围的一部分的区域，且为在作为驾驶员的乘员使手从方向盘6离开并横向伸出的情况下能够拍摄其手的形状的范围。图1(A)-(B)中，驾驶员稍微伸出左臂，使手进入初始检测区域80。另外，伸出的左手为合上全部手指的握拳的形状(Rock shaped hand)、或张开全部手指的伸掌的形状(Paper shaped hand)。初始检测区域80也可以设定为较宽，以能够提早检测相对于此伸出的乘员的手的形状。另外，通过使初始检测区域80较宽，即使在手的位置由于行驶的汽车1的移动等而活动的情况那样移动，也能够将移动的手持续保持在初始检测区域80。初始检测区域80也可以与图1(A)-(B)不同，保持方向盘6的驾驶员的手也可以进入。另外，乘员监视ECU19也可以将在本处理中使用的计数器复位。

在步骤ST12中，乘员监视ECU19对初始检测区域80执行区域图像处理。乘员监视ECU19从内部相机61的最新的拍摄图像切出与初始检测区域80对应的部分图像，对部分图像判定乘员的手的形状。

在步骤ST13中，乘员监视ECU19判断是否拍摄到关于乘员的作为指定部位的乘员的手。在能够确认乘员手的形状的情况下，乘员监视ECU19使处理进入步骤ST14。在不能确认乘员手的形状的情况下，乘员监视ECU19将处理返回步骤ST12。

在步骤ST14中，乘员监视ECU19判断检测的乘员的手的形状是否为伸掌。在乘员手的形状不是伸掌的情况下，乘员监视ECU19使处理进入步骤ST15。在步骤ST15中，乘员监视ECU19判断检测的乘员的手的形状是否为握拳。在乘员手的形状不是握拳的情况下，乘员监视ECU19将处理返回步骤ST12。

这样，乘员监视ECU19作为开始判定单元，对逐次更新的内部相机61的最新的拍摄图像反复进行步骤ST12～步骤ST15的处理。而且，在逐次更新的内部相机61的最新的拍摄图像中检测到伸掌动作的情况下，乘员监视ECU19使处理进入步骤ST16。在检测到握拳动作的情况下，乘员监视ECU19使处理进入步骤ST22。另外，作为手的形状，通过将相互特征量很大不同的伸掌动作的形状和握拳动作的形状设为判定的对象，能够以高精度辨别各自的形状。

在步骤ST16～步骤ST21中，乘员监视ECU19作为操作判定单元，判定乘员的指定部位即手的伸掌动作的形状形成的非接触操作，并对伸掌动作执行预先关联的提高空调装置50的温度设定的输出处理。

在步骤ST16中，乘员监视ECU19设定用于检测伸掌动作形成的非接触操作的伸掌动作检测区域。伸掌动作状态的手的尺寸大，因此，伸掌动作检测区域例如也可以为与初始检测区域80相同的较宽的范围。该情况下，也可以不需要步骤ST16的处理。

在步骤ST17中，乘员监视ECU19对伸掌动作检测区域执行区域图像处理。乘员监视ECU19在伸掌动作检测区域中判定伸掌动作的形状的手。

在步骤ST18中，乘员监视ECU19通过刚才的步骤ST17的判定处理判断在伸掌动作检测区域中是否持续检测到伸掌动作的形状的手。在持续检测到伸掌动作的形状的手的情况下，乘员监视ECU19使处理进入步骤ST19。当在刚才的判断中没有检测到伸掌动作的形状的手时，乘员监视ECU19中止伸掌动作的形状形成的非接触操作的检测处理，并使处理进入步骤ST28。

在步骤ST19中，乘员监视ECU19将对能够连续检测到伸掌动作的形状的手的次数进行计数的计数器的值增加1。

在步骤ST20中，乘员监视ECU19判断是否确定伸掌动作的形状的手产生的非接触操作。乘员监视ECU19例如从计时器63读取从步骤ST16的处理时机开始的经过时间，在经过了例如500毫秒的情况下，判断为确定非接触操作。到确定判断的经过时间也可以为500毫秒以外。该情况下，乘员监视ECU19使处理进入步骤ST21。在没有经过500毫秒的情况下，乘员监视ECU19将处理返回步骤ST17。乘员监视ECU19反复进行步骤ST17～步骤ST20的处理，直到判断为确定伸掌动作形成的非接触操作。

在步骤ST21中，乘员监视ECU19对伸掌动作的形状的手形成的非接触操作输出预先关联的设定或控制。乘员监视ECU19例如对空调ECU20输出提高设定温度的设定。空调ECU20提高空调装置50的温度。然后，乘员监视ECU19使处理进入步骤ST28。

这样，乘员监视ECU19作为操作判定单元在内部相机61拍摄的连续的多个拍摄图像中连续判定出指定的伸掌动作的形状的手的情况下，进行伸掌动作形成的非接触操作有关的确定判定。另外，乘员监视ECU19对伸掌动作形成的非接触操作输出预先关联的设定控制。

在步骤ST22～步骤ST27中，乘员监视ECU19作为操作判定单元判定乘员的指定部位即手的握拳动作的形状形成的非接触操作，并对握拳动作执行预先关联的降低空调装置50的温度设定的输出处理。

在步骤ST22中，乘员监视ECU19设定用于检测握拳动作形成的非接触操作的握拳动作检测区域。因为握拳动作的状态的手的尺寸小，所以握拳动作检测区域例如也可以为比初始检测区域80小的较窄的范围。握拳动作检测区域成为与伸掌动作检测区域不同的尺寸。

在步骤ST23中，乘员监视ECU19对握拳动作检测区域执行区域图像处理。乘员监视ECU19在握拳动作检测区域中判定握拳动作的形状的手。

在步骤ST24中，乘员监视ECU19通过刚才的步骤ST23的判定处理，判断是否在握拳动作检测区域中继续检测到握拳动作的形状的手。在继续检测到握拳动作的形状的手的情况下，乘员监视ECU19使处理进入步骤ST25。在刚才的判断中没有检测到握拳动作的形状的手时，乘员监视ECU19中止握拳动作的形状形成的非接触操作的检测处理，使处理进入步骤ST28。

在步骤ST25中，乘员监视ECU19将对能够连续检测握拳动作的形状的手的次数进行计数的计数器的值增加1。

在步骤ST26中，乘员监视ECU19判断是否确定握拳动作的形状的手形成的非接触操作。乘员监视ECU19例如从计时器63读取从步骤ST22的处理时机开始的经过时间，在经过了例如500毫秒的情况下，判断为确定非接触操作。直到确定判断的经过时间也可以为500毫秒以外。该情况下，乘员监视ECU19使处理进入步骤ST27。在没有经过500毫秒的情况下，乘员监视ECU19将处理返回步骤ST23。乘员监视ECU19反复进行步骤ST23～步骤ST26的处理，直到判断为确定握拳动作形成的非接触操作。

在步骤ST27中，乘员监视ECU19对握拳动作的形状的手形成的非接触操作输出预先关联的设定或控制。乘员监视ECU19例如对空调ECU20输出降低设定温度的设定。空调ECU20降低空调装置50的温度。然后，乘员监视ECU19使处理进入步骤ST28。

这样，乘员监视ECU19作为操作判定单元在内部相机61拍摄的连续的多个拍摄图像中连续判定指定的握拳动作的形状的手的情况下，进行关于握拳动作形成的非接触操作的确定判定。另外，乘员监视ECU19对握拳动作形成的非接触操作输出预先关联的设定控制。

步骤ST28～步骤ST29是基于手的形状的判定正常进行控制的情况，或中断情况下的后处理。

在步骤ST28中，乘员监视ECU19对已经设定的动作检测区域执行区域图像处理。乘员监视ECU19从内部相机61的最新的拍摄图像切出与初始检测区域80对应的部分图像，对部分图像判定乘员的手的形状。

在步骤ST29中，乘员监视ECU19判断是否拍摄到作为乘员有关的指定部位的乘员的手。在能够确认乘员的手的形状的情况下，乘员监视ECU19将处理返回步骤ST28。乘员监视ECU19将处理反复进行步骤ST28～步骤ST29的处理。而且，当不能确认乘员的手的形状时，乘员监视ECU19结束本处理。乘员监视ECU19的处理返回图3，结束用于非接触操作的处理。

这样，由于确认出无法确认乘员的手的形状，即使乘员连续地操作，乘员监视ECU19也不能继续执行下一次的图3和图4的处理。乘员不能进行连续的操作。乘员监视ECU19在暂时判定不出手后，乘员监视ECU19反复进行图3及图4的处理。乘员监视ECU19作为操作判定单元在确定判定后检测不到手形状之后，判定下次的乘员的非接触操作。

图5(A)-(B)是本实施方式中的伸掌动作检测区域和握拳动作检测区域的说明图。

如图5(A)的附带阴影的框所示，伸掌动作检测区域81设定在从方向盘6的左侧向左延伸的矩形的范围。

如图5(B)的附带阴影的框所示，握拳动作检测区域82设定在除了将矩形的伸掌动作检测区域81分割为4个所形成的左下部分以外的形状的范围。

在本实施方式中，将作为驾驶员的乘员的左手侧设为左，右手侧设为右。

该情况下，握拳动作检测区域82比伸掌动作检测区域81小了左下部分的范围的量。

作为伸掌动作检测区域81及握拳动作检测区域82，通过这样设定不同的范围，关于成为比握拳动作大的面积的伸掌动作，能够在宽的范围良好地判定。

而且，在就座于作为副驾驶席的座椅4的其他乘员就座的状态下由于车体2的左右摇晃而倒下到车体2中央的情况下，头部有可能映入矩形的宽的伸掌动作检测区域81的左下部分的范围。在就座的状态下倒下的其他乘员的头部在动作检测区域中有可能判定为与握拳动作同样的圆的轮廓。关于握拳动作检测区域82，不包含其他乘员的头部在就座的状态下可能侵入的范围即副驾驶席侧的左下部分的范围，由此，能够不会弄错这样的其他乘员的头部而判定为握拳动作。

通过将动作检测区域设定为对于伸掌动作及握拳动作分别不同，能够提高各自的判定精度。

此外，握拳动作检测区域82也可以比伸掌动作检测区域81整体上小。

图6是手势的形状判定处理的一例的说明图。

图6所示的矩形的伸掌动作检测区域81被四等分为右上部分的切出图像91、左上部分的切出图像92、右下部分的切出图像93、左下部分的切出图像94。

如图5(A)-(B)那样，在将伸掌动作检测区域81和握拳动作检测区域82设定为不同的情况下，乘员监视ECU19也可以通过例如图6所示的处理判定各自对应的手的形状。

乘员监视ECU19首先对右上部分的切出图像91、左上部分的切出图像92、右下部分的切出图像93、以及左下部分的切出图像94各自进行微分。由此，如图6所示，得到右上部分的微分图像、左上部分的微分图像、右下部分的微分图像、以及左下部分的微分图像。微分图像中含有与手的轮廓形状对应的边缘成分。

接着，乘员监视ECU19对右上部分的微分图像、左上部分的微分图像、右下部分的微分图像、以及左下部分的微分图像各自依次进行扫描，判定指定的握拳或伸掌的手的轮廓形状。图6中，在左下部分的微分图像含有伸掌动作的手的轮廓形状95。该情况下，乘员监视ECU19在步骤ST17中处理左下部分的切出图像94，由此，能够判定伸掌动作的手的轮廓形状95。

此外，在此说明的处理是乘员监视ECU19通过HOG(Histogram of OrientedGradient，方向梯度直方图)处理判定手势的手的形状的处理。乘员监视ECU19也可以通过例如使用了AI(Artificial Intelligence，人工智能)的深度学习的判断方法之类的其他图像处理判定手的有无及形状。

另外，乘员监视ECU19在步骤ST17中判定出伸掌的手的轮廓形状的情况下，对右上部分的切出图像91、左上部分的切出图像92、右下部分的切出图像93、以及左下部分的切出图像94中全部的切出图像反复进行上述的处理。与此相对，在步骤ST23中判定出握拳的手的轮廓形状的情况下。只要仅对右上部分的切出图像91、左上部分的切出图像92、以及右下部分的切出图像93反复进行上述的处理即可。

如上，在本实施方式中，处理拍摄乘坐在汽车1上的乘员的内部相机61的拍摄图像并判定乘员的非接触操作。而且，在判定出乘员的非接触操作的情况下，对乘员的非接触操作输出预先关联的控制。由此，乘员不用如目前那样注视操作部件等进行操作，而能够非接触地操作设置于汽车1的各种设备。

而且，在本实施方式中，在内部相机61拍摄的多个拍摄图像中连续判定出指定的手形状的情况下，进行关于乘员非接触操作的确定判定。因此，能够正确地判定将乘员的手维持成指定状态的手势的状态。在手瞬间移动的情况下，能够不将其判定为手势。在判定手移动的情况下，如果将如通常可能有的那样的移动设为判定对象，则误判定的可能性变高。为了避免这种情况，需要将如通常不可能有的那样的特别的移动设为判定对象，就操作或管理汽车1的乘员而言，每次操作都要执行这种特别的移动会成为负担。

而且，在本实施方式中，不直接处理内部相机61的拍摄图像，而对成为拍摄范围一部分的操作检测区域判定乘员的非接触操作。由此，与直接处理内部相机61的拍摄图像的情况相比，能够减少直到得到关于乘员非接触操作的判定结果的处理。特别是，在本实施方式中，在用于判定乘员非接触地张开手的伸掌动作的伸掌动作检测区域81和用于判定乘员非接触地合上手的握拳动作的握拳动作检测区域82使区域不同。由此，单独判定的手的特征量的差异不仅因伸掌和握拳变大，而且能够根据判定的各手的状态通过适于各自的检测区域执行各自的判定。具体而言，例如，也可以使用于判定握拳动作的握拳动作检测区域82比用于判定伸掌动作的伸掌动作检测区域81小，因此，即使其他乘员的头部在就座的状态下侵入用于伸掌动作的伸掌动作检测区域81，也不会误判定为握拳动作。另外，关于伸掌，能够在宽的范围适当地判定。

而且，通过能够进行基于这样的手势的操作，乘员按照驾驶位置的就座状态出示手，由此，能够操作设置于汽车1的例如空调装置50之类的设备。乘员能够不使意识集中于设置于汽车1的例如空调装置50之类的设备的操作，而是通过出示手之类的简单的操作来简单地操作设置于汽车1的例如空调装置50之类的设备。通过简便的操作而不对汽车1的驾驶操作产生影响，能够操作设置于汽车1的例如空调装置50之类的设备。在本实施方式中，利用乘员监视装置60的内部相机61的功能，能够提高乘员的便利性。

另外，在本实施方式中，不会突然判定乘员的非接触操作，而是关于为预先设为内部相机61的拍摄范围一部分的初始检测区域80且为有可能拍摄关于乘员的指定部位的范围即初始检测区域80，判定是否拍摄到关于乘员的指定部位，在判定为初始检测区域80拍摄有指定部位的情况下，判定乘员的非接触操作。由此，关于多种手势形成的非接触操作不需要经常监视其有无。但是，在拍摄关于乘员指定部位的情况下，基于其拍摄能够判定是否是多种手势中的任一手势形成的非接触操作。该情况下，能够仅对所判定的特定种类的手势有关的非接触操作进行判定。

这样，在本实施方式中，相互区分乘员的例如手之类的指定部位的多种动作，能够以高的精度分别判定。在本实施方式中，能够提高各动作判定的正解率，且抑制误判定。

另外，在本实施方式中，为了判定乘员的非接触操作，预先判断汽车1的状态或乘员的状态。例如，判断汽车1的速度、汽车1的转向角、汽车1的后退状态、汽车1的可能行驶状态、方向灯的开灯状态、以及关于乘员的可能手动驾驶状态，在乘员也可以进行非接触操作的状态的情况下，判定乘员的非接触操作。由此，能够判定乘员的非接触操作，以确保关于汽车1的行驶等的安全性。

与此相对，如果不进行这样的启动处理，而经常判定乘员的非接触操作，则当以高的概率及灵敏度适当地判定实际的非接触操作时，乘员在实际没有进行非接触操作的时机也有可能误判定非接触操作。在本实施方式中，设定了不判定如上述的非接触操作的除外条件，因此，能够使便利性和安全性并存。

另外，在本实施方式中，在进行乘员进行的非接触操作有关的确定判定后，判定没有检测到手形状，结束处理。由此，乘员不会连续地实施简单的非接触操作。尽管非接触操作很简单，但是连续地执行它们容易使乘员的注意集中于此。能够抑制这样的事态的产生。

以上的实施方式是本发明的优选实施方式的例子，但本发明不限定于此，在不脱离发明宗旨的范围内能够进行各种变形或变更。

例如，在上述的实施方式中，如图5(A)-(B)所示，伸掌动作检测区域81和握拳动作检测区域82均设定在方向盘6的左侧。

除此以外，例如，伸掌动作检测区域81和握拳动作检测区域82也可以设定为包含方向盘6的左部分。

图7(A)-(B)是本实施方式的变形例中的伸掌动作检测区域81和握拳动作检测区域82的说明图。

如图7(A)的附带阴影的框所示，伸掌动作检测区域81设定为包含方向盘6的左部分。

该情况下，握拳动作检测区域82如图7(B)的附带阴影的框所示，可以设定在除了矩形的伸掌动作检测区域81有关的右下部分的切出图像93以外的形状的范围即可。可以设定在除了能够拍摄操作作为操作部件的方向盘6的乘员的手的范围以外的区域。

由此，乘员监视ECU19能够不将为了操作作为操作部件的方向盘6而握住的左手误判定为握拳动作形状的手。通过将用于判定握拳动作的握拳动作检测区域82设为从用于判定伸掌动作的伸掌动作检测区域81除去能够拍摄操作方向盘6之类的操作部件的乘员的手的范围所得到的区域，能够不将操作方向盘6之类的操作部件的乘员的手误判定为握拳动作。

而且，图7(A)-(B)的伸掌动作检测区域81及握拳动作检测区域82与图5(A)-(B)的相比，左右宽度小。该情况下，即使在就座于作为副驾驶席的座椅4的其他乘员就座的状态下由于车体2的左右摇晃而倒下到车体2中央，其头部也难以映入握拳动作检测区域82的左下部分的范围。