用于自主驾驶车辆的方法和系统
技术领域
许多实施例涉及用于在自动代客停车应用中控制自主车辆（例如生产线汽车）的方法和系统，其中驾驶控制和驾驶规划由外部控制系统借助于人工智能来执行，所述人工智能通过外部传感器、特别是相机传感器来监视和控制所述车辆。
背景技术
如今，车辆的停车过程由不同的辅助系统来支持，例如通过在停车过程中辅助车辆驾驶员的方法（尤其参见公开的专利申请DE102008027692A1、DE102012008858A1和WO2011154242A1）。此外，例如通过激光扫描仪使得停车场识别成为可能（尤其参见公开的专利申请DE102016120433A1）。
在世界范围内已经开发出尤其适合于完全独立地控制车辆的方法（尤其参见公开的专利申请DE102005029336A1和DE102013003683A1以及US9701305B2）。然而，这些方法通常需要在车辆本身上或内部具有大量传感器（例如，激光扫描仪或雷达扫描仪或相机），并且经常需要在车辆本身上或内部具有大量计算能力。
如今，设计和生产汽车的过程承受着巨大的成本压力。结果，当今的汽车生产并没有拥有如此大量的计算力和/或传感器，这意味着经常不可能部署上述方法。因此，基于外部传感器和外部数据处理系统的自动代客停车特别重要。
DE 10 2009 051 463 B4公开了一种机动车辆、外部控制装置和用于将机动车辆移出停车位的方法。
自动代客停车
在全自动（自主）的所谓代客停车期间，车辆（例如汽车、卡车、公共汽车、叉车）由其驾驶员停在下车点（例如在停车库前），并且车辆从那里驶入停车位置和/或应要求返回下车点。多个印刷出版的申请（尤其是DE 102012222562A1以及WO2016128203A1）示出了这种用于将车辆从起始位置运输到目标位置的系统。
这种系统包括布置在车辆外部用于计算轨迹的中央计算单元，该轨迹在本申请的上下文中也称为移动路径，车辆沿着该移动路径以车速自动地从所述起始位置移动到所述目标位置，并且包括用于将所述轨迹传送到所述车辆的传送装置。所述车辆通过位于该车辆外部的计算单元以遥控方式驾驶。这些系统可以全部或部分地基于位于所述车辆外部的传感器，并在位于所述车辆外部的计算单元上计算轨迹，然后通过传送介质（例如Wi-Fi或移动无线电）将该轨迹传送至所述车辆。
自动代客停车方法的缺点
但是，这种自动代客停车解决方案也具有明显的缺点，这些缺点抵消或阻止了传播：
放置环境传感器并将其用于自动代客停车方法是非常昂贵的过程。其原因在于，在迄今为止已知的实施例中，必须在整个停车区域中将新颖且昂贵的传感器（例如激光扫描仪）安装在车辆外部。
在迄今为止已知的实施例中，用于已知的自动代客停车方法的环境传感器技术包括必须用于装备停车场的多个环境传感器。这种已知的环境传感器是：激光雷达传感器，超声传感器，激光传感器和/或雷达传感器。
必须对这些传感器进行采购、安装、校准、维护并定期检查其功能，以使安全的自动停车成为可能。
发明内容
构成本发明基础的目的是指示在诸如例如停车场、停车库、工业设施或类似区域的可预定义环境中安全有效地自主驾驶机动车辆。特别地，目标是提供一种克服已知缺点的用于建立和操作自动代客停车方法的有效方法和系统。该目的通过独立权利要求的相应主题来实现。
该目的通过一种用于遥控地自主驾驶车辆的方法来实现，所述方法具有以下方法步骤：
-借助于布置在所述车辆的环境中的至少一个传感器，特别是相机来捕获所述车辆，
-借助于位于所述车辆外部的处理装置确定所述车辆的移动路径，
-将所述移动路径和/或关于所述移动路径的控制命令传输到所述车辆，以及
-在所述车辆中实现所述移动路径和/或所述控制命令，以便根据所述移动路径移动所述车辆。
为了捕获所述车辆，优选进行清楚的标识，其中所述车辆输出由所述至少一个传感器捕获并在所述处理装置中处理的光信号。在这种上下文中，例如可以通过以变化的或周期性的方式致动闪光灯和/或制动灯和/或变暗的前灯来编码和产生所述光信号。特定的光信号可以由所述处理装置分配给每个车辆，从而向每个车辆进行清楚分配是可能的。
所述车辆的姿态优选地借助于至少一个相机、特别是多个相机通过所述处理装置来确定，其中所述姿态特别是被投影到环境地图上。
优选借助至少一个相机所获取的图像或影片序列识别在所述车辆的环境中的对象，特别是其他车辆或生物，而在所述处理装置中执行借助于图像比较和/或特别是经过训练的神经网络进行的图像识别，其中特别是适配传输到所述车辆的移动路径和/或控制命令。
优选地使用多个相机，其中特别是自动地校准所述相机，和/或将所述相机定位在环境地图上，特别是通过定位由至少两个相机捕获的测试体来定位。
优选地，附加地使用位于所述车辆内部的至少一个传感器的信号，以便控制所述车辆。
特别地，周期性地传输所述移动路径和/或关于所述移动路径的控制命令，特别是适配于位于所述车辆内部的总线系统的时钟。
优选地，自动执行用于确定所述移动路径的方法。
该目的还通过一种用于遥控地自主驾驶车辆，特别是在可预定义或预定义的环境中的系统来实现，所述系统包括位于所述车辆外部的多个相机，所述多个相机被配置为捕获所述环境的至少一部分的相机图像或视频，并且所述系统包括位于所述车辆外部的处理装置，所述处理装置被配置为处理所述相机图像或视频，其中所述处理装置还被设计为基于所述相机图像或视频识别至少一个车辆并确定所述车辆的移动路径，其中所述系统还包括传送装置，所述传送装置被配置为将所述移动路径和/或关于所述移动路径的控制命令传输到所述车辆。
所述系统优选地被设计为自动地和/或自主地将所述车辆从起始位置引导到目标位置。
一个或多个车辆的清楚标识优选地通过输出所述一个或多个车辆的光信号来进行。
所述一个或多个车辆的姿态可以优选地借助于所述相机图像和/或视频确定，其中所述姿态可以特别是在环境地图上表示。
特别地，所述系统包括边缘计算系统，所述边缘计算系统被设计为仅将那些其上存在所述一个或多个车辆或与所述移动路径有关的其他对象的相机图像或视频，特别是以经过预处理的方式转发或传递到所述处理装置。
优选地规定，所述系统使用和/或利用特别是经过训练的或预先经过训练的神经网络和/或深度学习和/或强化学习方法，特别是在卷积神经网络的意义上。为此，参考T.Chen，S. Komblith，M. Norouzi，G. Hinton的“A Simple Framework for ContrastiveLearning of Visual Representations（视觉表示的对比学习的简单框架）”，2020年，https://arxiv.org/pdf/2002.05079.pdf。
特别地，提供了确定性监视装置，所述确定性监视装置特别是被配置为验证所述系统的组件，特别是相机、所述处理装置和/或所述边缘计算系统，处于良好的工作状态。
根据一个方面，提供了一种用于操作车辆的新颖的方法，其中基于已经存在的传感器技术，所述车辆借助于在停车场中位于所述车辆外部的处理装置自主地从起始位置驾驶到目标位置。根据又一方面，提供一种车辆，其被设计为执行所述方法。根据另一方面，提供一种计算机程序，所述计算机程序包括程序代码和/或经过训练的神经网络，用于如果所述计算机程序在计算机上运行时执行用于操作车辆的所述方法。
特别地，带来了以下技术优势，即车辆可以自主地停放在停车库或停车场中，其不再必须以成本密集和技术复杂的方式进行改装。特别地，通过基于已经存在的监视相机的传感器技术，尤其可以安全地使车辆移动。
另一个技术优点是，车辆不需要进一步配备计算单元或传感器技术。
在本发明的意义上的停车场也可以被称为停车区域，并且用作停放车辆的区域。根据一个实施例，所述停车场可以由停车库组成。在本发明的意义上，自主特别是意味着车辆通过停车场中的遥控干预来导航或驾驶而无需驾驶员干预。
在本发明的意义上的车辆是例如汽车、卡车、公共汽车、叉车、行人运输系统、机器人等。本发明还涉及多种车辆或不同车辆的组合。
实施例
1. 在实施例中规定，所停放的车辆借助于位于车辆外部的处理装置移出停车位置。所述车辆借助于位于所述车辆外部的处理装置自主地从所述停车位置驾驶回到所述起始位置，或者驾驶至其他目标位置，并借助于位于所述车辆外部的处理装置自主地停放在那里。所述其他目标位置可以是服务站，在该服务站对所述车辆执行服务。举例来说，可以在服务站给所述车辆补充燃料（包括电动地补充燃料）、清洗、检查、维护或修理。
2. 根据另一实施例规定，借助于位于车辆外部的相机传感器技术和处理装置来清楚地标识所述车辆。在本申请的上下文中，相机传感器技术也理解为相机。
3. 根据另一实施例规定，，借助于位于车辆外部的相机传感器技术和外部处理装置毫无疑问地标识所述车辆的姿态（位置和驾驶方向）。
4. 根据另一实施例规定，借助于位于车辆外部的相机传感器技术和外部处理装置来识别和标识对象（例如在停车区域上或在驾驶范围内），使得可以例如驾驶绕过所述对象。
5. 根据另一实施例规定，自动设置和校准位于车辆外部的相机传感器技术和处理装置。这是通过自动方法和系统以及测试体在待观察区域上的分布来实现的。所述相机例如通过图像处理和三角测量来予以校准。
6. 根据另一实施例规定，自动组合现有的位于车辆外部的相机传感器技术（例如已经存在的监视相机和常规的环境传感器技术（例如激光雷达传感器、超声传感器、激光传感器或雷达传感器））。
7. 根据另一实施例规定，位于车辆外部的处理装置被构造为自学习。
8. 根据另一实施例规定，将位于车辆外部的相机传感器技术与位于车辆内部的传感器（例如，轮速传感器）自动组合。
示例性实施例
通过描述根据本发明的实施例连同权利要求和附图，本发明的其他特征将变得显而易见。根据本发明的实施例可以实现单独的特征或多个特征的组合。
在本发明的上下文中，被标记为“特别地”或“优选地”的特征应被理解为可选特征。
一个方面提供了根据图1的用于遥控地自主驾驶车辆的方法和/或系统。
规定，所停放的车辆借助于位于车辆外部的处理装置移出停车位置，借助于位于所述车辆外部的处理装置自主地从所述停车位置驾驶回到所述起始位置，或者借助于位于所述车辆外部的处理装置驾驶至其他目标位置，并借助于位于所述车辆外部的处理装置自主地停放在那里。所述其他目标位置可以是服务站，在该服务站对所述车辆执行服务。举例来说，可以在服务站给所述车辆补充燃料（包括电动地补充燃料）、清洗、检查、维护或修理。
另一方面是一种方法和/或系统，用于借助于位于车辆外部的相机传感器技术和处理装置通过闪烁的图案和其他光信号或光信号序列来清楚地标识所述车辆。
一个方面是一种方法和/或系统，用于借助于位于车辆外部的相机传感器技术在外部处理装置中仅从相机图像中确定所述车辆的姿态（位置和驾驶方向），并将车辆的所述姿态投影到地图上。
另一方面是一种方法和/或系统，用于借助于位于车辆外部的相机传感器技术在外部处理设备中通过图像比较和经过训练的神经网络来识别对象（例如，在停车区域上或在驾驶范围内）。
一个方面是一种方法和/或系统，用于通过测试体自动校准和/或在地图上定位位于车辆外部的相机传感器技术，所述测试体同时由不同的相机传感器或相机捕获。
一个方面是一种用于自动组合其他环境传感器技术（例如激光雷达传感器、超声传感器、激光传感器或雷达传感器）的位于车辆外部的相机传感器技术的方法和/或系统。
一个方面是一种用于将位于车辆外部的相机传感器技术与位于车辆内部的传感器（例如，轮速传感器）自动组合的方法和/或系统。
一个方面是位于车辆外部的由于在卷积神经网络的意义上部署神经网络和深度学习和/或强化学习方法而自动自学习的处理装置。
一个方面是一种用于在云应用中在非固定数据处理系统中进行位于车辆外部的计算和控制的方法和/或系统。
一个方面是具有控制系统或确定性监视装置的方法和/或系统，所述控制系统或确定性监视装置被设计为执行用于自动确定轨迹的方法。
具体实施方式
下面将通过示例性实施例参照附图描述本发明，而不限制本发明的总体概念，其中关于根据本发明的在本文中没有更详细解释的所有细节均明确参考附图，其中：
借助于位于车辆外部的配置为人工智能的处理装置来操作车辆的方法的一个过程规定，所述车辆以遥控的方式驾驶。
规定，所述车辆实现从位于车辆外部的处理装置接收的轨迹和驾驶命令，并且在停车场中从起始位置自主地驾驶到目标位置。
根据一个实施例，所述起始位置是下车位置，所述车辆可以由其驾驶员停放在所述下车位置，使得所述车辆随后可以执行自主停车过程。
根据一个实施例，所述目标位置是所述车辆将在其中停放的停车位置。
根据另一实施例规定，所述起始位置是停车位置并且所述目标位置是收集位置，在所述收集位置处，驾驶员可以在自主停车过程结束之后收集其车辆。
根据一个实施例，所述下车位置和所述收集位置是不同的。根据另一实施例，所述收集位置和所述下车位置是相同的。
根据一个实施例规定，所述车辆借助于位于车辆外部的处理装置从所述起始位置驾驶到目标位置并且从那里驾驶到其他目标位置或驾驶回到所述起始位置。所述其他目标位置特别是收集位置。
根据一个实施例规定，所述车辆借助于位于车辆外部的处理装置从所述起始位置自主驾驶到停车位置，其在没有辅助的情况下自主地停放在那里，之后的某个时间借助于位于车辆外部的处理装置自主地从停车位中移出，并且在没有辅助的情况下自主地驶回所述起始位置。
根据一个实施例规定，所述车辆借助于位于车辆外部的处理装置基于停车场的数字地图在停车场中自主驾驶。
在一个实施例中规定，车辆被设计为实现所接收的轨迹和驾驶命令。
根据一个实施例，车辆201包括具有用于转向、驱动和制动（例如，通过E加速器或线控驱动功能、E制动、主动巡航控制、停车辅助等）的电致动器系统的标准设备以及接收模块（例如Wi-Fi或移动无线电）的车辆。车辆借助于控制装置要遵循的额定轨迹借助于位于车辆外部的处理装置基于环境数据和停车场的地图传输到所述车辆。
根据一个实施例，车辆201能够将从位于车辆外部的处理装置接收的驾驶命令和轨迹与内部传感器（例如，车轮旋转角度传感器，轮速传感器）进行比较和/或融合。
图1示出了：
·车辆201，其被设计为实现所接收的轨迹和驾驶命令。
·适合于向整个系统传输视频流（例如作为RTSP）的监视相机301。相机301可以是安装在室外灯杆上、室外安装在墙壁上和/或位于室内的PoE IP相机。
·边缘系统401，其被设计为使用计算机程序（例如，经过训练的神经网络）来识别对象。边缘系统401可以包含边缘节点，即Jetson Tx2。
•控制系统，其也称为处理单元501，其被设计为执行用于确定轨迹的方法并向每个驾驶的车辆分配清晰的视觉图案。控制系统501可以是具有2个NVidia GTX 1080 Ti的控制塔。
•网络管理单元，其也称为确定性监视装置601，其被设计为监视整个系统，执行错误更正并与其他系统（例如停车库系统、应急系统、车辆生产系统）进行通信，以及执行紧急措施（诸如，例如紧急停止或部分或完全地关闭系统）。网络管理单元601可以包含IntelNUC。
·通信单元701、702、703、704，其被设计为将轨迹和驾驶命令传输到所述车辆。所述通信单元可以是室外和/或室内的Wifi接入点。
·请求单元801、802，其被设计为请求车辆201和/或开始和/或结束所述方法并将此传输到车辆201。请求单元801可以是智能电话或平板电脑。请求单元802可以是膝上型电脑。
边缘系统401或相应地边缘节点优选在处理装置501的支持下识别车辆201是在一个相机301还是多个相机301的视野中。因此借助于边缘系统401，选择来自相机301的数据并将所述数据转发到可以看到车辆201的处理单元501。此外，边缘系统401可以用于识别新进入相机301的视野的其他对象或生物，并且将该信息传递给处理装置501。边缘系统401可以作为人工智能针对不同类型的对象加以训练，其结果是可以实现各种反应。例如，如果在自主驾驶车辆（201）附近发现儿童，则可以启动车辆201的紧急停止。在发现无生命对象的情况下，可以规定降低速度或使车辆转向另一方向或按照另一轨迹或相应地移动路径驾驶。对应的移动路径或相应地轨迹经由通信单元——所述通信单元在此被配置为Wi-Fi发射器和/或接收器（Wi-Fi）701、702或703——经由通信单元704无线地发送到车辆201。车辆201可以自身经由WIFI将传感器信号无线地提供给根据本发明的系统或相应地处理装置501或监视装置601。结果，可以验证车辆201是否实际上在执行所述控制命令并且是否还在观察所述移动路径或相应地所述轨迹。也可以通过对由相机301获取的图像进行图像处理来执行该验证。
由于使用边缘系统401，仅相关的图像和/或视频和/或信息被传输到处理装置501，以便最小化位于车辆外部的处理装置501的使用。可以用智能电话或平板电脑801或膝上型电脑请求车辆201，例如也经由Wi-Fi。同样地，可以经由这些请求单元801、802定义要将相应车辆201自主驾驶到哪里。
监视装置601检查是否所有相关相机301都处于工作状态。另外，监视装置601检查是否所有与系统相关的元件都处于工作状态。另外，所述监视装置601在没有人工智能的情况下，也就是确定性地检查图像中是否发生了未被处理装置501识别的变化。在监视装置601和处理装置501的结果之间出现差异的情况下，阻止车辆201的驾驶范围。因此，监视装置601是确定性的安全和后备系统。
所述移动路径或相应地轨迹可以是向量，该向量具有速度、转向角以及例如这些控制参数被保持的时间长度作为值。所述移动路径或相应地轨迹被适配在车辆201的CAN总线上，并且在以25Hz为时钟的CAN总线的情况下例如可以每25秒进行修改。可以以该时钟速度传输移动路径或相应地轨迹。
在外部处理装置中对其他车辆和对象进行识别和分类。在一个实施例中规定，如果必要的话，所述车辆自主地停止或停下，或者所述车辆计算出其他车辆和/或对象周围的规避路线并通过所述外部处理装置支持地遵循所述规避路线。
为了借助于外部相机传感器和外部计费单元清楚地标识车辆，向每个车辆分配了单独的闪光代码。向在停车区域上同时移动的每个车辆分配单独的闪烁图案。所使用的视觉图案可以是例如闪烁的图案或光信号序列。因此，例如通过由外部相机传感器在3秒钟内左右交替闪烁3次，可以清楚地标识车辆。然后，该分配使得所述控制单元可以标识和控制所述车辆。在本申请的上下文中，计费单元也被理解为所述处理装置。
所述系统借助于位于车辆外部的相机传感器技术在外部处理装置中仅从二维相机图像确定所述车辆的姿态（位置和驾驶方向），并将该车辆的所述姿态作为虚拟车辆投影到环境地图上。
根据一个实施例，对车辆与外部计算单元之间的通信进行加密，或者通过代码来验证各个驾驶命令。
为了以自动化的方式有效地校准位于车辆外部的相机传感器，已经开发了一种校准系统，在该校准系统中测试体随机分布在待观察的停车区域上。由于相机传感器的冗余放置，每个测试体因此被多于一个相机捕获。如果这些例如相同大小但颜色不同的测试体（例如，直径分别为20cm的黄色、绿色、红色和蓝色圆盘或立方体）在待观察的停车区域上移位，则控制系统501可以计算相机位置、相机与观察到的停车区域之间的角度以及相机与观察到的停车区域之间的距离，并且因此将相机传感器清楚地定位在待观察的停车区域的地图上。
在附图中，向相同或相似的元件和/或部件分别提供了相同的附图标记，从而不再分别介绍它们。
所有指示的特征，包括仅从附图中推断出的特征，以及与其他特征组合公开的各个特征，无论是单独还是组合都被认为对本发明是必要的。可以通过各个特征或多个特征的组合来执行根据本发明的实施例。
附图标记列表
101 以太网端口
102 交换机
201 车辆
301 监视相机
401 边缘系统
501 处理装置
601 监视装置
701 通信单元
702 通信单元
703 通信单元
704 通信单元
801 请求单元
802 请求单元。
- 上一篇：石墨接头机器人自动装卡簧、装栓机
- 下一篇：一种基于大数据分析的人车共享方法
