一种自动驾驶辅助方法及系统与流程 专利技术说明

车辆装置的制造及其改造技术1.本发明涉及自动驾驶技术领域，具体而言，涉及一种自动驾驶辅助方法及系统。背景技术：2.随着自动驾驶车辆行业的飞速发展，自动驾驶技术日益成熟，自动化程度也越高，当车辆在自动驾驶时需要对周围环境进行感知，以辅助车辆自动驾驶，避免驾驶人员发生意外，目前，通常采用车载的传感器对自动驾驶车辆周围的车辆进行识别，但是该方法存在识别准确率低、检测速度慢的问题，因此亟需一种自动驾驶辅助方法可以用于精确并快速的识别自动驾驶车辆的周围环境以辅助驾驶人员驾驶。技术实现要素：3.本发明的目的在于提供一种自动驾驶辅助方法及系统，以改善上述问题。4.为了实现上述目的，本技术实施例提供了如下技术方案：5.一方面，本技术实施例提供了一种自动驾驶辅助方法，所述方法包括：6.获取点云数据，所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息，所述第一车辆为自动驾驶中的车辆；7.根据所述点云数据生成二维图像，所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像；8.利用神经网络模型对所述二维图像进行特征提取，得到特征信息，所述特征信息包括的二维图像中每个前景点的特征信息；9.基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像；10.根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。11.第二方面，本技术实施例提供了一种自动驾驶辅助系统，所述系统包括：12.获取模块，用于获取点云数据，所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息，所述第一车辆为自动驾驶中的车辆；13.生成模块，用于根据所述点云数据生成二维图像，所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像；14.第一处理模块，用于利用神经网络模型对所述二维图像进行特征提取，得到特征信息，所述特征信息包括的二维图像中每个前景点的特征信息；15.第二处理模块，用于基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像；16.第三处理模块，用于根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。17.第三方面，本技术实施例提供了一种自动驾驶辅助设备，所述设备包括存储器和处理器。存储器用于存储计算机程序；处理器用于执行所述计算机程序时实现上述自动驾驶辅助方法的步骤。18.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现上述自动驾驶辅助方法的步骤。19.本发明的有益效果为：20.本发明通过车载激光雷达获取得到周围环境的点云数据，再将点云数据转化为稠密的二维图像，再利用实例分割算法对二维图像进行实例分割得到实例分割后的二维图像，实现自动驾驶车辆对周围环境精确、快速的检测和感知，最后根据感知结果辅助驾驶人员对自动驾驶中的车辆进行接管，以提高自动驾驶的安全性，避免驾驶人员发送危险，保障驾驶人员的人身安全。21.本发明的其他特征和优点将在随后的说明书阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明实施例了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。附图说明22.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。23.图1为本发明实施例中所述的自动驾驶辅助方法流程示意图。24.图2为本发明实施例中所述的自动驾驶辅助系统结构示意图。25.图3为本发明实施例中所述的自动驾驶辅助设备结构示意图。26.图中标注：901、获取模块；902、生成模块；903、第一处理模块；904、第二处理模块；905、第三处理模块；800、自动驾驶辅助设备；801、处理器；802、存储器；803、多媒体组件；804、i/o接口；805、通信组件。具体实施方式27.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。28.应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。29.实施例1：30.本实施例提供了一种自动驾驶辅助方法，可以理解的是，在本实施例中可以铺设一个场景，例如:在交通道路上处于自动驾驶状态中的车辆，后方或侧后方来车时，需要驾驶员对自动驾驶中的车辆进行接管的场景。31.参见图1，图中示出了本方法包括步骤s1、步骤s2、步骤s3、步骤s4和步骤s5。32.步骤s1、获取点云数据，所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息，所述第一车辆为自动驾驶中的车辆；33.可以理解的是，在车辆上安装激光雷达，激光雷达发射探测信号来感应周围环境，收集数据。34.步骤s2、根据所述点云数据生成二维图像，所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像；35.可以理解的是，所述步骤s2中还包括步骤s21、步骤s22和步骤s23，其中具体为：36.步骤s21、获取激光雷达安装的水平角度和垂直角度；37.步骤s22、根据所述点云数据得到每个点的三维坐标值、深度值和反射率；38.步骤s23、根据每个所述点的坐标值、所述深度值、所述反射率、所述激光雷达安装的水平角度和垂直角度生成点云数据对应的二维图像。39.在本实施例中，将点云数据投射至二维平面生成二维图像具体为：[0040][0041]n＝l[0042]f(m，n)＝[x，y，z，r，d，1]t[0043]上式中，f为生成的二维图像，m、n分别为三维点投影到二维图像上对应的坐标，x、y和z分别为三维点在激光雷达坐标系下的三维坐标，l为线号，α为激光雷达安装的水平角度、r为二维图像水平角分辨率，r为反射强度、d为深度值、1为标志符，需要说明的是，数字1是标志符，代表这个像素上被点投影上。标志符0代表该像素没有被点投影上其中，x、y和z的计算公式为：[0044]x＝d*cos(β)cos(α)[0045]y＝d*cos(β)sin(α)[0046]z＝d*sin(β)[0047]上式中，β为激光雷达安装的垂直角度，根据上述公式即可确定点云数据在激光雷达坐标系下的三维坐标值。[0048]在本实施例中，有效的解决了现有技术中，由于将点云数据转换为稀疏的二维图像造成后续不利于特征提取的问题，通过将点云数据转化为稠密的二维图像，实现后续对二维图像的特征进行充分提取，从而确保自动驾驶车辆对周围环境精确感知。[0049]步骤s3、利用神经网络模型对所述二维图像进行特征提取，得到特征信息，所述特征信息包括的二维图像中每个前景点的特征信息；[0050]可以理解的是，利用神经网络模型对所述二维图像进行特征提取为本领域技术人员所熟知的技术方案，故不在此赘述。[0051]步骤s4、基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像；[0052]可以理解的是，通过对二维图像中的每个前景点进行聚类得到实例分割后的二维图像，可以精准的识别道路上的车辆和障碍物，避免了现有技术中容易将道路中的障碍物识别为前景从而识别错误的问题。[0053]步骤s5、根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。[0054]可以理解的是，通过实例分割后的二维图像可以精确、快速的感知识别第一车辆周围的环境，最后根据感知结果辅助驾驶人员对自动驾驶中的车辆进行接管，以提高自动驾驶的安全性，避免驾驶人员发送危险，保障驾驶人员的人身安全。[0055]可以理解的是，所述步骤s5中还包括步骤s51和步骤s52，其中具体为：[0056]步骤s51、根据所述实例分割后的二维图像得到第二车辆的行驶信息，所述第二车辆包括所述第一车辆周围感知到的车辆，所述行驶信息包括第二车辆的轨迹信息、速度信息和位置信息；[0057]可以理解的是，根据实例分割后的二维图像可以精准、快速的得到第一车辆周围所感知到的车辆的位置信息和速度信息，根据第二车辆连续多个帧的实例分割后的二维图像即可根据车辆轨迹预测模型推测出车辆的轨迹信息，需要说明的是，车辆轨迹预测模型为本领域人员所熟知的技术方案，故不在此赘述。[0058]步骤s52、根据所述第二车辆的轨迹信息判断所述第一车辆与所述第二车辆是否存在接触点，其中，若所述第一车辆与所述第二车辆存在接触点，则根据所述第二车辆的速度信息和位置信息进行计算，得到第一车辆与第二车辆之间的接触时间；若所述第一车辆与所述第二车辆不存在接触点，则所述第一车辆无需驾驶人员进行接管。[0059]可以理解的是，根据第二车辆的轨迹信息即可判断第二车辆是否与第一车辆相交，即接触，通过第二车辆的轨迹信息可以实现自动驾驶车辆是否需要驾驶人接管的初步判断。[0060]可以理解的是，所述步骤s52中还包括步骤s521、步骤s522、步骤s523和步骤s524，其中具体为：[0061]步骤s521、获取第一车辆预设的速度信息；[0062]可以理解的是，第一车辆预设的速度信息为车辆自动驾驶时每一时刻的速度值。[0063]步骤s522、根据所述第二车辆的位置信息确定第二车辆的第一方位信息，所述第一方位信息包括所述第二车辆位于所述第一车辆的后方或侧方；[0064]可以理解的是，根据第二车辆的位置信息即可得到第二车辆的坐标位置，根据第二车辆的坐标位置即可得到第二车辆相对于第一车辆的位置信息，即第二车辆位于第一车辆的后方还是侧方，同时还可以得到第二车辆与第一车辆之间的距离。[0065]步骤s523、根据所述第一车辆预设的速度信息和所述第二车辆的速度信息进行计算，得到所述第一车辆与所述第二车辆之间的相对速度信息；[0066]可以理解的是，第二车辆的速度信息包括每一时刻第二车辆的速度值，根据车辆自动驾驶时每一时刻的速度值和每一时刻第二车辆的速度值，即可计算得到每一时刻第一车辆与所述第二车辆的相对速度，得到第一车辆与第二车辆之间的相对速度信息。[0067]步骤s524、根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第一方位信息进行计算，得到第一接触时间信息或第二接触时间信息，所述第一接触时间信息包括所述第二车辆位于所述第一车辆的后方时的接触时间，所述第二接触时间信息包括所述第二车辆位于所述第一车辆的侧方时的接触时间。[0068]可以理解的是，由于已知第一车辆与第二车辆之间每一时刻的相对速度值，根据第一车辆与第二车辆之间的距离即可计算第一车辆与第二车辆之间的接触时间，需要说明的是，当第二车辆位于第一车辆的后方时，此时第一车辆与第二车辆接触的接触时间只需计算纵向接触时间即第一接触时间；当第二车辆位于第一车辆的侧方时，此时第一车辆与第二车辆接触的接触时间只需计算横向接触时间即第二接触时间。[0069]可以理解的是，所述步骤s524之后还包括步骤s525、步骤s526以及步骤s527，其中具体为：[0070]步骤s525、获取第一车辆驾驶人员的接管时间信息；[0071]可以理解的是，所述步骤s525中还包括步骤s5251、步骤s5252和步骤s5253，其中具体为：[0072]步骤s5251、获取历史接管时间信息和当前时刻的气象数据；[0073]步骤s5252、将所述当前时刻的气象数据发送至训练后的天气预测模型，得到当前时刻的天气信息；[0074]可以理解的是，对天气预测模型进行训练为本领域技术人员所熟知的技术方案，故不在此赘述，通过将当前时刻的气象数据发送至训练后的天气预测模型即可实现对当前天气的预测，通过考虑天气情况对驾驶员接管时间的影响，有效的提高了接管时间选取的准确性，从而达到提高驾驶员自动驾驶安全性的目的。[0075]步骤s5253、根据所述当前时刻的天气信息判断所述第一车辆驾驶人员的接管时间信息，其中，若天气信息为恶劣天气时，则提取所述历史接管时间信息中的最大接管时间，得到所述第一车辆的接管时间信息，所述恶劣环境包括雪天、雾天和雨天；若第一车辆所处的环境为正常天气时，则根据所述历史接管时间信息计算，得到平均接管时间，并将所述平均接管时间作为所述第一车辆驾驶人员的接管时间信息。[0076]可以理解的是，当根据当前时刻的气象数据预测天气为正常天气时，通过将每一个接管时间进行相加求取均值，从而得到平均接管时间作为第一车辆的接管时间，有效的保证了驾驶人员在正常天气时对车辆安全接管；当处于恶劣天气中，则选取述历史接管时间信息中的最大接管时间作为第一车辆的接管时间，有效的保证了在恶劣天气驾驶人员有足够的接管时间完成对车辆的安全接管，需要说明的是恶劣天气包括雨天、雾天和雨天但不限于雨天、雾天和雨天。[0077]步骤s526、根据所述第一车辆驾驶人员的接管时间信息、所述第一接触时间信息和所述第二接触时间信息判断所述第一车辆是否处于危险区域，得到第一判断结果；[0078]可以理解的是，当第二车辆位于第一车辆的后方时，此时通过计算得到第一车辆与第二车辆之间的第一接触时间记为t1，第一车辆驾驶人员的接管时间记为t0，当t1≤t0时，第一车辆处于极度危险区域；当第二车辆位于第一车辆的侧方时，此时通过计算得到第一车辆与第二车辆之间的第二接触时间记为t2，当t2≤t0时，第一车辆处于极度危险区域。[0079]步骤s527、根据所述第一判断结果向第一车辆的驾驶人员发送预警信息，所述预警信息用于辅助驾驶人员对所述第一车辆进行接管。[0080]可以理解的是，所述步骤s52中还包括步骤s528、步骤s529、步骤s5210以及步骤s5211，其中具体为：[0081]步骤s528、获取第一车辆预设的速度信息；[0082]步骤s529、根据所述第二车辆的位置信息确定第二车辆的第二方位信息，所述第二方位信息包括所述第二车辆位于所述第一车辆的侧后方；[0083]步骤s5210、根据所述第一车辆预设的速度信息和所述第二车辆的速度信息进行计算，得到所述第一车辆与所述第二车辆之间的相对速度信息；[0084]步骤s5211、根据所述第一车辆与所述第二车辆之间的相对速度信息和所述第二车辆的第二方位信息进行计算，得到第三接触时间信息，所述第三接触时间信息包括所述第二车辆位于所述第一车辆的侧后方的接触时间。[0085]可以理解的是，当第二车辆位于第一车辆的侧后方时，此时第一车辆与第二车辆接触的接触时间需要同时计算纵向接触时间和横向接触时间作为第三接触时间信息，通过第一车辆与第二车辆的第三接触时间即可判断驾驶人员是否需要对车辆进行接管。[0086]可以理解的是，所述步骤s5211之后还包括步骤s5212、步骤s5213以及步骤s5214，其中具体为：[0087]步骤s5212、获取第一车辆驾驶人员的接管时间信息；[0088]步骤s5213、根据所述第一车辆驾驶人员的接管时间信息和所述第三接触时间信息和判断所述第一车辆是否处于危险区域，得到第二判断结果；[0089]可以理解的是，当第二车辆位于第一车辆的侧后方时，此时通过计算得到第一车辆与第二车辆之间的纵向接触时间记为t1和横向接触时间记为t2，第一车辆驾驶人员的接管时间记为t0，当t1≤t0，且t2≤t0时，第一车辆处于极度危险区域，当t1≤t0，且t2＞t0时，第一车辆处于普通危险区域；当t1＞t0，且t2≤t0时，第一车辆处于普通危险区域。[0090]步骤s5214、根据所述第二判断结果向第一车辆的驾驶人员发送预警信息，所述预警信息用于辅助驾驶人员对所述第一车辆进行接管。[0091]可以理解的是，当第一车辆处于极度危险区域和普通危险区域时采用不同的方式对驾驶人员进行预警，其中具体为：当车辆处于普通危险区域时，自动驾驶车辆智能语音系统进行语音提醒；当车辆处于极度危险区域时，自动驾驶车辆中预设区域显示预设颜色刺激驾驶人员唤醒驾驶意识的同时智能语音系统进行语音提醒，通过在自动驾驶车辆中预设区域显示预设颜色刺激驾驶人员唤醒驾驶意识可以有效的提醒驾驶人员迅速对自动驾驶中的车辆进行接管。[0092]实施例2：[0093]如图2所示，本实施例提供了一种自动驾驶辅助系统，所述系统包括获取模块901、生成模块902、第一处理模块903、第二处理模块904和第三处理模块905，其中具体为：[0094]获取模块901，用于获取点云数据，所述点云数据为第一车辆上安装的激光雷达发射的探测信号所获取的数据信息，所述第一车辆为自动驾驶中的车辆；[0095]生成模块902，用于根据所述点云数据生成二维图像，所述二维图像为第一车辆上安装的激光雷达感知的第一车辆周围环境的二维图像；[0096]第一处理模块903，用于利用神经网络模型对所述二维图像进行特征提取，得到特征信息，所述特征信息包括的二维图像中每个前景点的特征信息；[0097]第二处理模块904，用于基于所述特征信息对二维图像中的每个前景点进行聚类得到实例分割后的二维图像；[0098]第三处理模块905，用于根据所述实例分割后的二维图像辅助用户对所述第一车辆进行接管。[0099]实施例3：[0100]相应于上面的方法实施例，本实施例中还提供了一种自动驾驶辅助设备，下文描述的一种自动驾驶辅助设备与上文描述的一种自动驾驶辅助方法可相互对应参照。[0101]图3是根据示例性实施例示出的一种自动驾驶辅助设备800的框图。如图3所示，该自动驾驶辅助设备800可以包括：处理器801，存储器802。该自动驾驶辅助设备800还可以包括多媒体组件803，i/o接口804，以及通信组件805中的一者或多者。[0102]其中，处理器801用于控制该自动驾驶辅助设备800的整体操作，以完成上述的自动驾驶辅助方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该自动驾驶辅助设备800的操作，这些数据例如可以包括用于在该自动驾驶辅助设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。i/o接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该自动驾驶辅助设备800与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near fieldcommunication，简称nfc)，2g、3g或4g，或它们中的一种或几种的组合，因此相应的该通信组件805可以包括：wi-fi模块，蓝牙模块，nfc模块。[0103]在一示例性实施例中，自动驾驶辅助设备800可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digitalsignal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的自动驾驶辅助方法。[0104]在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的自动驾驶辅助方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由自动驾驶辅助设备800的处理器801执行以完成上述的自动驾驶辅助方法。[0105]实施例4：[0106]相应于上面的方法实施例，本实施例中还提供了一种可读存储介质，下文描述的一种可读存储介质与上文描述的一种自动驾驶辅助方法可相互对应参照。[0107]一种可读存储介质，可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述方法实施例的自动驾驶辅助方法的步骤。[0108]该可读存储介质具体可以为u盘、移动硬盘、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、磁碟或者光盘等各种可存储程序代码的可读存储介质。[0109]以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。[0110]以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。









图片声明：本站部分配图来自人工智能系统AI生成,觅知网授权图片,PxHere摄影无版权图库。本站只作为美观性配图使用,无任何非法侵犯第三方意图,一切解释权归图片著作权方,本站不承担任何责任。如有恶意碰瓷者,必当奉陪到底严惩不贷!




内容声明：本文中引用的各种信息及资料（包括但不限于文字、数据、图表及超链接等）均来源于该信息及资料的相关主体（包括但不限于公司、媒体、协会等机构）的官方网站或公开发表的信息。部分内容参考包括:(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供参考使用,不准确地方联系删除处理！本站为非盈利性质站点,发布内容不收取任何费用也不接任何广告!




免责声明：我们致力于保护作者版权，注重分享，被刊用文章因无法核实真实出处，未能及时与作者取得联系，或有版权异议的，请联系管理员，我们会立即处理，本文部分文字与图片资源来自于网络，部分文章是来自自研大数据AI进行生成,内容摘自(百度百科,百度知道,头条百科,中国民法典,刑法,牛津词典,新华词典,汉语词典,国家院校,科普平台)等数据,内容仅供学习参考,不准确地方联系删除处理!的,若有来源标注错误或侵犯了您的合法权益，请立即通知我们，情况属实，我们会第一时间予以删除，并同时向您表示歉意,谢谢!