Zusammenfassung
Der vorliegende Beitrag untersucht die Erkennung benachbarter Fahrstreifen auf Grundlage von Kamerabildern. Hierbei wird sowohl die Anzahl befahrbarer Fahrstreifen als auch deren Verlauf innerhalb eines festgelegten Bereichs vor dem Fahrzeug bildbasiert geschätzt. Die Erkennung erfolgt durch Convolutional Neural Networks. Der Beitrag bewertet die Güte der Schätzung und Genauigkeit der Fahrstreifenerkennung. Zur Interpretation der Entscheidungen werden die durch das neuronale Netz gelernten Merkmale und Zwischenrepräsentationen visualisiert.
Abstract
This contribution is concerned with the estimation of the road topology and detection of driving lanes based on images of a front-facing camera. Herein, the road topology represents the number of drivable lanes within a certain range ahead of the vehicle. The proposed solution uses Convolutional Neural Networks and the learned features are examined. Finally, the experimental results and future research directions are discussed.
About the authors
M. Sc. Manuel Schmidt ist Wissenschaftlicher Mitarbeiter am Lehrstuhl für Regelungssystemtechnik der Technischen Universität Dortmund. Sein Hauptforschungsinteresse stellt die lernbasierte Entscheidungsfindung automatisierte Fahrzeuge dar.
M. Sc. Martin Krüger ist Wissenschaftlicher Mitarbeiter am Lehrstuhl für Regelungssystemtechnik der Technischen Universität Dortmund sowie Algorithmen-Entwickler bei der ZF Group. Sein Interesse gilt der Situationsanalyse.
M. Sc. Christian Lienke ist Wissenschaftlicher Mitarbeiter am Lehrstuhl für Regelungssystemtechnik der Technischen Universität Dortmund. Sein Hauptforschungsinteresse stellt die Trajektorienplanung automatisierte Fahrzeuge dar.
M. Sc. Malte Oeljeklaus ist Wissenschaftlicher Mitarbeiter am Lehrstuhl für Regelungssystemtechnik der Technischen Universität Dortmund. Sein Hauptforschungsinteresse stellt die Umfeldwahrnehmung automatisierte Fahrzeuge dar.
Dr. rer. nat. Till Nattermann ist Projektleiter im Bereich der Algorithmen-Entwicklung für das automatisierte Fahren am Standort Düsseldorf bei der ZF Group. Sein Verantwortungsbereich umfasst die Verhaltensplanung sowie Anwendung maschineller Lehrverfahren.
M. Sc. Manoj Mohamed ist Senior Engineering Manager für die Algorithmen-Entwicklung für das automatisierte Fahren am Standort Düsseldorf bei der ZF Group. Sein Verantwortungsbereich umfasst die Entwicklung von Algorithmen in den Bereichen Umfeldwahrnehmung, Situationsanalyse sowie Planung und Steuerung.
apl. Prof. Dr. rer. nat. Frank Hoffmann ist außerplanmäßiger Professor am Lehrstuhl für Regelungssystemtechnik der Technischen Universität Dortmund. Seine Forschungsgebiete liegen in der Robotik, Bildverarbeitung und Computational Intelligence.
Univ.-Prof. Dr.-Ing. Prof. h. c. Dr. h. c. Torsten Bertram ist Inhaber des Lehrstuhls für Regelungssystemtechnik der Technischen Universität Dortmund. Seine Hauptforschungsinteressen sind die Modellbildung, Regelung, Optimierung und Simulation mechatronischer Systeme für Anwendungen in der Fahrzeugsystemtechnik und Servicerobotik.
Literatur
1. M. Aly, Real time Detection of Lane Markers in Urban Streets. In: Proceedings IEEE Intelligent Vehicles Symposium (2008), S. 7–12.10.1109/IVS.2008.4621152Search in Google Scholar
2. C. M. Bishop, Pattern Recognition and Machine Learning. Springer Verlag, New York (2006).Search in Google Scholar
3. F. Chollet et al., Keras. https://keras.io (2015).Search in Google Scholar
4. M. A. Fischer and R. C. Bolles, Random Sample Consensus: A Paradigm for Model Fitting with Applications to Image Analysis and Automated Cartography. In: Commun. ACM 24(6) (1981), S. 381–395.10.1145/358669.358692Search in Google Scholar
5. A. Geiger, C. Wojek and R. Urtasun, Joint 3D Estimation of Objects and Scene Layout. In: Advances in Neural Information Processing Systems 24 (2011), S. 1467–1475.Search in Google Scholar
6. P. Geurts, D. Ernst and L. Wehenkel, Extremely Randomized Trees. In: Machine Learning 63(1) (2006), S. 3–42.10.1007/s10994-006-6226-1Search in Google Scholar
7. I. Goodfellow, Y. Bengio and A. Courville, Deep Learning. MIT Press (2016).Search in Google Scholar
8. Y. Jia et al., Caffe: Convolutional Architecture for Fast Feature Embedding. In: arXiv:1408.5093 (2014).10.1145/2647868.2654889Search in Google Scholar
9. V. John et al., Real-Time Lane Estimation Using Deep Features and Extra Trees Regression. In: PSIVT 2015: Image and Video Technology (2016), S. 721–733.10.1007/978-3-319-29451-3_57Search in Google Scholar
10. J. Kim and M. Lee Robust Lane Detection Based On Convolutional Neural Network and Random Sample Consensus. In: ICONIP 2014: Neural Information Processing (2014), S. 454–461.10.1007/978-3-319-12637-1_57Search in Google Scholar
11. A. Krizhevsky et al., Imagenet Classification with Deep Convolutional Neural Networks. In: Advances in Neural Information Processing Systems (2012), S. 1097–1105.Search in Google Scholar
12. Y. LeCun et al., Backpropagation applied to handwritten Zip Code Recognition. In: Neural Computation 1(4) (1989), S. 541–551.10.1162/neco.1989.1.4.541Search in Google Scholar
13. Y. LeCun et al., Efficient Backprop. In: Neural Networks: Tricks of the Trade (1998), S. 9–50.10.1007/3-540-49430-8_2Search in Google Scholar
14. J. Li et al., Deep Neural Network for Structural Prediction and Lane Detection in Traffic Scene. In: IEEE Transactions on Neural Networks and Learning Systems 28(3) (2017), S. 690–703.10.1109/TNNLS.2016.2522428Search in Google Scholar PubMed
15. W. Liu et al., SSD: Single Shot Multibox Detector. In: arXiv:1512.02325 (2015).10.1007/978-3-319-46448-0_2Search in Google Scholar
16. A. Meyer et al., Deep Semantic Lane Segmentation for Mapless Driving. In: IEEE/RSJ International Conference on Intelligent Robots and Systems (2018).10.1109/IROS.2018.8594450Search in Google Scholar
17. R. Mohr, Numerische Methoden in der Technik: Ein Lehrbuch mit MATLAB-Routinen. Vieweg+Teubner Verlag (2013).Search in Google Scholar
18. D. Neven et al., Towards End-to-End Lane Detection: An Instance Segmentation Approach. In: IEEE Intelligent Vehicles Symposium (2018), S. 286–291.10.1109/IVS.2018.8500547Search in Google Scholar
19. F. Pedregosa et al., Scikit-learn: Machine Learning in Python. In: Journal of Machine Learning Research 12 (2011), S. 2825–2830.Search in Google Scholar
20. R. Rubinstein, The Cross-Entropy Method for Combinatorial and Continuous Optimization. In: Methodology And Computing In Applied Probability 1(2) (1999), S. 127–190.10.1023/A:1010091220143Search in Google Scholar
21. M. Schmidt et al., Fahrspurerkennung mit Deep Learning für automatisierte Fahrfunktionen. In: Proceedings 28. Computational Intelligence Workshop (2018), S. 147–173.Search in Google Scholar
22. K. Simonyan and A. Zisserman, Very Deep Convolutional Networks for Large-Scale Image Recognition. In: arXiv:1409.1556 (2014).Search in Google Scholar
23. J. T. Springenberg et al., Striving for Simplicity: The all Convolutional Net. In: International Conference on Machine Learning (Workshop Track) (2015).Search in Google Scholar
24. T. Suleymanov et al., Inferring Road Boundaries Through and Despite Traffic. In: IEEE International Conference on Intelligent Transportation Systems (2018), S. 409–416.10.1109/ITSC.2018.8569570Search in Google Scholar
25. M. Teichmann et al., Multinet: Real-Time Joint Semantic Reasoning for Autonomous Driving. In: IEEE Intelligent Vehicles Symposium (2018), S. 1013–1020.10.1109/IVS.2018.8500504Search in Google Scholar
26. Z. Wang et al., A Parametric Top-View Representation for Complex Road Scenes. In: arXiv:1812.06152 (2018).10.1109/CVPR.2019.01057Search in Google Scholar
27. W. Wicki, Entwicklungspsychologie. UTB M (2015).10.36198/9783838544755Search in Google Scholar
28. M. D. Zeiler and R. Fergus, Visualizing and Understanding Convolutional Networks. In: ECCV 2014: Computer Vision (2014), S. 818–833.10.1007/978-3-319-10590-1_53Search in Google Scholar
29. B. Zhou et al., Places: An Image Database for Deep Scene Understanding. In: arXiv:1610.02055 (2016).10.1167/17.10.296Search in Google Scholar
30. B. Zoph and Q. V. Le, Neural Architecture Search with Reinforcement Learning. In: arXiv:1611.01578 (2016).Search in Google Scholar
31. B. Zoph et al., Learning Transferable Architectures for Scalable Image Recognition. In: arXiv:1707.07012 (2017).10.1109/CVPR.2018.00907Search in Google Scholar
© 2019 Walter de Gruyter GmbH, Berlin/Boston
