IFOY Patronage
IFOY Sponsor
Semantische visuelle Intelligenz für die Intralogistik
Romb Technologies
IFOY-Kategorie
IFOY Start-up of the Year Award
Zusammenfassung
Durch die Umwandlung von Rohbilddaten in verwertbare Informationen ermöglicht unsere semantische Wahrnehmungstechnologie Maschinen, ihre Umgebung zu verstehen – und dadurch intralogistische Prozesse sicherer, intelligenter und effizienter zu gestalten.
Beschreibung
- Verarbeitet Video-Streams oder statische Bilder in Echtzeit.
- Ein auf maschinellem Lernen basierendes Modul für semantische Segmentierung erkennt relevante Objektklassen, wie Paletten, Ladungen, Fahrkorridore, Fahrzeuge und Personen, sowie deren genaue Positionen in jedem Bild.
- Die segmentierten Bilder können mit Infrastrukturdaten des Werks angereichert werden, um eine Echtzeitüberwachung zu ermöglichen, z. B. das Erkennen von belegten oder leeren Palettenplätzen, falsch abgelegten Gegenständen oder Geräten.
- Tiefenintegration: Durch die Fusion von Daten aus Tiefenkameras oder LiDAR erkennt das System präzise die Geometrie von Paletten und die Lage von Hindernissen. Dadurch werden erweiterte Funktionen möglich, wie etwa hindernisspezifisches Ausweichverhalten (z. B. statischen Objekten ausweichen, bei Personen anhalten) oder adaptives Aufnehmen von ungenau positionierten Paletten.
- Das Modell wurde auf Intralogistik-spezifischen Datensätzen trainiert und bietet dadurch eine hohe Robustheit in Lager- und Produktionsumgebungen.
- Es kann zusätzlich auf kundenspezifische Anlagen feinabgestimmt werden, um standortspezifische Präzision und Anpassungsfähigkeit weiter zu erhöhen.
Innovation
Die Technologie verleiht Maschinen ein visuelles Verständnis ihrer Umgebung – ähnlich der menschlichen Wahrnehmung. Im Gegensatz zu herkömmlichen Vision-Systemen, die auf feste Objektvorlagen beschränkt sind, erkennt sie unterschiedliche Objektklassen wie Personen, Paletten, Ladungen, Fahrzeuge und befahrbare Flächen. Damit werden neue Anwendungen möglich, etwa adaptive Lastaufnahme, Hindernisvermeidung oder anlagenweite Analysen.
Wesentliche Innovationen:
- Generische Objekterkennung – unabhängig von Paletten- oder Lasttyp.
- Automatisierte Kamera-Gabel-Kalibrierung für die Lastaufnahme (angemeldetes Patent: EP24223684.2).
- Echtzeitbetrieb mit bis zu 20 fps.
Diese Eigenschaften schaffen eine flexible, visuell gesteuerte Automatisierung, die die Leistungsfähigkeit von AGVs/AMRs und Transparenz in Anlagen erheblich steigert.
Marktrelevanz
Die Hauptzielgruppen sind Hersteller von AGVs und AMRs sowie Systemintegratoren. Durch die Integration unserer semantischen Wahrnehmungsmodule können sie Endkunden in Produktion und Logistik sicherere, autonomere und effizientere Lösungen anbieten.
Der kombinierte AGV/AMR-Markt wird auf rund 70.000 Einheiten im Jahr 2024 geschätzt und dürfte bis 2030 auf etwa 110.000 Einheiten wachsen. Bei einem Zielpreis von 1.000 - 5.000 € pro Fahrzeug ergibt sich ein aktuelles Marktpotenzial von 70 - 350 Millionen €, mit einem erwarteten Wachstum von etwa 50% bis 2030.
Eine sekundäre Zielgruppe sind Endanwender, die die Software auf bestehender Kamerainfrastruktur einsetzen können, um in Echtzeit Einblicke in Materialflüsse und Anlagenzustände zu gewinnen. Dieses Marktsegment könnte den Primärmarkt langfristig sogar übertreffen, da Betriebe zunehmend auf digitale Zwillinge und KI-basierte Analytik setzen.
Hauptvorteile für den Kunden
Das System steigert die Transparenz, Effizienz und Sicherheit in intralogistischen Umgebungen durch folgende Vorteile:
- Echtzeit-Einblicke in Anlagenzustände und Materialflüsse.
- Frühzeitige Erkennung von Hindernissen und Anomalien in Fahrkorridoren.
- Verbesserte Zusammenarbeit zwischen Mensch und Roboter durch kontextbewusstes Szenenverständnis.
- Automatisierte aufnahme leerer Paletten – einschließlich Sammeln, Stapeln und Entstapeln.
- Kontinuierliche Überwachung von falsch abgelegten Gegenständen oder Geräten.
- Reduzierter Aufwand bei der Inbetriebnahme und geringere Integrationskomplexität von AGV-/AMR-Systemen durch erhöhte Umgebungswahrnehmung.
Technische Daten
Video: Semantic Visual Intelligence for Intralogistics
Semantic Visual Intelligence for Intralogistics
Romb Technologies
IFOY category
IFOY Start-up of the Year Award
Summary
By transforming raw visual data into meaningful insights, semantic perception enables machines to truly understand and interpret their environment – enabling safer, smarter, and more efficient intralogistics operations.
Description
- Processes video streams or static images in real time.
- A semantic segmentation model (based on machine learning) identifies relevant object classes - such as pallets, loads, transport corridors, vehicles, and people - and their precise positions in each frame.
- The segmented images can be enriched with facility infrastructure data to enable real-time monitoring, e.g., detecting loaded or empty pallet positions, misplaced items, or equipment
- Depth integration: by fusing data from depth cameras or LiDAR, the system can accurately recognize the position and shape of pallets and detect obstacles in the transport areas enabling advanced functionalities, such as obstacle-specific avoidance behavior (e.g., avoid static obstacles, stop near persons) or adaptive pickup of imprecisely placed pallets.
- The model is trained on intralogistics-specific datasets, ensuring robust performance in warehouse environments.
- Can be fine-tuned for specific facilities, further improving site-specific precision and adaptability.
Innovation
The technology gives machines human-like environmental understanding. Unlike traditional vision systems limited to fixed object templates, it recognizes and distinguishes between people, pallets, loads, vehicles, and navigable terrain – unlocking new capabilities such as adaptive load handling, obstacle avoidance, and real-time facility-level analytics.
Key innovations include:
- Generic object perception, independent of pallet or load type.
- Automated camera-fork calibration for load handling (EP24223684.2 patent pending).
- Real-time operation, up to 20 fps.
Together, these features enable flexible, vision-driven automation that dramatically enhances AGV/AMR performance and facility visibility.
Marktet relevance
The innovation primarily targets AGV and AMR manufacturers as well as system integrators. By integrating our semantic perception modules, they can offer safer, more autonomous, and more efficient vehicles to end users in manufacturing and logistics.
The combined AGV/AMR market is estimated at about 70,000 units sold per year in 2024, and expected to grow to 110,000 units by 2030. With the expected target price for a semantic perception software package ranging between €1,000 and €5,000, the estimated market potential today is between €70 million and €350 million, and expected to grow by about 50 % by 2030.
A secondary market includes end users who can deploy the software on existing camera infrastructure to gain real-time insights into asset utilization and material flow. This segment could exceed the primary market in value as facilities increasingly pursue digital twins and AI-driven analytics.
Main customer benefits
The system increases operational transparency, efficiency, and safety within intralogistics environments through the following specific benefits:
- Real-time visibility of facility assets and material flows.
- Reduced downtime by early detection of obstacles and irregularities in transport corridors.
- Simplified handovers between workers and AGVs/AMRs through contextual scene understanding.
- Automated handling of empty pallets, including collection, stacking, and destacking.
- Continuous monitoring of irregular conditions such as misplaced items or equipment.
- Reduced deployment time and integration complexity of AGV/AMR systems due to increased environmental awareness of the vehicles.
Technical data
Video: Semantic Visual Intelligence for Intralogistics