gst-mobility

Mobility 분야에서 GStreamer를 활용하는 모든 프로젝트를 환영합니다. 드론, 자동차, 로봇, 사람이 들고 찍는 카메라 등 어떤 형태의 mobile 환경이든 GStreamer 파이프라인으로 풀어내는 시도라면 모두 이 저장소의 범위에 들어옵니다.

아래 1, 2번은 현재 구상 중인 대표 주제지만, 그 외에도 하고 싶은 것이 있다면 부담 없이 PR을 보내주세요. 실제로 구현된 코드가 아니어도 괜찮습니다. 아이디어만 README에 추가하는 형태의 PR도 매우 환영하고 감사하게 받겠습니다.

실제로 드론이나 차량 영상을 구하는 것은 부담이 되니, 시뮬레이션을 사용할 것입니다.

ref) GAZEBO

---

1. 실시간 Monocular Cam 기반 3D Map 생성 (GStreamer 파이프라인)

flowchart LR
    Cam["Monocular Cam (드론 / 차량 / 사람)"] -->|"실시간 영상 스트림"| Net["통신"]
    Net --> GST["GStreamer Pipeline"]
    GST --> SLAM["SLAM / Odometry"]
    GPS["GPS"] --> Sync["시점 동기화"]
    SLAM --> Sync
    Sync --> Map["실시간 3D Map"]

Loading

Monocular 카메라 환경에서, 드론·자동차 같은 mobile 플랫폼이나 사람이 실시간으로 촬영하고 있는 영상을 컴퓨터가 통신으로 받아, 그 즉시 3D Map을 생성하는 전 과정을 GStreamer로 처리하는 방식입니다.

• 입력: monocular 카메라에서 송출되는 실시간 영상 스트림
• 처리: SLAM 등 odometry 기법을 사용해, 해당 시점에 도출할 수 있는 3D map과 GPS를 sync 시킴
• 목표: 촬영 중인 환경 전체를 실시간으로, 또는 실시간이 아니더라도 충분히 낮은 지연으로 3D 공간에 재구성
• 핵심 제약: 데이터 수신, odometry, map 생성, 시각화에 이르는 파이프라인 전체를 GStreamer 안에서 풀어내는 것

참고할 만한 자료로는 Meta에서 발표한 ShapeR 논문이 있습니다.

2. 비실시간(Pre-recorded) Monocular Cam 기반 3D Map 생성

flowchart LR
    File["저장된 영상 파일"] --> GST["GStreamer Pipeline"]
    GST --> SLAM["SLAM / Odometry"]
    GPS["기록된 GPS"] --> Sync["시점 동기화"]
    SLAM --> Sync
    Sync --> Map["3D Map"]

Loading

1번과 동일한 파이프라인을 이미 촬영된 영상에 대해 수행하는 버전입니다. 입력이 실시간 스트림이 아니라 저장된 영상 파일이라는 점만 다르고, SLAM/odometry, GPS sync, 3D map 생성, GStreamer로 전체를 처리한다는 나머지 구성은 1번과 같습니다.

---

Contributing

• 1, 2번을 발전시키는 PR 환영
• 새로운 주제(다른 센서 조합, 다른 mobility 도메인, 다른 파이프라인 구성 등) 를 README에 아이디어 차원으로 추가하는 PR도 환영
• 구현 없이 아이디어만 적은 PR도 감사히 받겠습니다