两路镜头同步取景,经设备端拼接处理后作为单路视频流输出、录像与推流
背靠背布置的两路镜头在同一帧时刻同步曝光,避免两幅画面错位与撕裂,为后续拼接提供对齐基础。
在设备端完成拼接与畸变校正,把两路画面合成为一幅连续的全景画面,处理在本地完成。
拼接结果作为一路 2048 × 1024 全景视频输出,可直接录像、推流、接入平台或做算法分析。
凡是需要「一个视角看全」的场合,都在它的射程内
两路相机之间无任何同步线缆、无外触发芯片。主从相机通过 libcamera 软件锁相环动态微调帧周期,使曝光时间中心严格重合,动态画面不再出现拼接断层。
NV12 原始帧按 Y / UV 双平面直接绑定 GPU 纹理单元,颜色转换、Y 轴翻转、BGR 通道排列全部下沉到着色器完成,帧数据不落地到 CPU 内存做二次处理。
单 Pass 融合 + 显存直读 + 硬件步长对齐,整条 GPU 管线单帧 27~29.5 ms,稳态输出 28.05 FPS,可直接进入避障、识别等实时链路。
同一份全景数据可同时输出 360° 球面视角与 2D 平铺展开图,适配 VR 头显浏览、网页嵌入与算法二次开发三类使用方式。
基于 40° 重叠区距离变换自动定位最优拼接中线并做高斯羽化过渡(高速档 55 px / 原画档 50 px),同时做曝光与白平衡基准增益平衡,消除亮度断层。
Web MJPEG 流媒体服务器(8080 端口)浏览器即开即看;V4L2 虚拟摄像头直写 /dev/videoX 供 OBS 使用;无 Web 客户端时自动跳过 JPEG 编码,全景帧直接供给算法或录像。
以下为平台能力与可定制范围,具体型号参数以打样确认为准
| 项目 | 规格与说明 |
|---|---|
| 项目 | 规格与说明 |
| 运算平台 | 树莓派 5(Broadcom BCM2712,VideoCore VII GPU,8 GB RAM) |
| 操作系统 | Raspberry Pi OS Bookworm 64 位(Linux 6.6 内核),DRM/GBM 纯无头 EGL 渲染 |
| 图像传感器 | 双路 Sony IMX477 HQ 摄像头,CSI-2 直连主控双 CAM 端口 |
| 光学镜头 | 双路 M12 接口 220° 鱼眼镜头,13 mm 基线背靠背安装 |
| 镜头畸变模型 | 等距鱼眼(r = f·θ)+ Kannala-Brandt 四阶径向多项式 |
| 视场与重叠 | 220° 超广角,空间重叠区 40° |
| 输入分辨率 | 1536 × 1536(高速档)/ 2028 × 1520(原画档) |
| 输出全景分辨率 | 2048 × 1024(标准 2:1 等距柱状),原画档可配 4096 × 2048 |
| 稳态帧率 | 28.05 FPS(额定 30 FPS);高清原画档 18 ~ 20 FPS |
| 端到端延迟 | 33 ms(GPU 单帧渲染 27 ~ 29.5 ms) |
| 同步时差 | < 100 μs(实测最小 -2 μs),基于 libcamera 的软件主从锁相环(PLL) |
| 同步方式 | 无物理同步线缆、无外触发芯片,主从相机帧周期动态微调 |
| 接缝处理 | 距离变换高斯羽化 55 px(高速档)/ 50 px(原画档),自动定位最优拼接中线 |
| 球面网格 | 180 × 360 经纬切片,65,341 顶点,129,600 三角面片 |
| 采集格式 | NV12(Y / UV 双平面),libcamera 原生 DMABUF 零拷贝映射 |
| 渲染输出格式 | BGRA / BGR(通道顺序由着色器直出) |
| 推流与访问 | Web HTTP MJPEG(端口 8080)、V4L2 虚拟摄像头节点、算法 / 录像直接取帧 |
| 形态 | 原型机(整机形态按项目确定) |
全景拼接是怎么做的、为什么同步是关键、能用在哪些地方
两路相机之间无任何同步线缆、无外触发芯片——主从相机通过 libcamera 软件锁相环动态微调帧周期,使曝光时间中心严格重合,动态画面不再出现拼接断层。没有线缆就没有接头松脱与走线牵拽,这直接决定了它在移动与振动工况下的可用性。
NV12 原始帧按 Y / UV 双平面直接绑定 GPU 纹理单元,颜色转换、Y 轴翻转、BGR 通道排列全部下沉到着色器完成,帧数据不落地到 CPU 内存做二次处理。这把 CPU 从像素搬运的任务里彻底解放出来。
整条 GPU 管线单帧 27~29.5 ms,端到端渲染延迟 33 ms,稳态输出 28.05 FPS。低延迟让全景画面可以直接进入避障、识别等实时链路,而不必停留在「录下来再看」的阶段。
高速实时档:1536 × 1536 输入、1536 字节步长完美对齐、28.05 FPS、羽化 55 像素,用于实时推流、低延迟图传与机器人避障导航。高清原画档:2028 × 1520 满画幅、18~20 FPS、可配 4096 × 2048 输出,用于高清静态全景拍摄、离线录制与高质量建图。
基于 40° 重叠区做距离变换,自动定位最优拼接中线并做高斯羽化过渡;同时做曝光与白平衡基准增益平衡,消除两路镜头因光照差异产生的亮度断层。
Web HTTP MJPEG 流媒体服务器(8080 端口)让现代 PC、手机、VR 浏览器即开即看;V4L2 虚拟摄像头直写 /dev/videoX,OBS 与直播推流软件即插即用;无 Web 客户端时自动跳过每帧 15~18ms 的 JPEG 压缩,全景帧直接供给算法或录像。
28 FPS 稳态 + 33 ms 延迟,可直接进入避障决策闭环;球面视图提供全方位空间感知
单设备覆盖 360° 全向视野,双目背靠背无外触发线缆,适应移动与振动工况
360° 球面视角直接输出,配合 8080 端口 Web 推流,浏览器与头显即开即看
2:1 等距柱状平铺图直接嵌入网页与算法取帧,V4L2 虚拟摄像头可接 OBS 与产线系统
端到端 33 ms 低延迟,局域网内 PC / 手机 / VR 浏览器同步观看
高清原画档 2028 × 1520 输入,可配 4096 × 2048 输出,用于静态建模与录像留存