从视频透视到眼动追踪功能,安森美图像传感器树立下一代 AR/VR 应用标杆
增强现实(AR)与虚拟现实(VR)头显标志着人机交互领域的重大飞跃,其打造的沉浸式体验远超传统屏幕交互模式。AR 头显通过同步定位与地图构建(SLAM)、深度感知及计算机视觉等核心技术,将三维物体、标注信息、空间数据等数字内容叠加于用户的现实视野中,实现虚拟元素与物理空间的精准锚定。这一特性使其在工业维护、医疗可视化、位置服务等领域,能够提供实时情境化增强功能,赋能专业场景高效运作。
相比之下,VR 头显通过立体显示、运动追踪与空间音频技术构建全虚拟环境,使用户与物理世界形成隔离,进而模拟出置身虚拟空间的真实在场感。此类系统广泛应用于沉浸式培训模拟、建筑漫游、虚拟协作及娱乐等场景。现代 VR 平台通常集成六自由度(6DoF)追踪、触觉反馈与眼动追踪技术,大幅提升了虚拟体验的真实感与交互性。
AR 与 VR 头显均依赖硬件与软件的协同支撑,核心组件包括高分辨率显示屏、惯性测量单元(IMU)、深度传感器及先进渲染引擎。随着云计算、边缘计算与人工智能场景理解技术的深度融合,设备响应速度与智能交互能力持续升级,为用户带来更流畅的沉浸式体验。
在生态体系日趋成熟的背景下,Unity、虚幻引擎(Unreal Engine)、WebXR 等跨平台开发框架成为加速内容创作与落地部署的关键支撑。伴随光学技术、电池能效及无线连接技术的不断突破,AR 与 VR 头显正逐步成为医疗健康、教育科研、智能制造、远程协作等多领域的基础性工具,开启跨行业数字化转型新范式。
AR与VR头戴设备系统框图
下图展示了由安森美(onsemi)推荐的增强现实与虚拟现实(AR/VR) 头戴设备应用方案。 大部分功能块都可采用安森美的器件/方案, 详见所附器件表。 该图提供了典型的AR/VR头戴设备系统示意性概述, 并集成了图像传感器、电源管理IC和连接模块等关键技术, 以实现身临其境且响应迅速的用户体验。
解决方案概述
安森美提供先进的图像传感器技术, 旨在提升 AR/VR 头戴设备的性能和真实感。 我们的 Hyperlux 图像传感器系列具备卓越的图像质量、 低延迟和高能效, 带来身临其境、 响应迅速且视觉震撼的体验。从高分辨率视频透视功能(Video see-through) 到精确的深度感知和眼动追踪, 安森美的解决方案为下一代 AR/VR 应用树立了行业标杆。
用于视频透视的 Hyperlux LP AR2020
AR2020 是一款 2000 万像素(5120 × 3840) 的背照式(BSI) 堆叠 CMOS 传感器, 专为AR/VR中的视频透视功能(Video See-Through, VST) 而优化。 该传感器采用 1/1.8 英寸光学格式、 1.4 μm 像素和 LI-HDR 高动态范围。
它具有增强的近红外(NIR) 灵敏度(850/940 nm) 、 智能感兴趣区域(Smart ROI) 以及运动唤醒(Wake-onMotion) 功能, 支持 MIPI CSI-2 接口, 并能以全分辨率实现 60 fps 的视频流传输, 为 AR 头戴设备确保清晰、 低延迟的视觉效果。
Hyperlux SG 系列用于眼动追踪和即时定位与地图构建(SLAM)
Hyperlux SG 系列采用全局快门传感器, 如 AR0145(100 万像素) 和 AR0235(230 万像素) 用于眼动追踪和 SLAM(即时定位与地图构建) 。 它们具有2.8 µm 像素、 高快门效率和高达 120 fps的帧率, 可消除运动伪影并提供精确追踪。 紧凑的设计、 低功耗和可编程的感兴趣区域(ROI) 使其成为需要快速、 精准视线追踪和环境映射的AR/VR 头戴设备的理想选择。
Hyperlux ID 深度传感器 (AF0130/AF0131)
AF0130 和 AF0131 是用于 AR/VR 导航的 120 万像素 iToF(间接飞行时间) 深度传感器。 它们具备 3.5 µm 全局快门像素、 200 MHz 调制频率以及在 940 nm 波长下>40% 的量子效率(QE) , 可实现高达 30 米的精确测距。
AF0130 内置 60 fps 的深度处理功能, 而 AF0131 支持外部计算。 两者均提供双激光控制和眼部安全保护, 非常适合用于 SLAM、 手势控制和碰撞规避。
Hyperlux LP - 图像传感器系列
近日, 安森美推出了 Hyperlux LP 系列图像传感器。该系列采用先进的电子卷帘快门技术, 包含三款产品:500 万像素的 AR0544 、 830 万像素的 AR0830 和2000 万像素的 AR2020 。 Hyperlux LP 系列所有传感器均具有相同的像素尺寸和光学性能。 该系列产品提供多种配置选项, 包括黑白(Mono) 、 RGB 和 RGBIR 版本, 同时提供封装和裸芯两种形式。 丰富的产品组合使视觉系统设计人员能够灵活选用不同方案, 从而优化开发工作、 降低成本并加速产品上市周期。
表 1: Hyperlux 图像传感器规格
功耗
在预检测(pre-detect) 状态下, Hyperlux LP 图像传感器的功耗不到其原生模式(native mode) 下功耗的百分之一。 这显著降低了功耗, 并延长对功耗敏感的视觉系统的运行周期。
表 2:全分辨率模式下图像传感器功耗比较
Hyperlux LP AR2020
安森美的 Hyperlux AR2020 图像传感器凭借一系列先进特性, 成为满足现代安防系统严苛需求的高端优选。 这款先进传感器支持线性模式或增强动态范围(eDR) 模式成像, 并采用卷帘快门读出技术。 此外, 它还内置“运动唤醒”(Wake on Motion, WoM) 功能, 并支持智能感兴趣区域(Smart ROI) , 可显著优化图像采集与处理效率。
功能与规格:
• 2000 万像素 CMOS 传感器, 采用 1/1.8 英寸背照式(BSI) 堆叠 CMOS 技术, 1.4 µm 像素
• 在 850 nm 和 940 nm 波长下增强的近红外(NIR) 响应
• LI-HDR: 支持行交错 T1/T2 读出, 实现ISP芯片内HDR处理(eDR)
• MIPI 接口支持位深压缩
• 支持多种触发模式, 可用于多传感器同步
• 支持电子卷帘快门(ERS) 和全局复位释放(GRR) 模式
Hyperlux ID - 智能iToF全局快门深度传感器 AF0130 & AF0131
间接飞行时间(iToF) 技术通过测量调制光脉冲的相位偏移来精确计算距离。 该方法可实现精准的3D成像与深度感知, 适用于各类工业场景。 这些传感器既可独立使用, 也可与其他深度感知技术协同工作以提升数据精度。 在机器人系统中, 可用于计算机械臂抓取和操作物体所需的深度信息。 另一应用场景是创建环境地图, 用于地面导航。

图2:间接飞行时间原理图

图3:得益于独特的间歇式激光调制,智能iToF技术显著拓展了感知距离
它们具备多重优势:提供高精度深度测量能力, 这对需要精确三维测绘和物体检测的任务至关重要;支持高帧率运行, 确保在动态环境中稳定可靠地捕捉快速移动物体;同时采用低功耗优化设计, 适用于电池供电及多传感器系统。
Hyperlux ID 深度 iToF 传感器在低光照、 高动态范围等严苛环境下仍能保持稳健性能, 确保在各类应用场景中可靠运行。