12月6-8日,索尼集团公司(下称“索尼”或“公司”)举行了“索尼技术日”,一个展示索尼集团各项技术的线上活动。索尼以“激发情感的技术”为主题,介绍了如下八项技术,这些技术将索尼集团的各项不同业务连接起来并支持公司的发展。
索尼的定位是“建立在坚实技术基础上的创意娱乐公司”,企业宗旨是“用创意和科技的力量感动世界”。在活动开幕式上,索尼集团公司执行副总裁兼首席技术官胜本彻表示:“我希望率先通过人才和技术将索尼集团的众多不同业务联合起来,这将有助于我们朝着感动世界的方向进一步发展我们的产品、内容和服务。”
物理世界和虚拟世界的融合
-“利用黑彩晶(Crystal LED)和电影摄像机实现的虚拟制作”——激发创作者的创造力
虚拟制作是一个全新的视频制作技术的总称,它将实景真人视频和计算机图形(CG)实时合成在一起。通过“镜头内视觉特效(In-Camera VFX)”--一种虚拟制作形式,与摄像机移动联动的3D CG图像作为背景,被投射到表演者身后的片场LED显示屏上。这使创作者摆脱了传统绿幕拍摄时对CG构图要求高的麻烦,以及天气、时间和地点等的限制。黑彩晶(Crystal LED)是一种LED显示屏,它结合了索尼特有的LED控制技术和不断精进的BRAVIA®系列的信号处理技术,投射出亮度高、视角广的具备震撼真实效果的高清图像。数字电影摄影机“VENICE 2”配备了新开发的8.6K图像传感器,带来高分辨率、宽色域的丰富细节表现,即使在不同程度的多种亮度条件下也能表现出丰富的层次感。这种摄影棚内场景显示和镜头的组合在色彩再现和色调表达方面配合得相得益彰,使更真实的内容制作成为可能。此外,索尼集团将加深与集团内外的创作者以及参与实际拍摄的工程师的合作,以推动虚拟制作解决方案的发展,高效地制作高质量内容。
-“电子竞技跟踪系统和数据可视化技术”——将所有表演可视化
此次活动还重点介绍了SkeleTRACK,即索尼集团旗下公司“鹰眼创新公司”应用于足球领域的电子竞技跟踪系统(EPTS)。该系统从专用跟踪摄像机拍摄的实时视频流中捕捉球员和比赛用球的移动信息,实时收集骨骼数据,可精确到毫米级。鹰眼的“虚拟重建”数据可视化技术也被用来处理从EPTS和视频回放系统中获取的数据,进行虚拟输出。
鹰眼不断精进的高级图像处理技术、人工智能识别技术,结合索尼的专业广播输出能力和图像传感器技术,使包括球员动作这些细节在内的整场比赛转换为数据信息,将以前无法捕捉的比赛表现可视化。在未来,索尼集团和鹰眼创新公司的目标是应用这项技术为各项娱乐事业做贡献,而不仅限于体育领域。
对真实的追求
-“OLED微显示器和低延迟头显”——分享震撼真实感的体验
这是一款虚拟现实(VR)头戴显示器(HMD),可以投射出高清3D空间场景,实现单眼4K、双眼8K的高分辨率。得益于开发和制造CMOS图像传感器所积累的精细加工技术和先进的封装技术,以及应用在显示器开发中所积累的部件和电路技术的有机发光二极管(OLED)微显示器,高清图像得以通过多像素和小型化实现。由于整合了多个传感器的数据,整个系统的延迟减少,从而使处理时间减少。用VR观看的人可以通过移动头部实时体验到高清的图像。除了工业应用外,OLED微显示器有望应用于娱乐领域,因为它可以随着观看者移动头部实时展现材料的纹理和人的表情。
-“在光线追踪中使用超分辨率技术”——平衡高分辨率和制作效率
该项技术利用自20世纪90年代以来使用机器学习开发图像所积累的专门知识,实现了有限计算资源下的性能较大化,能以高分辨率、高精度地拍摄各种场景不同角度和高质量的图像。对于含有大量数据的3D内容,通过减少使用的射线数量并基于角色形状、纹理和照明等信息渲染图像,制作时间有望减少几百倍。这项开发工作是与索尼影视娱乐公司合作进行的,反映了创作者的心声,旨在从2D到3D扩大应用范围,在娱乐领域开发出广泛的使用场景。
-“PlayStation®5使用的三项技术”——实现令人惊叹的沉浸感
本次活动还介绍了PlayStation®5使用的三项技术。Tempest 3D音频、触觉反馈和自适应扳机。Tempest 3D音频采用DSP(数字单一处理器)设计,实现了极其精确的音频定位,声音从四面八方360度传来、环绕听者,仿佛置身在一个拥有无数扬声器的球形空间内。触觉反馈能够根据游戏中的情景改变新开发的双制动器的振动,实现各种不同的触觉反应,提供一种身临其境的体验。此外,DualSense™无线控制器的L2/R2按钮所采用的自适应扳机,通过小型精密齿轮和内置高扭矩马达,能对游戏中的动作产生强大的实时触觉反馈体验。索尼互动娱乐公司将继续开发这些技术,致力于“为每个人提供较佳的游戏场所”。
贡献于人类、社会和地球
-“用于车载激光雷达的堆叠式SPAD测距传感器”——从光粒子中实现高精度探测
此次活动还介绍了一些在低光源下高精度地探测周围物体距离的传感器。这些传感器主要由三个元素组成:捕捉光源并将其转换为电信号的SPAD(单光子雪崩二极管)像素,传输这些信号的铜-铜连接,以及逻辑芯片(包含从信号中提取测距信息的电路)。通过利用索尼CMOS图像传感器开发过程中积累的优势,这些传感器仅依靠一个小型紧凑的芯片实现从短距离到长距离的高速度和高精度测距。索尼集团有志于通过在探测和识别方面推进激光雷达的进化,帮助建立一个安全有保障的出行社会。
-“机械手”——再现人手的精巧
这项技术基于检测到的指尖受到压力分布的变化、实时检测物体可能滑脱的迹象,让机器人得以小心地握住未知物体。有了这项技术,机器人的手可以通过适当地调整力量来抓取物体而不掉落。此外,测距传感器能检测到手指到物体的距离,所以机器人能以适当的位置和姿势抓取物体。因为该机械手可以像人类的手一样精巧地抓取物体,所以有望在难以引入传统工业机器人的新领域帮助人类。索尼将人工智能和先进的传感技术与机器人相结合,旨在加强机械手的能力,并不断开发丰富人们生活的机器人技术。
-“地球‘MIMAMORI’平台”——守望地球
这一系统若能实现,将能够检测到地球上任何地方的异常迹象,如环境问题和灾难,在问题发生之前进行预防。该系统将通过提前提醒潜在的异常情况,敦促人类以可持续的方式活动。该系统将包含索尼集团的众多技术,如能够测量水分含量的土壤水分传感器;ELTRES™,使用LPWA(低功耗广域网络)无线通信技术的卫星通信系统;以及利用人工智能的复杂预测数据分析技术。索尼计划通过实地考察和示范实验,继续为实现这一平台而努力,从而帮助共建一个更可持续的未来。