主要是针对本科时候做的一个项目的延续。一些采访稿👇🏻和官方新闻稿:
主旨是通过多模态和低分辨率热成像相结合,对用户动作进行识别和解读。由于这是 Gemma 的开发者大赛,所以不得不用 Gemma 进行一个热成像下动作序列的监督微调,以识别低分辨率热成像下的动作。并对老年人跌倒频率,起夜次数等关键指标做一个长期的监控。
以下是一些ppt节选:








技术上有一个问题,就是数据集的录制时,都是请的朋友来录制的,虽然尽可能的表演了年老的体态动作,但根本上仍旧缺少针对于老年人的动作数据。毕竟让老人来摔是不可能的事情,后续计划直接通过 diffusion 模型来合成动作以及热成像下图像序列。另外,对于长周期健康指标的改变与相对应疾病的预防也需要专业人员提供帮助。