人机交互与媒体集成研究所

人机交互与媒体集成研究所简称“媒体所” ,在媒体信息智能处理、人机交互、普适计算等方面开展高水平研究。建有多个学术基地,如“普适计算教育部重点实验室”、“清华大学-腾讯互联网创新技术联合实验室”、“网络多媒体北京市重点实验室”、“清华大学计算机系-华为终端智能交互技术创新联合实验室”、“清华大学(计算机系)-深兰科技机器视觉联合研究中心”等。近年主持多项本学科领域重要项目(十三五重点研发计划、973、NSFC重点等),创新求实,顶级刊会发表大量学术论文并获多篇最佳论文奖,获得国家级科技奖励10项,技术成果行业影响重大。

本所现有20名教师,其中工程院院士1名、长江学者2名、万人计划2名、杰青3名、IEEE Fellow 2名、优青2名、教育部新世纪优秀人才3名,拥有国家自然科学基金创新研究群体和教育部“长江学者和创新团队发展计划”创新团队,现任所长刘永进教授。在读百余研究生中70%是博士生,培养毕业的博士生中已有三人获得全国百篇优秀博士学位论文、六人获得中国计算机学会优秀博士学位论文。本所还与美术学院共同负责信息艺术设计交叉学科研究生培养项目。媒体所2013年曾被评为清华大学先进集体。

主要研究方向:

1) 计算机图形学与计算机视觉:真实感绘制与动画、几何处理、图像视频的理解与合成、计算机视觉等。

2) 媒体计算:多媒体编码、检索与传输、社会媒体计算等。

3) 和谐人机交互:情感计算、语音交互、大幅面交互、脑机接口、交互效率与优化、新型终端自然交互接口等。

4) 普适计算环境:普适计算模式、主动服务、嵌入式系统、情境感知、智能空间及物联网等。

代表性研究成果:

  • 可视媒体智能处理

研究可视媒体的大规模组织与表示、建模与理解、编辑与合成,在可视媒体智能处理理论与方法方面取得一系列重要成果:1)提出了可视媒体显著性检测和图表示模型PatchNet等结构抽取与表示方法;2)提出了基于草图、激光点云和RGB-D等数据的可视媒体几何重建与建模方法;3)提出了一系列可视媒体智能合成方法:可视媒体蒙太奇、一致性合成、艺术肖像画生成以及三维场景合成等;4)研发了基于元算子融合和统一计算图的可视媒体机器学习平台——计图(Jittor)。在ACM/IEEE Transactions、CVPR/ICCV 等国外重要刊物和国际会议上发表论文100 余篇,授权专利50多项,获得国家自然科学二等奖、国家技术发明二等奖和国家科技进步二等奖各一项。团队成员还获得2019年中国计算机学会王选奖,2018年度吴文俊人工智能自然科学奖一等奖,2017、2018年度世界华人数学家联盟最佳论文奖,中国计算机学会计算机视觉专委会2019年度学术新锐奖。培养了1名全国百篇优博、3名中国计算机学会优博和1名中国图象图形学学会优博提名。和深圳腾讯公司、深兰科技上海有限公司等国内知名人工智能企业开展了密切的校企合作,设立并建设了“清华大学-腾讯互联网创新技术联合实验室”和“清华大学(计算机系)-深兰科技机器视觉联合研究中心”,研究成果在企业的若干软件产品、系统中得到应用。

  • 媒体大数据分析与智能

瞄准媒体大数据与社会学理论多学科交叉的学术前沿,研究物理、社会、信息三元空间大数据计算的理论方法,建立了三元空间异构媒体大数据深层表征及群智计算基础理论,发展了数据驱动和知识指导相结合的大数据推理和认知新模式。所取得研究成果得到了国际同行的广泛关注和高度认可,先后获得了ACM Multimedia 2012最佳论文奖,IEEE ICME 2014最佳论文奖等,并先后两次入选ACM KDD最佳论文专刊(国内首次)。部分成果获得2018年国家自然科学二等奖、2017年度高等学校科学研究优秀成果自然科学一等奖,并有多项成果在腾讯、百度等知名企业实现应用转化。

  • 智能人机交互

研究普适计算用户终端和物联空间的自然高效智能人机交互原理和技术。近年获得ACM CHI 2017-2020荣誉论文奖、ACM Multimedia 2018最佳展示奖和Grand Challenge Prize等奖项。史元春、喻纯2016-2021年计算机学科排名CSRankings交互领域顶会论文数世界第一;2016年承担十三五重点研发计划首批项目“人机交互自然性的计算原理”,研制了自然人机交互操作系统NUIX(灵犀),其自然交互接口开发系统NUI Kit、交互任务语义管理器NUI Manager和虚实融合的集成开发测试环境NUIX Studio,高效支持普适计算自然交互终端和系统开发。虚拟键盘智能文本输入法、握姿检测算法、语音情感交互等已集成在搜狗、华为等旗舰产品中,性能领先,直接服务七亿以上用户;慧说读屏、盲人软键盘、触觉增强等无障碍产品惠及数千万视障人群。相关成果获得2015年国家科学技术进步二等奖、2019年中国电子学会科技进步一等奖。指导本科生2016年起连续三年获得清华大学挑战杯特等奖,并荣获2017年全国大学生挑战杯特等奖。

欢迎访问人机交互与媒体集成研究所主页:http://media.cs.tsinghua.edu.cn