向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
腊月二十七,总书记同我们视频连线******
时政新闻眼丨腊月二十七,总书记同我们视频连线
2023年春节,疫情防控进入新阶段后的第一个春节,传递着烟火气回归的讯息,承载着中国人特别的期盼。
过去十年,每到春节前夕,习近平总书记都会走基层、问冷暖,听民声、送祝福。
这个春节,不一样的年景。总书记同基层干部群众拉家常,也有了不一样的方式——视频连线。
视频:习近平春节前夕视频连线看望慰问基层干部群众 向全国各族人民致以新春的美好祝福 祝各族人民幸福安康 祝愿伟大祖国繁荣昌盛来源:央视网
01
视频连线的那一头是谁?
于世寰是哈医大第一附属医院呼吸内科主任。他每天的时间表很固定:早上八点晨会,九点开始查房。
这所医院是黑龙江省新冠重症救治中心。为了尽可能多地收治重症患者,医院采用“全院一张床”的收治模式,骨科、儿科甚至妇产科的病房都用上了。这些也都是于世寰指导治疗的范围。上午查完房,手机显示,他已经走了一万多步。
△于世寰医生正在查房。(总台央视记者刘琦拍摄)于世寰是从医30多年的呼吸内科专家。武汉疫情暴发后,他率领哈医大一院45名医护人员第一时间驰援,进驻武汉协和医院西院。在武汉的两个多月,他们积累了宝贵的治疗经验。现在,疫情防控进入了新阶段,防控重心从防感染转移到保健康、防重症,于世寰和同事们丝毫不敢懈怠。
△哈医大一院ICU病房。经过提前扩容,哈医大一院ICU病床数量从原先的288张增加到528张。(总台记者杨洋拍摄)早上九点,塔克拉玛干大漠深处的塔里木油田还笼罩在黎明的薄雾中。室外气温只有零下20摄氏度。24岁的计量工程师田美霞开始每天的管线巡查。
五岁那年,田美霞跟着父母来到库尔勒生活。小时候她无数次路过油田基地,“塔里木油田”这几个字在她的记忆中一直闪闪发光。2020年,田美霞从东北石油大学毕业,选择回到大漠,加入塔里木油田。她说,不是不知道坚守大漠的孤独,但就是觉得“干这一行特别酷”。
△田美霞正在等待工作班车。特制的工作服能防止静电产生,这是安全生产的要求。(总台央视记者钟信伟拍摄)来自安徽马鞍山的鲁德传,是北京新发地市场有名的“南菜大王”,主营扁豆、四季豆、青椒、尖椒等品种。仅每年10月到次年5月的“南菜北运”,他的营业额就能达两三亿元。
转过年,就是鲁德传的六十大寿。他说自己半辈子都待在了新发地,来这里28年,没有一年春节回过老家。
△从鲁德传那里购买豆类蔬菜的分销商正在搬运货物。(总台央视记者刘瑞琳拍摄)疫情三年,回忆里有着苦涩和心酸。2020年6月,新发地涉疫临时封控,采购的蔬菜只能就地封存,眼睁睁看着在车里全烂掉。后来发放商户补贴时,鲁德传一分钱没要。他说,“是新发地成就了我,咱能自己解决的,就不麻烦市场和政府。”
如今,鲁德传心里的感觉就是“踏实”。“以前不敢进货,就怕封在路上或者市场里。现在,这些顾虑都没有了。”
△鲁德传春节售卖的椒类品种丰富。(总台央视记者刘瑞琳拍摄)1月18日上午,于世寰和医院20位同事来到呼吸内科的护士站,田美霞同其他40名工友集结在塔里木油田公司的西气东输第一站,鲁德传与新发地批发市场的许多商户和群众相聚蔬菜一区露天交易区。
这一刻,虽然相隔几千公里的距离,他们眼前的屏幕通往同一个地方——人民大会堂东大厅。
02
一场特别的邂逅
当天上午,同习近平总书记视频连线的,还有天南地北的这些人。
早晨五点半,福州市社会福利院,9层的老年公寓,房间灯光陆续亮起。82岁的刘小兰像往常一样,开始起床梳洗。
“老伴走掉了,我一个人在家里住,很孤单,但也不想麻烦小孩。”2018年春节过后,刘小兰就来到了福利院,转眼已有五个年头。
除了每天有专门的陪护,有新鲜的三菜一汤,老人最满意的,还是院里组织的各种活动。“我们可以做手工、学手语、唱唱歌、看电影、谈天说地,每一天都很充实。”
△福利院内,老人们聚在手工室,在社工的指导下完成一件件手工作品。(总台央视记者段德文、李炜拍摄)
这一天,院里组织了一场特别的迎春活动,邀请大家参加。刘小兰老人特意穿上红色羽绒服,戴上了红围巾。
上午十点多,在福利院的会议室,当习近平总书记的身影出现在大屏幕上时,老人才意识到这场迎春活动到底有多“特别”。
△活动现场,老人们隔着屏幕给习近平总书记拜年。正中间站着的,就是刘小兰老人。(总台央视记者段德文拍摄)
当天,郑州东站客运车间值班站长高山通过视频连线见到总书记,也是难掩激动。
作为一名“90后”,她的工作内容包括值岗服务台、为旅客问询答疑、遗失物品招领等。从清晨五点第一班列车出发,到凌晨一点最后一班火车抵达,“每天都有大量旅客问询,几乎没有一分钟是停下来的。”
疫情防控期间,高山和同事们的工作节奏慢了下来。作为全国最大的高铁站之一,郑州东站客流量最低时不到1万人。
△1月18日,高山(左起第二位)现场参与总书记的视频连线。(总台央广记者潘毅拍摄)
如今,火车站的人气又回来了,客流量已经增长到每天十几万人。看着一度冷清的候车厅恢复往日的热闹,虽然更忙、更累了,高山说,“这更让我感到充实,充满正能量。”
△郑州东站。(总台央广记者潘毅拍摄)
早晨六点不到,云雾缭绕的寨子里升起阵阵炊烟。农家乐经营者陈继良点炭生火,着手准备客人订好的烤全羊。
石椅羌寨,位于四川绵阳北川羌族自治县,是全国少数民族特色村寨,被誉为“云朵上的山寨”。
△节日气氛浓郁的石椅羌寨。(总台央视记者张宇拍摄)
2013年,常年在外做泥瓦匠的陈继良返乡创业,开起了夫妻档的农家乐。夏天有枇杷、李子等鲜果,冬天有腊肉、排骨等年货。去年,夫妻俩挣了20多万元,这比他过去在外打工四五年挣的还要多。
临近年底,陈继良和村里的农家乐经营者,迎来了节前一大波游客。让乡亲们没想到的是,总书记春节前夕视频连线全国六个地点,其中就包括石椅村。
△陈继良夫妻俩合影。(总台央视记者黎兵拍摄)
03
总书记问了我们这些事
1月18日上午,人民大会堂东大厅。习近平总书记通过视频连线看望慰问基层干部群众,向全国各族人民致以新春的美好祝福。
总书记第一个连线的,是于世寰所在的哈医大第一附属医院。总书记详细询问防控措施优化调整后发热门诊接诊、重症救治、药品配备和患者康复等情况。
医院负责人向总书记报告,这里收治的新冠重症患者去年12月31日达到高峰,之后缓慢下降。目前医院ICU床位使用率是85%,能够满足重症患者的救治需求。听到这些情况,总书记很欣慰。
△呼吸内科逐渐康复的患者正在做简单的活动。(总台央视记者刘琦拍摄)
总书记同83岁的患者齐大爷连线交流。本月7日,齐大爷因重症肺炎、呼吸衰竭,转入于世寰所在的呼吸内科救治。经过于世寰和同事们精心治疗,齐大爷春节前就能出院了。总书记祝他早日康复出院,回家欢欢喜喜过年。
在连线中,总书记特别提到,要加强对医护人员的关心关爱,于世寰听完心头一暖。
△于世寰和同事们和总书记互致新春祝福。(总台记者陈治铜拍摄)
在同福州市社会福利院视频连线时,总书记问起生活和医疗条件、疫情防控和老年人疫苗接种等情况。
福利院负责人告诉总书记,今年春节将有203位老人在福利院过年。刘小兰老人就是其中一位,她觉得留在院里过年更踏实。
△春节将至,福利院里装扮一新。(总台央视记者蒋硕拍摄)
作为在院老人的代表,刘小兰老人向总书记介绍了自己的日常生活情况,比如这里每周都会组织跳广场舞等。她还告诉总书记,连线现场摆放的手工作品,都是福利院老人们亲手做的。
△现场摆放的老人们的手工作品。(总台央视记者耿旭菲拍摄)
“总书记好!”来自塔里木油田石油工人的问候,声音雄浑有力。他们身后,是壮观的油气运输管道。
节日期间大家能轮休吗?你们在外过年,年货都准备好了吗?春节期间,你们如何抓安全生产、确保平稳供气?总书记问得很仔细。
田美霞站在第一排,当总书记问到年货问题时,话筒递到了她手里。她没想到,总书记就像家里的长辈一样,惦记着他们怎么过年的事情。
△管线巡查工作天没亮就开始了。(总台央视记者钟信伟拍摄)
除了本职工作,田美霞还兼着工会的事务。场站员工过年的事情就是她在张罗。今年春节期间,有280人留在岗位上过年。田美霞告诉总书记,他们准备了丰盛的菜品,丰富的文娱活动,大家会一起看春晚,包饺子,吃年夜饭。
总书记叮嘱大家站好岗、供好气,保障人民群众度过一个欢乐祥和的春节。
△总书记的话让田美霞和同事们倍感振奋。(总台央视记者钟信伟拍摄)
04
总书记这些话给我们信心和力量
习近平总书记这次连线的六个地点,有一半是能源保供、市场保供、交通保通保畅的第一线。他看望慰问的既是具体点位的基层工作者,同时也是整条战线的干部职工。
为了保障春运,高山所在的郑州东站加开车次,每天达700多趟。作为客运车间值班站长,她的工作更忙了。今年春节,高山还是一个人留在郑州过年。大年初一,她将在服务台岗位上,同南来北往的旅客度过新春第一天。
△高山正在为火车站旅客解疑答问。(总台央广记者潘毅拍摄)
在同郑州东站视频连线时,总书记说,长期以来,交通运输系统的干部职工埋头苦干,担当奉献,功不可没。
总书记这一番话,让高山更加感觉到了自己工作的价值所在。“守护万家团圆,所有的付出都是值得的。”
△春节将至,郑州东站站台上悬挂起红灯笼、中国结等。(总台央视记者杨立峰拍摄)
面对北京新发地批发市场的商户和群众,总书记说,“菜篮子”“米袋子”“果盘子”,事关千家万户,是最基本的民生。他要求加强粮油肉蛋奶果蔬菌等重要民生商品的产销保供,确保数量充足、品种丰富、质量放心、价格稳定。
现场聆听总书记讲话的“南菜大王”鲁德传留意到,总书记在“粮油肉蛋奶果蔬”之后加了一个“菌”。在他看来,这体现了总书记对进一步丰富“菜篮子”的重视。
△1月18日,鲁德传(第一排左起第八位)与其他商户代表们一起,现场聆听了总书记的讲话。(总台央视记者刘瑞琳拍摄)
鲁德传说,市场里的每一个商户,都是保供稳价的“守护者”。春节临近,他自己的进货量就比以往多了将近一倍,从每天100吨增长到现在的每天180吨,而价格与日常基本持平。
△首届新发地年货节现场的各类果蔬。(总台央视记者刘瑞琳拍摄)
“去年我们游客达到20多万,全村人均收入4万元以上!”在石椅羌寨的视频连线现场,村支书向总书记汇报了这一个好消息。
总书记说,新时代的乡村振兴,要把特色农产品和乡村旅游搞好,你们是一个很好的样子。
△石椅羌寨村民们给习近平总书记拜年。(总台央视记者关舟拍摄)
△连线开始前,人群中的陈继良。(总台央视记者关舟拍摄)
身着羌族传统服饰的陈继良站在第二排左侧,现场听到总书记的鼓励,他的信心更足了。新的一年,陈继良打算把自家小院再打造一下,进一步扩大规模。
在连线现场,总书记说,疫情防控措施优化调整后,我最担心的是农村和广大农民朋友。
陈继良告诉《时政新闻眼》,“我们家都阳康了,村里也有药。”在他看来,抓好疫情防控,村民和游客就能更加安心。
△村民们聚在石椅羌寨文化广场上,跳起沙朗舞,迎接新春。(总台央视记者李增仁拍摄)
05
“坚定信心、抖擞精神,齐心协力加油干”
东西南北中,神州共此时。
在同六个地点逐一视频连线之后,分屏切换为同屏。习近平总书记面对六地干部群众发表重要讲话。
往年是到基层走一走,今年改为视频连线,总书记说起了其中缘由。他说,今年采取视频连线的方式,看的地方更多,东西南北中都有,虽然隔着屏幕,但我依然能感受到全国各地浓浓的年味,感受到大家的幸福和喜悦,我的心同大家、同全国各族人民的心始终是连在一起的!
总书记说,“我最大的心愿,就是大家能欢欢喜喜过好年。”
辞旧迎新之际,总书记为过去一年点赞,“每个人都了不起”;也为新的一年加油,“希望大家坚定信心、抖擞精神,齐心协力加油干,在新的一年里有更大作为、更大收获!”
新的一年,哈医大第一附属医院医生于世寰有着自己的打算。疫情暴发以来,很多学术交流都暂停了,他希望自己能尽快恢复过去那种学习状态。他说,只有医学不断发展,自己的医术不断精进,才能造福更多的患者。
福州市社会福利院老人刘小兰回到自己房间,发现窗户上已经贴上了“福”字。“新的一年,希望国家好,我们个人也好。我们大家庭小家庭和和睦睦,老人们一起平安、幸福地度过晚年。”
塔里木油田的“90后”姑娘田美霞说,每天看着源源不断输出去的气,想到自己和同事们保障的是下游4亿多居民的生活,就觉得挺自豪的。“不是我奉献了青春,而是塔里木点亮了我的青春。”
总书记勉励新发地批发市场在拓展货源、丰富品种、保证质量上下功夫,这让商户鲁德传干劲更足了。这个春节,他将同2000多位留守商户一起为首都市民的餐桌提供源源不断的新鲜供应。
郑州东站客运车间值班站长高山的老家在新乡,虽然距离郑州不远,但她在2月15日春运结束后才能回家。她说,“疫情结束后,最想做的一件事,就是腾出时间回家看看。”
“总书记还说了腊肉好吃,多吃一点!”四川石椅羌寨农民陈继良一直沉浸在见到总书记的兴奋当中,“我们这里的苔子茶,总书记说没尝过。希望有机会总书记来我们村做客,尝尝我们的特产,看看我们村的新样子。”
监制丨申勇 龚雪辉
主笔丨谢晓光 覃思 刘瑞琳
记者丨郁振一 侯艳 刘琦 赵化 杨洋 李炜 段德文 耿旭菲 王鹏飞 杨立峰 潘毅 马超 黎兵 张宇 李增仁 陈春晓
责编丨刘瑞琳
视觉丨陈括 张晶
编辑丨王尊