基于视觉对比注意力的隐式多模态匹配方法及系统
公开
摘要
本发明公开了一种基于视觉对比注意力的隐式多模态匹配方法，包括：S1、进行语料标注，在存在隐式对齐关系的图像区域和文本短语之间建立起一一映射关系；S2、根据建立的映射关系，对输入图片‑文本对进行特征提取，得到图片对象特征序列和文本短语特征序列；S3、对图片对象特征和文本短语特征进行特征交互，计算出对齐和未对齐的视觉表示；S4、计算真值标签的对齐和未对齐视觉表示的预测概率，将对齐和未对齐视觉表示的预测概率都作为对比感知损失函数共同组成目标函数。本发明通过识别出文本和图像中实体间的隐式的匹配关系，来帮助模型更好地理解多模态的语义信息，显著地提升了隐式语料集上的匹配性能。
基本信息
专利标题 ：
基于视觉对比注意力的隐式多模态匹配方法及系统
专利标题（英）：
暂无
公开（公告）号 ：
CN114626441A
申请号 ：
CN202210169569.5
公开（公告）日 ：
2022-06-14
申请日 ：
2022-02-23
授权号 ：
暂无
授权日 ：
暂无
发明人 ：
殷亚珏李寿山王晶晶
申请人 ：
苏州大学
申请人地址 ：
江苏省苏州市吴中区石湖西路188号
代理机构 ：
苏州市中南伟业知识产权代理事务所(普通合伙)
代理人 ：
王广浩
优先权 ：
CN202210169569.5
主分类号 ：
G06K9/62
IPC分类号 ：
G06K9/62 G06F40/205 G06F40/284 G06N3/04 G06N3/08 G06V10/40 G06V10/82
IPC结构图谱
G
G部——物理
G06
计算；推算或计数
G06K
数据识别；数据表示；记录载体；记录载体的处理
G06K9/00
用于阅读或识别印刷或书写字符或者用于识别图形，例如，指纹的方法或装置
G06K9/62
应用电子设备进行识别的方法或装置
法律状态
2022-06-14 ：
公开
注：本法律状态信息仅供参考，即时准确的法律状态信息须到国家知识产权局办理专利登记簿副本。
文件下载
暂无PDF文件可下载
