信息技术

面向敦煌壁画的移动视觉搜索模型研究

展开
  • (武汉大学信息资源研究中心;武汉大学信息管理学院 湖北 430072)
曾子明,男,1977年生,武汉大学信息资源研究中心、武汉大学信息管理学院教授,博士生导师。 孙守强,男,1995年生,武汉大学信息资源研究中心、武汉大学信息管理学院硕士研究生。

网络出版日期: 2021-03-16

基金资助

本文系国家自然科学基金项目“云环境下智慧图书馆移动视觉搜索模型与实现研究”(批准号:71673203)的研究成果之一。

Research on Mobile Visual Search Model for Dunhuang Murals

Expand
  • Center for Studies of Information ResearchesWuhan UniversityHubeiSchool of Information ManagementWuhan UniversityHubei430072

Online published: 2021-03-16

摘要

 [目的/意义]保护敦煌文化遗产,为敦煌壁画提供移动视觉搜索服务,以助用户高效、便捷地获取敦煌壁画丰富知识资源。[方法/过程]构建基于BoW的图像底层特征匹配和基于主题标签的高层语义关联的移动视觉搜索模型,用SIFT提取图像局部特征,K-means生成有K个视觉单词组成的视觉词典,计算图像映射到视觉词典的TF-IDF向量,通过内积计算相似度匹配图像并排序;根据图像主题添加语义标签,提取最匹配图像的标签实现语义关联搜索;最后收集1200张敦煌壁画图片验证模型的有效性。[结果/结论]在视觉单词数为1000时BoW+SIFT的图像搜索耗时163ms,且图像大小在0.5-2.5倍范围的准确率在83.7%以上,可有效搜索主题语义关联图像。

本文引用格式

曾子明, 孙守强 .

面向敦煌壁画的移动视觉搜索模型研究

[J]. 情报资料工作, 2021 , 42(2) : 104 -112 . DOI: 10.12154/j.qbzlgz.2021.02.014

Abstract

 [Purpose/significance] The purpose of this paper is to protect Dunhuang cultural heritage and provide a mobile visual search service for Dunhuang murals to help users obtain rich knowledge resources of Dunhuang murals efficiently and conveniently. [Method/process] In this paper, a mobile visual search model based on BoW-based imagelow-level feature matching and high-level semantic association based on topic tags is constructed. In this model, SIFTis used to extract the local features of the image, K-means is used to produce a visual dictionary composed of K visualwords, TF-IDF is used to calculate the vector of the image mapped to the visual dictionary, and the inner product is usedto calculate the similarity to match and sort the images. Then, this paper adds semantic tags based on the image topics,extracts the tags that best match the image for semantic association search, and collects 1200 Dunhuang mural picturesto verify the validity of this model. [Result/conclusion] The results show that the BoW + SIFT model takes 163ms whenthe number of visual words is 1000, and the accuracy of image search with the image size in the range of 0.5-2.5 times ismore than 83.7%. What’s more, this model can effectively search images with semantic association of topics. 
文章导航

/