基于内容的图像检索属于信息检索的范畴。信息检索起源于图书馆的文摘索引工作，是将信息按一定的方式进行加工、整理、组织并存储起来，再根据信息用户特定的需要将相关信息准确的查找出来的过程。所使用的技术，工具和算法源自统计，模式识别，信号处理和计算机视觉等领域。

1992年日本学者Kyoji Hirata和Toshikazu Kato在论文“Query by visual example”中首次提到基于内容的图像检索的概念，用它来描述根据存在的颜色和形状从数据库自动检索图像的实验。比较系统性的研究是1999年Yong Rui,Thomas S.Huang,Shih-Fu Chang从图像特征提取、多维度索引和系统设计三个层面对图像检索进行研究。此后，越来越多研究人员从各个方面对基于内容的图像检索进行展开研究，包括近来的深度图像特征表示等。

最早的商业CBIR系统是由IBM开发的，被称为QBIC（按图像内容查询）,它是为一个俄国博物馆制作的绘画作品查询系统。目前传统的搜索引擎公司包括Google、Bing、百度都已提供一定的基于内容的图像搜索产品。如：百度识图。

由于基于元数据的检索系统固有的局限性以及图像检索的广泛用途，因此对CBIR的需求日益增长。使用现有技术可以轻松搜索有关图像的文本信息，但这需要人工手动描述数据库中的每个图像。目前基于图像视觉特征的图像检索技术成为CBIR的主流，本质上讲，它是一种近似匹配技术，其中的特征提取和索引的建立可由计算机自动完成，避免了人工描述的主观性。检索过程一般是根据查询图像，系统提取其图像特征，然后与索引数据库中的特征进行比较，最后将相似的图像返回给用户。

此外，为了提高用户检索友好性，检索界面的设计也被研究，通常包括以下内容：可能允许描述性语义的查询方法，可能涉及用户反馈的查询，可能包括机器学习的系统以及可能了解用户满意度的系统等。

除了IBM的QBIC系统之外，比较著名的系统还包括UIUC大学的MARS系统、MIT的Photobook、UC Berkeley的Digital Library Project，以及Columbia大学的VisualSEEk等。

基于内容的图像检索应用于零售行业、监控安防、知识产权、医学诊断、照片管理、寻人、军事、地理信息系统、网络涉黄涉爆检测等场景中。