在日常生活中，文本信息常常不是孤立存在，而是伴随着其他模态信息共同出现。比如：对话交流中时常伴有动作和面部表情，网页上的文字经常有匹配的图片信息和相应的背景音乐等。多模态文本挖掘是将文本数据与共生的多媒体信息，如图像、视频和语音进行结合，进而将单媒体信息处理方法作为基础，借助语言学、统计学和机器学习等方法，提取出文本中结构化信息的过程。主要包括多模态语义表示与分析、多模态情感分析、多模态信息检索、多模态文本摘要等部分的内容。

多模态语义表示研究不同模态输入之间的交互语义信息的形式化描述。由于文本、语音、视频和图像等来自不同的载体，无法直接进行统一的处理，因而在处理多模态文本挖掘问题时，涉及多模态信息输入输出过程中的语义表示问题。一种常见的解决思路是，不同模态的信息可以基于某种映射化为统一的表示，然后通过将不同模态的输入信息映射到该统一表示，从而解决多模态信息的异构问题。2015年，A.卡尔帕西（Andrej Karpathy）和李飞飞（Fei-Fei Li，1976～  ）提出了图片和文字的基于分布式向量的统一表示方法。该方法将图片的局部信息和它对应的文字描述信息进行对齐，并依据这样的匹配对统一表示进行训练。

多模态的语义表示方法能将不同模态中语义相似内容进行对齐，从而辅助解决单模态语义分析过程中的多义性和不确定性问题，如同词不同义，同义不同词以及语义鸿沟问题等。

传统的情感分析任务大多是在单一的文本信息上进行的。多模态情感分析是运用同一个媒体上的多模态数据，如声音、图像等，对文本中包含的情感进行分析的过程。以人机交互为例，除了交流过程中所使用的语言信息，声音、语气、面部表情、肢体动作等对于情感的表达也至关重要。引入相应的多模态辅助信息能够更加直观地对文本中表达的情感进行判断。S.波里亚（Soujanya Poria）等人将社交媒体上的视频信息、语音信息与相关的文本信息进行融合，对视频中表达的情感进行判断，获得了比使用单一模态信息更高的性能。多模态的情感分析还被应用到带情绪的歌曲检索、图片检索等之中。

多模态信息检索又称跨媒体信息检索，指依靠单模态的查询信息，而获得其他各个模态相关信息的过程，如图像检索文本、音频，文本检索视频、图像等。多模态信息检索的一种方法是通过统一建模实现跨媒体搜索，这种方法的缺点是受限于语义概念的建模规模；另一种方法是利用多模态信息的统一表示作为语义桥梁，以实现跨媒体检索。一个典型的多模态信息检索系统是欧盟基金项目I-SEARCH。

多模态自动文摘是结合图像、语音、视频等多模态信息，对文本信息进行归纳与总结，用简短的语句归纳出文档的主要信息的过程。多模态自动文摘相对于传统的文摘要来说有更丰富的信息来源，从而为文档中关键信息的定位提供了更多可以参考的依据。研究人员提出使用与新闻文本相关的图片信息进行事件时间线的生成，并取得了比使用单一文本信息作为输入更好的摘要结果。