从所利用的交互行为分类，社会多媒体用户建模可以分为利用用户与多媒体内容之间的交互和利用用户之间的交互两大类。在利用用户与多媒体内容之间的交互中，又包括3类：①使用统计数据，如搜索、浏览、上传等。②描述性文本数据，如多媒体内容的标题、描述、标签、地理位置信息等。③主观行为数据，如评论、点赞、评分、分享等。在利用用户之间的交互中，也包括3类：①微观的两两社会关系，如加好友、订阅等。②中观的社区级别社会关系，如兴趣小组、好友群组等。③宏观的网络结构级别社会关系，如传播模式等。

从构建的用户画像分类，社会多媒体用户建模可以分为人口统计画像建模、兴趣画像建模、心理属性画像建模等。人口统计画像包括性别、种族、年龄、职业等，记录了用户基本和稳定的信息。兴趣画像描述不同粒度的用户感兴趣内容，可以是粗略的分类：政治/体育/音乐/文学，也可以是细分的音乐类型：摇滚乐/交响乐/流行音乐/民谣，细粒度的兴趣画像可能随时间发生变化。心理属性画像记录的也是稳定的用户信息，包括性格、价值观、心理需求等。面向不同问题，其他的用户画像还包括情感画像建模、社会关系画像建模、消费画像建模、移动模式画像等。