三维虚拟声音同人们熟悉的立体声音不同。就立体声音而言，人们可以调整它的左右声道，但是就整体来说，人们能够感受到的立体声音还是来自听者的某一个平面。而三维虚拟声音的体验，听者可以感知到来自四面八方的声音，相当于整个声音系统像一个球形空间围绕着听者的双耳，所以听者可以感受到整个球形空间的任何地方的声音。

为了建立具有真实感的三维虚拟声音，一般从最简单的单耳声源开始，然后通过专门的三维虚拟声音系统的处理，生成分离的左右信号，分别传入听者的左右耳朵。以此来使听者准确定位声音的位置。常用的听觉模型包括头部相关传递函数（HRTF）、房间声学模型、增强现实中的声音显示。在任何虚拟场景中，只要增加了虚拟声音，都会使用户体验感更加真实。虚拟声音主要应用于工程、艺术与娱乐和虚拟训练领域。