两个信号间的音色差异，取决于组成这个信号的各个正弦信号（或者说正弦分量），及这些信号的频率、振幅和相位关系。

声音的音色可以区分两个音高和响度完全相同的声音。例如，小提琴和钢琴演奏的声音，响度一样，音高都是“中音C”，听起来音色却不一样；音高和响度都相同的元音[a]与[i]，听起来也不一样。

另有一种意见认为，音色跟音质不在同一层面。音色偏重个性表现，是一个音在本质特征之外的伴随特征、附加色彩，属于语言系统外部成分。例如，不同的人发出的[a]，具有不同的音色，我们可以凭声音听出发音的是甲还是乙，这就是音色的个性特征。而音质是语音信号中与频谱特性相关的听觉感知结果。