由于口译中可能涉及手语之外的其他语言模式，如存在音译的情况，因此一般广泛地将这种翻译称为手语口译，而从业者则被称作手语译员。鉴于手语是一种视觉化语言，通过空间、地点、指示语及其他视觉上的辅助手段来共同构建意义，手语译员需要不停地在两种不同的模态间转换信息，而信息在不同模态下的表达方式截然不同。与普通的单模口译相对，手语翻译也被称为双模口译。

手语是一种自然形成的语言，是听障人士的首要沟通语言。每个国家的手语都不同（如中国手语CSL、美国手语ASL等），它与该国家的口语之间既相互独立又有所关联。手语翻译的本质是在解码现实世界中的视觉信息。当听到某一抽象概念或笼统描述时，手语译员需要将信息用形象的肢体语言清晰、明确地解码源语信息。比如，为表达“甲打碎了窗户”的意思，手语译员需要知道窗户的形状、打碎的方式才能给一位听障人士提供准确的视觉描述。而对于相反的翻译方向，手语译员在为健听人士翻译时则需要将视觉信息提炼为简洁流畅的口头语言。因此，当听障人士看到与其交谈的人士坐下时，他们用简单的手势即可快速地确定交谈对象的位置，但这时健听人士却不会期待译员译出如“我正与坐在我右边的约翰聊天”之类无关紧要的信息，除非是在某些正式场合（如法庭），这些信息才需要被完整地译出。因此，手语翻译的双模态特性也会使译员产生额外的认知负荷。

在中国，手语翻译的职业地位已得到国家层面的认可。2007年1月11日，国家劳动和社会保障部（今人力资源和社会保障部）发布的第八批新职业将“手语翻译员”纳入其中。