早年参军，并参加南北战争，后进入哈佛大学法学院，毕业后曾任律师、哈佛大学法学教授、马萨诸塞州最高法院法官和首席法官。1902年，被T.罗斯福总统任命为美国联邦最高法院法官，任职长达30年之久。主要著作有《普通法》（1881）和《法律论文集》（1920），以及著名的论文《法律的道路》（1897）。早在19世纪70年代，霍姆斯就与实用主义哲学创始人W.詹姆斯、C.S.皮尔斯等人交往甚密，参加他们创办的“形而上学俱乐部”，在法学领域中他以首先应用实用主义哲学而闻名。

霍姆斯从否定客观真理、强调主观唯心主义的经验出发，提出了关于法的概念的实用主义公式：法的生命不是逻辑而是经验。他认为法和政治、经济、历史、心理等许多因素相联系，对法不应像对数学公式那样通过逻辑推理来看待。他从实用主义出发，认为可以从“坏人”角度来解释什么是法，坏人所关心的只是法院对他们将如何处理，因此，法就是“对法院事实上将作什么的预测”。他的这一学说（通称“法的预测说”）成为美国现实主义法学的一个基本原理。

霍姆斯任联邦最高法院法官时，在一些重大案件判决词中所提出的意见，大部分是异议意见，代表了他的实用主义哲学和自由派政治观点。例如关于公民言论、出版自由和公共安全的矛盾问题，在1919年“申克诉美国”案的判决中，他认为，公民的言论、出版自由只有在其行为构成对公共安全的“明显和现行危险”时，政府才有权加以限制或取消（通称为明显和现行危险的原则）。又如，关于制定工时、工资等劳工立法是否违反宪法的问题，当时法院中多数派法官坚持传统原则，认为这种法律违反《美国宪法第十四条修正案》关于保护契约自由权的规定，而霍姆斯在1905年“洛克纳诉纽约州”案判决中，认为该条修正案并未肯定H.斯宾塞的自由放任的经济学说，立法机关有权制定这类法律。美国社会学法学派首创人R.庞德认为霍姆斯的这一观点最好地表达了该派的学说。

尽管霍姆斯的这些意见在当时最高法院中代表少数派观点，但对美国以后的立法和法学具有重大影响，被公认是重要的宪法理论。美国现代法学中最流行的两大派，即以庞德为首的社会学法学派和以J.N.弗兰克、K.N.卢埃林为首的现实主义法学派，都将他的实用主义法学作为理论基础。