下级官吏，万叶第三期代表歌人。文武天皇大宝元年（701）任第七次遣唐使少录，翌年来到中国，接受中国传统文化的熏陶，接触到大量的儒释道典籍。庆云元年（704）七月回国。灵龟二年（716）出任伯耆国守。养老五年（721）任东宫侍讲。约在神龟三年（726）出任筑前国司，与时任大宰帅大伴旅人相遇相知，吟歌唱和，共同营造“筑紫歌坛”，在日本和歌史上留下浓墨重彩的一笔。天平三年（731）晋升从五位下，翌年返京。约在天平五年病逝。

根据《万叶集》中的注解，有《歌林类聚》百卷，相传为山上忆良所编，但书已失传。他现存的作品，都收录在《万叶集》1、2、3、5、6、8各卷中。有散文7篇，汉诗2首，长歌10首，旋头歌1首，短歌51首，存疑的短歌2首，长歌、反歌各1首。这些作品大部分作于他进入老年以后的时期。和其他万叶诗人不同，他没有歌咏自然和恋爱的诗歌。他咏叹生老病死和人生的苦恼，愤慨于社会贫富的悬殊和苛捐重税对平民的压迫，并痛切地吐露对家人妻子的真挚的思念。他擅长于长歌，最重要的代表作有《贫穷问答歌》，以两个穷人对话的形式，倾诉生活的痛苦。《思子歌》《哀世间难住》《吊大伴熊凝歌》《老身重病经年衰苦》等，也都是咏叹世道不平与人生痛苦的诗歌。著名作品还有送遣唐使节的《好去好来歌》和悼念一位落海渔民的《筑前志贺白水郎十首》。他的诗作一般都使用朴素、明快的写实手法，不追求华丽的技巧。由于他对人生与艺术的真率耿直的态度，作品有强烈的感染力，为后世所传诵。