生于弗吉尼亚州奥兰治县，卒于弗吉尼亚州蒙彼利埃市。16岁入新泽西学院（普林斯顿大学的前身）学习法律、历史和政治。1776年5月8日被推选为权利与选举委员会委员。协助T.杰斐逊起草的主张宗教宽容和信仰自由的条款，被写入《弗吉尼亚权利宣言》。1782年当选为弗吉尼亚州派驻大陆会议的代表。1786年9月联合A.汉密尔顿、J.迪金森等发起了安纳波利斯会议，向邦联国会提议召开全邦联大会，授权邦联国会应对邦联危机。这次会议是1787年联邦制宪会议的肇始。麦迪逊起草了《弗吉尼亚方案》，为后来的联邦宪法提供了基本框架和指导原则。在1787年召开的制宪会议上，麦迪逊参与了宪法文本的起草、讨论和定稿工作，并保留了完整的《制宪会议记录》，是在《美利坚合众国宪法》签字的39人之一。在新宪法批准过程中，麦迪逊与汉密尔顿、J.杰伊一起游说各州宪法批准大会的代表，并合撰了题为《联邦党人》的论文集，向民众宣传新宪法。联邦宪法生效后，麦迪逊当选为第一届众议院议员，是众议院的领袖人物。他将反联邦主义者对宪法的批评意见汇总吸收为宪法前10条修正案的主要内容，充实了宪法公民权利的内容，完善了联邦宪法的框架。他关于民主共和、权力制衡、宗教自由的深邃洞见和系统论述，深刻影响了美国的宪政思想。基于在制宪过程中的特殊贡献，麦迪逊被尊为“宪法之父”和“权利法案之父”。

协助第一任总统G.华盛顿完成了联邦政府的组建，制定了《1789年司法条例》。后因政见不合，麦迪逊和杰斐逊反对财政部部长汉密尔顿的工商业立国战略及其建立合众国银行的一系列财政政策。为全面对抗以汉密尔顿为首的联邦党及其政策，麦迪逊等人于1792年组建共和党（后来被称为民主共和党），公开反对联邦党的主要政策，尤其是反对国家银行和《杰伊条约》。他与杰斐逊共同起草了《1798年肯塔基和弗吉尼亚决议》，公开抗议《外国人和煽动叛乱法》，开启了美国早期两党竞争政治。在1800年大选中，民主共和党获胜，麦迪逊出任杰斐逊政府的国务卿。在任期间，他坚持“中立原则”，在欧洲列强之间保持中立，避免卷入战争。1809年3月4日至1816年3月4日，麦迪逊继杰斐逊之后连任两届总统。在任期间，废除了《禁运法》，面对英国军舰的海上骚扰，他积极响应国内的“战鹰派”的备战的计划。1814年8月24日英军攻占华盛顿特区，并焚烧美国首都所在地白宫，麦迪逊政府被迫流亡到弗吉尼亚。后来美军击毙了英军指挥官E.白金汉少将，全面扭转了战局。最后，以英美签署的《根特和约》结束了战争。卸任总统后，参与筹建了弗吉尼亚大学。