根据23个创始成员国于1963年8月14日在苏丹喀土穆签署的协议（此协议于1964年9月10日生效）而成立。1966年7月开始营业。总部原设在科特迪瓦的阿比让，但因2003年科特迪瓦发生大规模的政治冲突，非洲开发银行转到突尼斯首都突尼斯市的临时安置机构运营业务，直至2013年底才迁回阿比让总部。截至2016年2月底，非洲开发银行有81个成员国，包括54个非洲国家和27个非洲以外的国家（包括中国）。

非洲开发银行的宗旨是向成员国的经济和社会发展提供资金，协助非洲大陆制定发展的总体战略，协调各国的发展计划，以便逐步实现“非洲经济一体化”。非洲开发银行包含两个特许融资窗口，一个是非洲开发基金，由非洲开发银行和13个非洲以外的国家于1972年11月29日成立；另一个是尼日利亚信托基金，由尼日利亚联邦政府于1976年成立。

资金来源主要来自各成员国的认缴，分为普通资金来源和特别资金来源。普通资金包括法定资本的认缴，其中部分可赎回，以保证非洲开发基金借贷义务；发放非洲开发基金贷款后收到的还款资金；通过国际资本市场上的非洲开发基金借贷筹集的资金；非洲开发基金贷款衍生的收入；非洲开发银行收到的其他收入，如来自其他投资的收入。尼日利亚信托基金于1976年设立，是一个自给自足的周转基金。其他专项基金和信托基金包括阿拉伯石油基金、非洲干旱和饥荒紧急援助专项基金和专项救济基金。

总裁理事会为最高决策机构，由各成员国委派一名理事组成，一般为成员国的财政和经济部长，通常每年举行一次会议，必要时可举行特别理事会，讨论制定银行的业务方针和政策，决定银行重大事项，并负责处理银行的组织和日常业务。理事会年会负责选举行长和秘书长。董事会由理事会选举产生，是银行的执行机构，负责制定非行各项业务政策。行长即董事会主席，任期5年。在总裁理事会里成员国代表的票数主要根据股份多少决定。该行与联合国的非洲经济委员会等相关单位以及世界银行和国际劳工组织都有合作关系。

非洲开发银行制定了2013—2022年长期发展战略，制定了两大目标：一是实现更具包容性的发展，二是确保包容性发展的可持续性。该战略提出非洲开发银行在非洲开展工作并提高发展质量的5个渠道，即基础设施建设；区域经济一体化；发展私营经济；治理和问责制；技能和技术；并提出重点发展的优先领域：照亮非洲、养活非洲、整合非洲、工业化非洲以及提高非洲人民生产质量。

非洲开发银行自成立以来，为促进非洲大陆的经济和社会发展做出了重大贡献。1967～2014年，非洲开发银行贷款和补助金累计批准额，包括4185项贷款和补助金，总计717.2亿非洲开发银行记账单位（2002年1月非行记账单位平均合1.35952美元）。