Ông nhập ngũ năm 1967 khi mới tròn 18 tuổi. Một năm sau đó ông gia nhập Đảng Cộng sản Việt Nam và từng bước trưởng thành một chiến sĩ cộng sản quyết đoán, bản lĩnh, mưu lược và quả cảm. Ông được trao quân hàm Đại tướng tháng 7-2007.

Phùng Quang Thanh sinh trưởng trong một gia đình yêu nước, giàu truyền thống cách mạng. Là con liệt sĩ thời kỳ kháng chiến chống Pháp, ông mồ côi cha khi mới 1 tuổi. Thân phụ ông là một chiến sĩ cách mạng kiên trung, ngoan cường, dù bị địch bắt khi đang hoạt động cách mạng, phải chịu đủ mọi thủ đoạn tra tấn dã man nhưng vẫn một lòng trung thành với Đảng, với cách mạng và hy sinh năm 1950. Có lẽ được kế thừa truyền thống cách mạng của gia đình, được thừa hưởng sự anh dũng, ngoan cường từ người cha liệt sĩ của mình đã giúp tôi luyện nên một Phùng Quang Thanh đầy bản lĩnh, tài năng, dũng mãnh trên chiến trường.  

Trong cuốn sách "Trường Sơn Huyền Thoại" của Thiếu tướng Hoàng Kiền có viết về chiến dịch Đường 9 Nam Lào (địch gọi là cuộc hành quân Lam Sơn 719 năm 1971), mà qua chiến dịch này Phùng Quang Thanh được phong tặng danh hiệu Anh hùng lực lượng vũ trang nhân dân (LLVTND). Theo đó, ngày 30-1-1971, cuộc hành quân Lam Sơn 719 của địch đánh vào khu vực Đường 9 bắt đầu. Hơn 4 vạn quân chủ lực ngụy quyền và 6.000 quân Mỹ, gồm những đơn vị tinh nhuệ nhất với số lượng lớn binh khí kỹ thuật.

Đại tướng Phùng Quang Thanh kiểm tra, động viên lực lượng diễu binh trong dịp kỷ niệm 40 năm Ngày giải phóng miền Nam, thống nhất đất nước (30-4-1975/30-4-2015). Ảnh: Minh Trường/qdnd.vn

Quân giải phóng đã mở chiến dịch phản công quy mô lớn. Đồng chí Phùng Quang Thanh đã tham gia chiến dịch này. Ngày 11-2-1971, đồng chí Phùng Quang Thanh là Trung đội trưởng Trung đội 1, Đại đội 9, Tiểu đoàn 9, Trung đoàn 64, Sư đoàn 320 trực tiếp chỉ huy một tiểu đội chốt giữ đồi Không Tên. Địch dùng 1 Đại đội có máy bay yểm trợ, chia làm 2 mũi tấn công chốt. Đồng chí Phùng Quang Thanh chỉ huy tiểu đội chờ địch vào gần mới nổ súng, diệt 38 tên, đẩy lùi địch ra xa, riêng đồng chí Phùng Quang Thanh diệt 8 tên.

Hai ngày sau địch lại tiến công lên chốt, đồng chí Phùng Quang Thanh bị thương, cấp trên cho lui về tuyến sau nhưng anh xin ở lại chiến đấu. Đồng chí nhờ đồng đội tháo nắp cho 17 quả lựu đạn cho vào túi đeo quanh người, nhờ y tá băng và treo cánh tay trái cho đỡ vướng rồi dẫn đầu tiểu đội xung phong đánh tạt sườn quân địch, phối hợp đơn vị bạn diệt gọn 1 đại đội địch. Riêng tiểu đội do đồng chí chỉ huy diệt 37 tên, bắt 1 tên, thu 2 súng…

Đại tướng Phùng Quang Thanh là vị tướng trưởng thành qua chiến đấu, ông phát triển từ chiến sĩ lên đến Bộ trưởng, từ binh nhì lên Đại tướng. Cuộc đời binh nghiệp của ông là một tấm gương sáng về tinh thần chiến đấu anh dũng, kiên cường, ý chí và nghị lực vươn lên.

Từ điển Bách khoa Quân sự Việt Nam đã khái quát sự nghiệp của ông như sau: Trong kháng chiến chống Mỹ, từ 1967-1971 ông trưởng thành từ chiến sĩ đến Đại đội trưởng thuộc Tiểu đoàn 9, Trung đoàn 64, Sư đoàn 320A, chiến đấu ở chiến trường Quảng Trị, Nam Lào. Tháng 6-1971, ông được cử đi học tại Trường Sĩ quan Lục quân. Năm 1972, ông là Tiểu đoàn trưởng Tiểu đoàn 9, Trung đoàn 64, Sư đoàn 320B, Quân đoàn 1. Tháng 8-1974, ông là học viên của Học viện Lục quân. Từ 1977, ông giữ chức Tham mưu trưởng Trung đoàn, Trung đoàn phó rồi Trung đoàn trưởng Trung đoàn 64, Sư đoàn 390, Quân đoàn 1. Tháng 12-1983, ông là Phó sư đoàn trưởng phụ trách Sư đoàn trưởng Sư đoàn 390 rồi Sư đoàn trưởng Sư đoàn 312, Quân đoàn 1. Năm 1989, ông được cử đi học tại Học viện Vôlôxilôp (Liên Xô). Năm 1990, ông là học viên Học viện Quân sự cấp cao. Năm 1991, ông giữ chức Sư đoàn trưởng Sư đoàn 312, Quân đoàn 1. Tháng 9-1993, ông là Phó cục trưởng Cục Tác chiến Bộ Tổng Tham mưu (BTTM). Tháng 6-1995, ông là Cục trưởng Cục Tác chiến BTTM. Tháng 8-1997, ông được cử đi học tại Học viện Chính trị Quân sự. Tháng 12-1997, ông là Tư lệnh Quân khu 1. Tháng 5-2001, ông được bổ nhiệm giữ chức Tổng Tham mưu trưởng, Thứ trưởng Bộ Quốc phòng (BQP).

Tại Đại hội đại biểu toàn quốc lần thứ X của Đảng (2006), ông được bầu vào Ban Chấp hành Trung ương Đảng, được Trung ương bầu vào Bộ Chính trị và phân công làm Phó bí thư Đảng ủy Quân sự Trung ương, Bộ trưởng Bộ Quốc phòng. 

Tại Đại hội đại biểu toàn quốc lần thứ XI của Đảng (2011), ông tiếp tục được bầu vào Ban Chấp hành Trung ương Đảng, được Trung ương bầu vào Bộ Chính trị và phân công làm Phó bí thư Quân ủy Trung ương. Tại Kỳ họp thứ nhất Quốc hội Khóa XIII, Đại tướng Phùng Quang Thanh được Quốc hội phê chuẩn tiếp tục làm Bộ trưởng Bộ Quốc phòng.

Tháng 4/2016, tại kỳ họp thứ 11, Quốc hội khóa XIII, Quốc hội phê chuẩn, Chủ tịch nước miễn nhiệm chức vụ Bộ trưởng Bộ Quốc phòng. Với những chiến công hiển hách và công lao đóng góp cho sự nghiệp cách mạng của Đảng, sự phát triển, trưởng thành của Quân đội. Đảng, Nhà nước đã phong tặng ông danh hiệu cao quý Anh hùng LLVTND; Huân chương Chiến công (2 hạng Nhất, 1 hạng Nhì, 1 hạng Ba), Huân chương Kháng chiến hạng Ba… Ông là Đại biểu Quốc hội khóa XI, XII, XIII.