Phan Anh sinh ra và lớn lên tại xã Tùng Ảnh, huyện Đức Thọ, tỉnh Hà Tĩnh. Thân phụ của ông là Phan Điện. Ông còn có một người em ruột là Phan Mỹ cũng là một luật sư (từng là Bộ trưởng, Chủ nhiệm Văn phòng Phủ Thủ tướng).
Thuở nhỏ ông học ở Hà Nội, lớn lên theo học ngành luật tại Hà Nội, sau đó tiếp tục học tại Paris. Trong thời gian học trường Luật từ năm 1934-1937, ông tham gia hoạt động xã hội, là Chủ tịch Tổng hội Sinh viên và vào Đảng Xã hội Pháp. Vừa học, ông vừa tham gia dạy học ở trường Gia Long và trường Thăng Long. Năm 1937, ông đậu Cử nhân Luật, năm sau (1938) sang Pháp trình luận án Tiến sĩ Luật, nhưng Thế chiến thứ hai bùng nổ nên ông không kịp bảo vệ luận án và phải về nước năm 1940, hành nghề luật sư tại văn phòng của luật sư Bùi Tường Chiểu.
Năm 1940, ông cùng Vũ Đình Hòe, Vũ Văn Hiền, thành lập báo Thanh Nghị (1941-1945) mong muốn đóng góp ý kiến của nhóm ông trước quốc dân. Ông là một trong 5 cây bút trụ cột của báo này, phụ trách nhiều chuyên mục của báo. Tuy là một luật sư nhưng nhờ biết chữ Hán, thông hiểu triết, văn, sử Trung Hoa (cả cổ học và tân học) nên các bài viết của ông rất có giá trị về cả phổ thông và chuyên môn.
Sau vụ Nhật đảo chính Pháp ngày 9 tháng 3 năm 1945, Bảo Đại mời ông và một số trí thức trẻ vào Huế tham khảo ý kiến về việc Nhật "trao trả độc lập" cho Việt Nam và để thành lập nội các mới. Sau đó ông được mời giữ chức Bộ trưởng Bộ thanh niên trongchính phủ Trần Trọng Kim. Thời gian này, ông có sáng kiến thành lập đoàn Thanh niên Tiền tuyến (còn gọi là Thanh niên Phan Anh), Thanh niên Xã hội. Cùng thời điểm, ông là thành viên của Hội đồng soạn thảo Hiến pháp kiêm thuyết trình viên (theo Dụ số 6 ngày 30 tháng 6 năm 1945) để soạn thảo một Hiến pháp cho nước Việt Nam mới (Đế quốc Việt Nam).
Cách mạng tháng Tám bùng nổ, ông từ chức cùng với nội các Trần Trọng Kim về sống tại Hà Nội. Sau khi Quốc hội khóa 1 được bầu cử ngày 6 tháng 1 năm 1946 và thành lập Chính phủ Liên hiệp Quốc gia, ông được mời giữ chức Bộ trưởng Bộ Quốc phòng. Đến tháng 7 năm 1946, ông được Chính phủ giao chức Tổng thư ký phái đoàn Chính phủ Việt Nam (Trưởng đoàn là Phạm Văn Đồng) đi dự hội nghị Fontainebleau đàm phán với chính phủ Pháp.
Sau ngày Toàn quốc kháng chiến, 19 tháng 12 năm 1946, ông tham gia kháng chiến chống Pháp suốt 9 năm (1946-1954). Năm 1948, ông giữ chức Bộ trưởng Bộ Kinh tế, năm 1954 là Bộ trưởng Bộ Công thương. Tháng 7 năm 1954, ông là phái viên phái đoàn Việt Nam tham dự Hội nghị Genève.
Sau năm 1954, ông liên tục giữ các chức vụ Bộ trưởng Bộ Kinh tế (từ tháng 5 năm 1951 đổi tên là Bộ Công thương), Bộ trưởng Bộ Thương nghiệp (từ tháng 9 năm 1955 đến tháng 4 năm 1958), Bộ trưởng Bộ Ngoại thương (từ tháng 4 năm 1958 đến năm 1976) trong Chính phủ Việt Nam, Phó Chủ tịch Quốc hội Việt Nam.
Ông là người cùng với Luật sư Nguyễn Mạnh Tường sáng lập hội Luật gia Việt Nam làm chủ tịch hội và thường vụ hội Luật gia quốc tế; Chủ tịch Hội đồng Hòa bình Thế giới của Việt Nam và Phó Chủ tịch Hội đồng Hòa bình Thế giới. Từ năm 1988, ông còn là phó Chủ tịch Đoàn chủ tịch Uỷ ban Trung ương Mặt trận Tổ quốc Việt Nam
Ông mất năm 1990 tại Hà Nội.