Nació en 1939 en Pilsen, Bohemia, República Checa. La familia Grünberg, al igual que casi todos los alemanes, fue expulsada de Checoslovaquia en 1946. A los siete años de edad, Peter llegó a Lauterbach, Alemania donde recibió la educación básica. En 1959 ingresó a la Universidad de Frankfurt como estudiante de física, de donde se graduó en 1962. Posteriormente formó parte de la Universidad Tecnológica de Darmstadt donde se graduó en física en 1966 y realizó el doctorado en 1969.

De 1969 a 1972 realizó una estancia postdoctoral en la Universidad de Carleton en Ottawa, Canadá. Posteriormente se incorporó al Instituto de Física del Estado Sólido del Centro de Investigación Forschungszentrum Jülich en Alemania, donde se convirtió en un destacado investigador en el campo de la película delgada y el magnetismo de multicapas. Entre 1985 y 1986 formó parte de los Laboratorios Nacionales Argonne en EE.UU. y realizó algunas visitas a universidades y laboratorios de investigación de Japón.

Se retiró de Jülich en 2004. En 2007 recibió el Premio Nobel de Física junto a Albert Fert y obtuvo la cátedra alemana Helmholtz.