Герман Оскарович Греф родился в Казахстане — в селе Панфилово в 1941 году в семье инженера и экономиста.
В 1981—1982 годах работал юрисконсультом райсельхозуправления Иртышского района Павлодарской области Казахстана.
В 1982—1984 годах служил в Вооружённых Силах СССР, в спецчастях внутренних войск МВД СССР.
В 1990 году окончил юридический факультет Омского государственного университета по направлению «правоведение», позднее преподавал в этом же вузе на том же факультете. В университете был комсоргом курса и руководителем комсомольского оперотряда, вступил в КПСС. На данный момент не состоит ни в какой партии.
В 1993 году поступил в аспирантуру на юрфак в СпбГУ. Научным руководителем у него был Анатолий Собчак. Диссертацию защитил 18 лет спустя.
В сентября 1997 года Греф вошел в совет директоров ОАО «Ленэнерго», в январе 1998 года вступил в состав коллегии Министерства государственного имущества РФ.
В 2011 году защитил начную работу в Российской академии народного хозяйства и государственной службы при Президенте РФ по теме: «Развитие и перспективы структурных институциональных реформ в российской экономике».
С декабря 2012 года член международного совета J.P. Morgan International Council.
Входит в состав попечительского совета АНО «Институт экономической политики имени Егора Тимуровича Гайдара».
1991—1992 гг. — юрисконсульт I категории Комитета экономического развития и имущества администрации Петродворца и Санкт-Петербурга.
1992 год — глава Петродворцового районного агентства Комитета по управлению городским имуществом мэрии Санкт-Петербурга.
1992—1994 гг. — Председатель Комитета по управлению имуществом — заместитель главы администрации города Петродворец.
В 1994 году был назначен на пост зампредседателя, а затем — первым зампредседателя Комитета по управлению городским имуществом мэрии Санкт-Петербурга.
1997—1998 гг. год — вице-губернатор, глава Комитета по управлению городским имуществом мэрии Санкт-Петербурга.
Занимал пост министра экономического развития в правительствах Касьянова и Фрадкова. На этом посту активно работал в направлении присоединения России ко Всемирной торговой организации, входил в советы директоров многих госкомпаний.
С ноября 2007 года по настоящее время Греф занимает пост президента, председатель Правления «Сбербанка России». Прежний руководитель Сбербанка Андрей Казьмин был переведён на работу в «Почту России», решение о назначении Грефа и переходе Казьмина было одобрено Наблюдательным советом Сбербанка в октябре 2007 года. В мае 2019 года акционеры ПАО Сбербанк переизбрали Грефа уже на четвёртый срок. Он будет занимать пост президента и председателя правления банка до 2023 года.
В октябре 2011 года журнал «Forbes» присудил Грефу звание одного из самых необычных российских бизнесменов.
В октябре 2018 года Греф оказался на втором месте в рейтинге влиятельных россиян по версии того же журнала «Forbes».
В январе 2020 года Герман Греф занял третье место среди глав крупнейших банков мира по личному влиянию на бренд своего банка по версии консалтинговой компании Brand Finance.
В январе 2020 года Греф, по данным «Коммерсантъ», возглавил топ-10 самых упоминаемых в СМИ.