Хаим Герцог родился в Белфасте, Северной Ирландии, в семье известного раввина Исаака Ха-Леви Герцога. В 1935 году семья переехала в Эрец Исраэль. В 1937 году отец Герцога становится главным раввином еврейской общины в Палестине. Хаим Герцог получил образование в религиозной йешиве, затем изучал право в Кембридже и в Лондонском университете.

Во время Второй Мировой Войны Хаим Герцог служил командиром танка в элитной дивизии бронетановых войск английской армии. Позднее он руководил операциями британской разведки в Германии. Выдающейся заслугой Герцога явилось разоблачение и поимка скрывавшегося Генриха Гимлера. После войны Хаим Герцог вернулся в Эрец Исраэль, вступил в подпольную военную организацию Хагана, ставшую после провозглашения независимости государства Израиль костяком создаваемой Армии Обороны Израиля.

Во время войны за независимость в 1948 году Герцог принимал участие в боях при Латруне. В 1948-1950 и 1959-1962 гг. Хаим Герцог возглавлял военную разведку в генеральном штабе армии.
1950-1954 гг. - Герцог военный атташе Израиля в Вашингтоне.
1954-1957 гг. - командовал Иерусалимским военным округом.
1957-1959 гг. - командовал Южным военным округом.

В 1962 году Хаим Герцог демобилизовался из вооружённых сил и возглавил инвестиционную компанию. Незадолго до Шестидневной войны 1967 года он становится аналитическим радиокомментатором, прославившемся своими военными и политическими обзорами. Его репортажи приобрели особую популярность во время Шестидневной войны и войны Судного Дня в 1973 году. Книга Герцога о войне 1973 года под названием "Война Дня Искупления" была опубликована в 1975 году, когда он получает назначение на должность посла Израиля в ООН. Во время работы в ООН Герцог добился отмены резолюции, приравнивавшей сионизм к расизму и лобировал в ООН операцию Израильского спецназа в Энтеббе по освобождению заложников израильтян, захваченных террористами.

В 1981 году Хаим Герцог был избран в Кнессет от партии Авода. В 1982 году была опубликована его книга "Арабо-Израильские войны". В 1983 году Герцог становится шестым президентом Израиля, в 1988 году переизбирается на второй срок.
Умер Хаим Герцог в 1997 году.