חיים הרצוג נולד בבלפסט שבצפון אירלנד. בנו של הרב יצחק הלוי הרצוג, הרב הראשי האשכנזי של ארץ ישראל ושל מדינת ישראל בשנים 1937 1959. ב 1935 עלתה המשפחה לארץ. למד בולסלי קולג' בדבלין ובישיבת חברון בירושלים. סיים את לימודי המשפטים באוניברסיטאות של לונדון קבמברידג.'

לאחר עלייתו הצטרף חיים הרצוג ל"הגנה" ובמאורעות 1936 1939 שירת בתפקידים שונים בירושלים. במלחמת העולם השנייה התגייס לצבא הבריטי ושירת הקצין מודיעין ביחידות רגלים ושריון. השתתף בפלישה לצרפת ובכיבוש גרמניה.

ב 1947 התמנה לראש אגף הביטחון של הסוכנות היהודית ובמאי 1948 היה קצין המודיעין של חטיבה 7 בקרב על לטרון. מסוף 1948 עד 1950 עמד בראש מחלקת
המודיעין במטכ"ל. בשנים 1950 1954 היה נספח צה"ל בוושינגטון וב- 1954 1957 מפקד מחוז ירושלים. ב 1957 התמנה לראש מטה פיקוד דרום וממלא מקום אלוף הפיקוד ובמאי 1959 לראש אגף המודיעין, בדרגת אלוף. בתפקידו זה שימש עד לשחרורו מהשירות הצבאי ב 1962.
 
ערב מלחמת ששת הימים התמנה לפרשן ברדיו. ביוני 1967 היה המושל הצבאי הראשון ביהודה ושומרון. במלחמת יום הכיפורים חזר להיות פרשן "שידורי ישראל" ברדיו ובטלביזיה .

ב-1975 -1978 כיהן כשגריר ישראל באו"ם. מתקופת כהונתו באו"ם זכורים בעיקר נאומו הנוקב נגד החלטת האו"ם שגינתה את הציונות כ"גזענית" ונאום ההגנה שלו בזכות מבצע אנטבה. נבחר לכנסת העשירית מטעם המערך והיה חבר הוועדה לענייני חוץ וביטחון וועדת החוקה, חוק ומשפט. ב- 1983 נבחר לנשיא וב-1988 לכהונה שנייה.

חיים הרצוג פרסם מספר ספרים בנושאים צבאיים מדיניים, ביניהם: "ימים גדולים" (1967), "הימים הנוראים" (1973), "מלחמת יום הדין" (1975), "לפני אומות העולם" (1979), "עם כלביא יקום". ב 1970 העניקה לו מלחכת בריטניה את התואר "אביר האימפריה הבריטית."