יליד קייפטאון שבדרום אפריקה. התחנך באנגליה. למד שפות מזרחיות ולימודים קלאסיים באוניברסיטת קיימברידג'. מרצה לערבית באוניברסיטת קיימברידג' בשנים 1938 -1940. במלחמת העולם השנייה שרת הקצין (סרן) בצבא הבריטי, תחילה בקהיר ואח"כ הקצין מודיעין בירושלים. בסוף המלחמה התיישב בירושלים.

ב 1946 נשלח מטעם המחלקה המדינית של הסוכנות היהודית לאנגליה ונטל חלק במו"מ עם הממשלה הבריטית. ב 1947 נמנה עם חברי המשלחת של הסוכנות היהודית לעצרת הכללית של האו"ם .

בין השנים 1949- 1959 היה נציג ישראל באו"ם ובה באת שגריר ישראל בארה"ב (1950- 1959). עם שובו לישראל נבחר מטעם מפא"י לכנסת הרביעית. בשנים 1960- 1963 כיהן כשר החינוך בממשלתו של בן גוריון. בשנים 1963-1966 היה סגן ראש הממשלה בממשלתו של לוי אשכול. כמו כן היה נשיא מכון וייצמן למדע בשנים 1959-1966.

ב 1966 התמנה לשר החוץ בממשלתו של לוי אשכול, בתפקיד זה שימש גם בממשלת גולדה מאיר בשים 1969-1974. כשר החוץ שקד על חיזוק יחסי ישראל ארה"ב ושיתוף פעולה כלכלי עם הקהילייה האירופית. במהלך מלחמת ששת הימים (יוני 1967) ובתקופה שלאחריה ניצח על המאבק המדיני באו"ם. לאחר מלחמת יום הכיפורים (אוקטובר 1973) נטל חלק במו"מ בין ישראל ומצרים, שהוביל להסכמי ההפרדה בין שני הצדדים.

אבא אבן זכה להערכה עמוקה באו"ם הודות ליכולת הביטוי המופלאה שלו ולבקיאותו במספר שפות. חיבר מספר ספרים בתחום ההיסטוריה היהודית, ביניהם "עמי" ו"מורשת" וספר אוטוביוגרפי "פרקי חיים."