אליהו גולמב נולד בוולקוויסק, בלרוסיה. ועלה לארץ ישראל יחד עם כל משפחתו ב- 1909 ארץישראל היתה אז תחת השלטון תורכי. הוא היה מבוגרי המחזור הראשון של גימנסיה הרצליה וארגן מבין חבריו לכתה את "ההסתדרות המצומצמת " גרעין ההכשרה החלוצית הראשון של הנוער העובד והלומד בארץ. הוא עבד בקיבוץ דגניה א'.

עם פרוץ מלחמת העולם הראשונה ב-1914 התנגד גולומב לגיוסם של יהודים לשירות בצבא התורכי והתעקש על הקמת כח מגן יהודי עצמאי. ב-1917 כאשר כבשו הבריטים את

הארץ מידי התורכים עמד גולומב בראש תנועה התנדבותית בשם " הגדוד העברי הארצישראלי ". הבריטים רצו לסלק את הגדוד מהארץ אך הם התנגדו. הוא היה בין מיסדי מפלגת"אחדות-העבודה " ותמך בפירוקו של אירגון השומר לאחר הקמת ההגנה. הוא התנגד לרעיון של קבוצות עילית קטנות שישמשו ככח מגן שטען של ההגנה להיות ארגון שיקיף את כל חוגי הישוב ויבטיח את הגנתם של המתישבים מפורעים ערביים. גולומב התנגד לתפיסתו של ז'בוטינסקי (תפיסה שהתגלתה כלא מציאותית) להקמתם של גדודים עבריים להגנת
הישוב תחת פקוחם של הבריטים. ארגון "ההגנה " היה לכח הביטחון של הישוב ופעל הין השנים 1920 ל- 1948 . בשנת 1920 היה גולומב מעורב שליחת עזרה להגנת הישוב תל-חי.

גולומב נשלח לחו"ל מטעם ההגנה בין השנים 1922 ל-1924 שם הוא קנה כלי נשק לארגון וארגן קבוצות של
חלוצים צעירים מאירופה. בזמן הפרעות שעשו הערבים בין 1936 השנים  ל- 1939 הוא היה מיוזמי הקמתן של "פלוגות השדה " שהתמודדו עם הפורעים הערביים.

למרות תמיכתו בהגנה היהודית ובהתקפות נקודתיות תמך גולומב ב "טוהר הנשק " והתנגד לפעולת ענישה חסרת הבחנה כלפי האכלוסיה הערבית. גולומב תמך בגיוסם של יהודים לצבא הבריטי בזמן מלחמת העולם השניה על מנת שיוכלו להלחם בנאצים והיה הרוח החיה מאחורי הרעיון של הצנחתם של צנחנים יהודיים מאחורי קווי האויב באירופה הכבושה שם הם יוכלו לפעול להצלת היהודים ולארגן מרי יהודי בשטחי הכיבוש הנאצי. למרות תמיכתו לגיוס לצבא הבריטי התנגד גולומב לשלטון המנדט הבריטי והיה ממיסדי
הקומנדו של ההגנה "הפלמ"ח" (פלוגות המחץ) ארגון שעל יסודותיו קם צבא ההגנה לישראל.

ביתו של גולומב בתל-אביב נהפך למוזיאון "ההגנה וצה"ל".