אהרון דוד גורדון נולד בכפר טריאנו שברוסיה והיה בן יחיד להוריו לאחר שכל אחיו נפטרו בצעירותם. בילדותו לא למד קרוא וכתוב ורק בגיל 14 נשלח ללמוד בישיבה בווילנה. כעבור שנה עזב את הישיבה ונשלח ללמוד במשך שנתיים אצל מורה פרטי בעיירה חשצ'אבוטה. בהיותו בן 17 החל ללמוד עצמאית שפות זרות והתמיד בלימודי רוסית, גרמנית וצרפתית. ידיעתו בשפות אפשרה לו לרכוש השכלה נוספת. הוא התעמק בקריאת ספרים בנושאים שונים ורכש ידע במדעים. במקביל המשיך ללמוד תורה.
לאחר נישואיו התגורר בבית הורי אשתו באובודיבקה וכעבור שנתיים התקבל לעבודה כפקיד באחוזתו של הברון גינזבורג במוהילנה. במשך 23 שנים התמיד גורדון בעבודת הפקידות, אך עבודתו לא גרמה לו סיפוק רב. לכן הקדיש את שעותיו הפנויות לפעילות חינוכית בקרב בני נוער בעיירת מגוריו, חשצ'אבוטה. הוא לימדם את השפה העברית והתגלה כמורה מחונן. גורדון צירף ללימודים גם בנו ובתו שנולדו במהלך אותם שנים ודאג בעצמו לחינוכם במקום לשלוח אותם לבית הספר.

בשנת 1903 נמכרה האחוזה וגורדון נותר ללא פרנסה. לאחר לבטים רבים החליט לעלות לארץ ישראל והוא אז בן 48 שנים. שנה לאחר מכן הגיע לארץ ועבד כחלוץ בפתח תקווה, ראשון לציון, רחובות וביישובי הגליל. על אף גילו המתקדם נשא בקשיי היום-יום ולא חשש מעבודת כפיים בפרדסים ומעבודות חקלאיות שונות.

גורדון שימש סמל לאנשי העלייה השנייה שהגיעו באותם ימים לארץ ישראל וקראו את דבריו בזכות העבודה הגופנית והקשר לטבע. מאמריו שהתפרסמו בביטאון מפלגת הפועל הצעיר עסקו בגאולת האדם היהודי באמצעות עבודת כפיים, בעשיית העבודה הגופנית לערך עליון ובהפיכת "הפירמידה היהודית" של הגולה לחלוציות בארץ ישראל, הפכו אותו לאחד ממורי הדרך של אנשי העלייה השנייה. אורח חייו הצנוע ומראה פניו העטורים זקן עבות הוסיפו אף הם נופך של כבוד לאיש.

בשנת 1909הצטרפו אליו אשתו ובתו יעל שעלו מרוסיה והמשפחה עברה לגור בעין גנים ליד פתח תקווה. בנו נשאר ברוסיה והקשר ביניהם התקיים באמצעות מכתבים.
מספר חודשים לאחר עלייתה נפטרה אשתו, ובשנת 1912 עבר גורדון לעבוד במושבות הגליל. כעבור שנה הצטרף לקבוצת דגניה ועבד שם לסירוגין בין מסעותיו אל אנשי העלייה השנייה והשלישית שעבדו במושבות יהודה, בעמק יזרעאל, בעמק הירדן ובגליל.

במסעות אלה היה מפיץ את רעיונותיו שלפיהם הגאולה היהודית תבוא רק תוך חיי פשטות והגשמה עצמית של כל יהודי בארץ ישראל.

על אף שהיה מקורב לתנועת "הפועל הצעיר", נמנע גורדון מלהיות מעורב בחיים הפוליטיים. ואולם, רעיונותיו ומחשבותיו שהתפרסמו בכתב העת של התנועה נקראו בתשומת לב רבה והפכו לתורת חיים בקרב החלוצים.

בשנת 1913 נשלח כציר לקונגרס הציוני ה-11 מטעם "הפועל הצעיר" ומאוחר יותר גילה הסתייגות כלפי הצהרת בלפור והציונות המדינית של הרצל בהאמינו, כי רק הגשמה עצמית ועבודה עברית יביאו את גאולת העם היהודי. גורדון הסתייג גם מהגיוס לגדודים העבריים במלחמת העולם הראשונה בשל התנגדותו למיליטריזם.

הוא ראה בדת חלק מתהליך הגאולה וטען כי באמצעות עבודת האדמה ניתן לחוש בקשר לבורא עולם. אמונתו זו זיכתה את תורתו בכינוי "דת העבודה".

ב-1919 עשה את קבוצת דגניה לביתו וחי בה יחד עם בתו יעל. היה מעורב בחיי הקבוצה וזכה ליחס מיוחד מצד החברים שאפשרו לו להמשיך לכתוב את רעיונותיו ומחשבותיו.
בהיותו בן 65 אובחן גידול סרטני בגרונו ממנו לא החלים. הוא נפטר כעבור שנה ונקבר בדגניה א'. תנועת "גורדוניה" שנוסדה ב-1925 נקראת על שמו. כתביו קובצו במספר כרכים וראו אור במהדורות רבות.