במהלך שהותו בישיבה נישא לבתו של רבי אליהו דוד רבינוביץ- תאומים, הגאון האדר"ת, רבה של העיר פוניבז'.
בשנת 1888, והוא בן 23 שנים בלבד, מונה לרב העיר זמואל בליטא ושימש במשרה זאת במשך שבע שנים. באותן שנים כתב את ספריו "עין אי"ה" על אגדות חז"ל, ו"חבש פאר" על דקדוק קיום מצות תפילין. בנוסף הוציא לאור כתב עת תורני בשם "עיטורי סופרים".

בשנת 1895 מונה לרב העיר בויסק ובאותן שנים כתב את חיבורו "תעודת ישראל ולאומיותו" שבה העלה את רעיונותיו אודות ארץ ישראל והציונות, רעיונות שעיצבו את דרכו עוד בהיותו נער צעיר. הזדהותו עם רעיונות התנועה הציונית עוררו עליו התנגדות חריפה של הממסד הרבני, אך הדבר לא שינה את השקפתו.

בשנת 1904 עלה הרב קוק לארץ ישראל ומונה לרב העיר יפו. כבר עם הגיעו לארץ זכה לאהדת רבים בהיותו מעורב בחיי המעשה של ההתיישבות החדשה. הוא עבר במושבות, בקיבוצים ובמושבים ועשה לקירוב לבבות בין חילוניים לדתיים. ההיכרות עם ההתיישבות והחקלאות בארץ הפכו אותו לבר סמכא וראש לפוסקים בשאלות הנוגעות למצוות התלויות בארץ. בהקשר זה כתב את ספרו "שבת הארץ", העוסק בענייני שמיטה.

בשנת 1914 יצא הרב קוק לכינוס היסוד של אגודת ישראל בגרמניה ונאלץ להישאר באירופה בשל פרוץ מלחמת העולם הראשונה. תחילה שהה בשוויץ ואחר כך קיבל מינוי זמני בתור רב בלונדון. בשנים אלה ליווה מקרוב את ההתפתחויות המדיניות שבאו בעקבות הצהרת בלפור. לאחר המלחמה חזר לארץ ובשנת 1919 מונה לרבה הראשי של ירושלים. בשנים אלה ניסה להקים תנועה להתחדשות רוחנית בשם: "דגל ירושלים" במטרה ליצור גוף המשלב ציונות מעשית עם נושאים רוחניים.

עם הקמת הרבנות הראשית ב-1921 ביוזמתו, נבחר לרב הראשי האשכנזי הראשון לארץ ישראל, תפקיד אותו מילא במשך 14 שנים עד יום מותו.
הוא ראה בכינון הרבנות הראשית צעד לקראת חידושה של הסנהדרין וראה בבנין הארץ ובהתיישבות צעד חשוב לקראת התחלת הגאולה. באותן שנים היה נתון להתקפות של חוגים חרדים קיצוניים. בתפקידו כרב ראשי גילה עמדה תקיפה כלפי השלטונות הבריטיים, תמך בניהול מאבק לסילוק שלטון המנדט מהארץ וסייע לקליטת העולים שהגיעו במסגרת עלייה ב'.

בשנת 1924 הקים את ישיבת "מרכז הרב" שנועדה להיות "ישיבה מרכזית עולמית" ועסקה בחינוך תורני ברוח הציונות הדתית. בוגרי הישיבה יצאו לפעולות חלוציות והתגייסו לשורות הלוחמים נגד הבריטים, ומאוחר יותר במסגרת צה"ל.
היה מקובל על חילוניים ודתיים כאחד. הוא דגל בקירוב לבבות וטען כי בית שני חרב בגלל שנאת חינם ואילו הבית השלישי יקום בשל אהבת חינם.

הרב קוק כתב חיבורים רבים בהם ספרי השו"ת (שאלות ותשובות בהלכה) "משפט כהן" העוסק במצוות התלויות בארץ "דעת כהן" על "יורה דעה", "עזרת כהן" על "אבן העזר", "הלכה ברורה" על שיטות הפוסקים ומקורותיהם בתלמוד, "עולת ראיה" (פירוש לסידור), וכן החוברות "עקבי הצאן", "ערפילי טוהר", ו"אורות". אחרי פטירתו יצאו לאור ספריו: "חזון הגאולה", "אורות התורה", "אורות ישראל", "מוסר אביך", "אורות התשובה", "אורות הקודש", ו"אגרות הראי"ה". רבים מכתביו עדיין לא ראו אור.