בנם של מסעודה אסתר ודוד. נולד ביום א' בתמוז תש"ד (21.6.1944) במרוקו. אח של ז'ולי, מרגלית ורחל.

יוסף גדל במרוקו. בשנת 1953, בהיותו בן תשע, עלו בני המשפחה ארצה והתיישבו באזור השרון, אז השתלב במוסד החינוכי-דתי "ביתנו" ברעננה. עם סיום כיתה ח' החל ללמוד בישיבה בכפר חב"ד.

נער יפה תואר, עדין ומופנם. היה חברותי ונעים מזג, אהוד על חבריו, נבון ושנון ובעל חוש הומור מפותח.

בהגיעו לגיל שמונה-עשרה, התגייס לשירות צבאי וצורף ליחידת שמירה מרחבית. במסגרת זו לחם לצד חבריו כנגד חוליות המחבלים (פדאיון) באזור העיר לוד וסביבתה. יוסף ביצע את משימותיו במסירות ומתוך אהבה למולדת, ראה שליחות במילוי תפקידו.

לאחר שחרורו מצה"ל ולאחר שעבר הכשרה מתאימה, החל לעבוד כמורה בבית ספר חב"ד בקריית גת. הצליח בעבודתו, בלט בגישתו הטובה לילדים.

בד בבד עם בניית קריירה, הקים זוגיות אוהבת עם שמחה. בין השניים שררו חברות וכבוד הדדי והם נהנו לבלות יחדיו. במרוצת השנים נולדו להם שישה ילדים – אסתר, רינה, יעל, עדה רות, אפרת ודוד יעקב. היה אב אוהב ומסור, ראה בילדיו מקור גאווה ונחת.

בזמנו הפנוי התנדב ל"משמר האזרחי", נהנה עד מאוד מהעשייה ומתחושת השייכות הארגונית.

בחלוף מספר שנים ממועד שחרורו, החליט להצטרף לשירות קבע בצה"ל בחיל הרבנות הצבאית. לאחר שעבר הכשרות שונות וסיים בהצלחה קורס קצינים לרבנים צבאיים שובץ לתפקיד רב צבאי ושירת בבסיסי חיל האוויר השונים ובהם בסיס שדה דב, בט"ר (בסיס טירונים) ניצנים, בסיס החיל באזור בית שמש ועוד.

הוא התנהל במסירות ומתוך רצון לנתינה אינסופית, תמיד בלבביות ובנכונות להושיט עזרה ולסייע בכל דבר ועניין. חשוב היה לו לשמש מודל ודוגמה אישית לפקודיו והדבר ניכר בכל מעשיו ובאופן התנהלותו. צנוע ועניו, רודף צדק ומשכין שלום, חתר בכל עת להשגת פשרה ואיזון. "לא אחת חיפש אחר האחווה והשלום שבין אדם לחברו. גישתו הייתה מיוחדת, שקטה ושקולה, ללא פזיזות" סיפרו חבריו, "כאשר שובץ לרבנות חיל האוויר בתפקיד ראש מדור מנהלה, זכינו לראות את המידות הייחודיות של הרב זהבי. בתפקידו זה נדרש לטפל בתחום האנושי, כוח אדם ופעל ברגישות והתחשבות מתמדת בפרט, סייע ככל שניתן, לתת מענה לכל פונה, וזאת במילה טובה והשראת תחושה נעימה... כפי שאומר רש"י על המנהיג אותו מציע משה למנות במקומו: 'שיוכל להלוך כנגד רוחו של כל אחד ואחד', כך היה. לא זכור לי מקרה של מישהו שכעס עליו על כך שלא שיבץ אותו כראוי, באומנות מיוחדת ידע לתת גם גלולה מרה עם מעט סוכר וכולם היו מרוצים".

יוסף היה בעל יוזמה וראייה מערכתית, תרם רבות לייעול מערך גיוס המילואים להכשרת מטבחי הבסיסים בערב פסח ורעיונותיו הביאו לצמצום בכוח אדם ולהפחתת משאבים כספיים הכרוכים בתפעול המערך. כן, פעל לקידום פעילויות העשרה והעמקת ידע במסגרת כנסים וימי עיון בנושאים של כשרות, שמירת שבת ותכנים שבין אדם למקום ובין אדם לחברו.

בזמנו הפנוי וכשרוח ההתנדבות והעשייה פועמת בו, הקים ביחד עם קבוצת חברים את המניין החב"די בבית האבות "גן דוד" ברחובות, בו שימש כגבאי במשך למעלה מעשרים שנה. מניין המתפללים אופיין בהטרוגניות, כלל צעירים ומבוגרים מעדות שונות בעלי סגנונות תפילה שונים והצריך רגישות מיוחדת בה ניחן. וכך בלשון חברו: "על ה'מקהלה' ההטרוגנית הזאת יכול היה לנצח רק מנצח בעל כישרון ייחודי, ואכן הרב יוסף זהבי בתפקידו כגבאי הראשון של המניין ניצח על המקהלה רבת הגוונים הזו בתבונה רבה, במסירות גדולה ובעיקר בסבלנות נפלאה".

מסור היה לבאי בית האבות ומתוך תחושת שליחות עמוקה, נהג לערוך מדי שנה את הסדר בליל פסח בחדר האוכל של בית האבות לצד חבריו מהגרעין החב"די במניין. רק לאחר שסיים הלך לערוך את הסדר בביתו עם בני משפחתו.

במרוצת השנים נתגלתה בגופו מחלת כבד זיהומית, והוא הוכר כנכה צה"ל. התמודדותו עם המחלה הייתה מעוררת השראה, וגם כאשר נזקק לטיפול רפואי מעת לעת, הקפיד להסתכל על חצי הכוס המלאה, תמיד באופטימיות ומתוך אמונה גדולה.

בשנת 1997 פרש לגמלאות מצה"ל בדרגת רב-סרן.

יוסף המשיך לכהן כחבר במניין החב"די, ובשבתות ובחגים שימש כחזן בבית הכנסת בקהילתו, מפליא בנעימת קולו, כך מפי אוהביו: "בכל ההתוועדויות בכלל ובסעודת משיח בשביעי של פסח בפרט, ובשמחת תורה בפרטי פרטות היה הפועל והמפעיל השמח והמשמח, הרוקד והמרקיד, קולו החזק, הערב והמרגש, הן בתפילות והן בהתוועדויות, עודנו מהדהד באוזני עד היום".

משפחתו של יוסף הייתה יקרה לו והוא הוקיר את הזמן יחד. חובב עבודת ידיים היה, נהנה לבנות רהיטים לביתו, כישרונו רב. כן התנדב בעמותת "עזר מציון". ברבות השנים הפך לסב גאה לנכדיו.

יוסף זהבי נפטר ביום כ"א באדר תשס"ז (11.3.2007). בן שישים ושלוש בפטירתו. הובא למנוחות בבית העלמין ברחובות. הותיר אחריו אישה, חמש בנות ובן, נכדים ואחיות.

בתו עדי ספדה לו: "געגועים אליך אבא - לחיוך המאיר שלך, לדמותך האצילית שהקרינה עוצמה, לסמל ולדוגמה ששימשת בהיותך איש צבא בעל משמעת עצמית, אחריות ומחויבות בכל משימה ותפקיד. געגועים לאוזן הקשבת, לחוש ההומור השנון, לאכפתיות שלא יחסר לנו דבר, לרגישות, לחמימות. לידך אף אדם לא הרגיש זר. ממך למדנו לבחור נכון, להאמין, לראות שטוב בלי להביט שוב לאחור.

נמשיך ללכת בדרכך, לאמץ את הערכים שהנחלת, להגשים חלומות ולכבוש יעדים, להתגעגע, לצפות לפגישה איתך בגאולה השלמה".

ספדו לו חברו הרב יואל: "הרב זהבי רֵע ועמית נאמן, בעבודתו ובחייו האישיים, נפטר בשם טוב על כובד פועלו ומעשיו הטובים להגדיל תורה וכבודה בלהט חסידי, בתבונה, בצניעות ובכבוד לזולת. דמותו ומעשיו הם נר זיכרון תמידי לחבריו, לעמיתיו ברבנות הצבאית ונוחם מעט לרעייתו ולבני משפחתו הממשיכים בנתיב הרוחני החסידי שחינכם אליו. תהא נשמתו צרורה בצרור החיים. עליו נאמר: 'חבל על דאבדין ולא משתכחין' (סנהדרין קי"א)".

ביום השנה הראשון לפטירת יוסף הכניסו בני משפחתו ספר תורה לעילוי נשמתו לבית הכנסת בו נהג להתפלל. המשפחה ערכה חוברת לזכרו ובה סיפורים על חייו ופועלו והספדים, החוברת חולקה לבני משפחה ולחברים.