בנם של צביה ושלמה, עולים מתימן. נולד ביום ה' בכסלו תרפ"ג (25.11.1922) בשכונת נחלת אחים שבירושלים למשפחה ענפה. הבן הבכור אחרי שתי אחיות – ציונה וחוה, ולו עוד שמונה אחים ואחיות: יהודה, מרים, אברהם, יעקב, יצחק, משה, יעל וירדנה.

לצד אחד-עשר ילדיה גידלה אימו עוד עשרות ילדים – בנים למשפחות הרוסות; האכילה רעבים והלבישה חסרי-כול – פעילות התנדבותית שזיכתה אותה לימים בתואר "אם השנה" מידי רעיית הנשיא רחל שזר. בבית חם ואוהב זה, שהתנהל תחת משטר קפדני של חוקים וחובות, גדל יוסף, והתחנך לאור ערכי נתינה ותרומה.

את לימודיו עשה בבית הספר "תחכמוני" שבירושלים בתקופת שלטון המנדט הבריטי. מגיל צעיר קנה לו שם של קונדסן וליצן; עם זאת, כבר בגיל חמש-עשרה התגייס לחי"ש (חילות השדה) של ה"הגנה" והשתתף בשמירה על היישובים הקדמיים שבאזור ירושלים. כינויו, "יוסק'ה כל הארץ", ניתן לו על שום שהכיר את כל הארץ, וכל הארץ הכירה אותו.

בהיותו דובר ערבית על בוריה ובעל חזות ערבית, הסתובב בימי המאורעות ("המרד הערבי הגדול" – מאורעות תרצ"ו–תרצ"ט, 1936–1939) בשוקי ירושלים ובשכונותיה הערביות, שמע וקלט מידע ודאג להעבירו הלאה.

ב-1942 גויס לפלמ"ח, למחלקה הערבית ("המחלקה השחורה", נקראה בהמשך גם "השחר"), ונמנה עם ראשוני ה"מסתערבים". עד תום מלחמת העולם השנייה עסקה המחלקה במשימות אשר חייבו חדירה לשטחים ערביים, ולאחר מכן "נשתלו" אנשיה בנקודות חיכוך אפשריות עם האוכלוסייה הערבית בארץ, עסקו בלימוד מטרות צבאיות בריטיות ובאיסוף חומרי מודיעין. הכשרתם של חברי המחלקה ארכה כשנתיים וכללה אימוני לוחמה מגוונים, לימודים תאורטיים ופעילויות שטח שבמסגרתן ערכו גיחות לערים ערביות. בסיסי האימונים שכנו בעמק יזרעאל: תחילה התמקמו בחורשת קיבוץ משמר העמק; מסוף שנת 1943 בקיבוץ אלונים, וב-1946 בקיבוץ עין החורש.

בין השאר נודע יוסק'ה כאחד ממקימי "חבורת האש" – מרביתם אנשי המחלקה הערבית – שזכו לכינוי זה כיוון שבערבים נהגו לשיר שירי רועים ורעוּת מסביב למדורה. גם לאחר פירוק הפלמ"ח והקמת המדינה המשיכה "חבורת האש" להתקבץ ולהופיע ברחבי הארץ, עם זמרים נוספים. בין השירים שזוהו עימה – "עלי האש" ו"דבּקת החמור" של עמנואל זמיר; "אייל אייל בן קרניים"; "מה יפים הלילות בכנען"; "סורו מני"; "שושנת תימן" ואחרים.

בשנת 1944 נישא לרינה לבית צביאלי. חתונתם נערכה בתל אביב, אך את המסיבה ערכו חברי המחלקה הערבית בקיבוץ אלונים, ולאחריה חזר למשימותיו המבצעיות.

יוסף השתחרר מהפלמ"ח ב-1 בפברואר 1948. לאחר כינון צה"ל, באוגוסט 1948, הועברה המחלקה הערבית בשלמותה – ויוסף בתוכה – כיחידה מיוחדת ב"שירות המודיעין" (לימים - חיל המודיעין). במסגרת זו לחם במלחמת העצמאות והתקדם בתפקידי פיקוד.

עם שחרורו מצה"ל הצטרף לרעייתו בקיבוץ מנרה ושימש נהג האוטובוס האזורי. קו האוטובוס נסע לאורך גבול הצפון ועבר בכל היישובים שלאורכו.

כשפרצה מלחמת סיני (מבצע קדש), בסוף אוקטובר 1956, חזר והתגייס לצבא הקבע ושירת בעזה בתפקידים שונים. בזכות שליטתו בשפה הערבית, בניביה ובמנהגי האוכלוסייה, הפך לדמות מקובלת ואהודה בקרב הערבים, ולא פעם פנו אליו בבקשה שישמש כבורר ויפסוק ביניהם.

בשנת 1957, עם הנסיגה מרצועת עזה, עבר לירושלים ושהה בה כשנה. ב-1958 קבעו בני הזוג את ביתם בבאר שבע.

בשנת 1960 נשלח מטעם פיקוד הדרום לשמש מפקד המחנה של המשלחת הארכאולוגית שארגן פרופ' יגאל ידין לנחל חבר שבמדבר יהודה. חברי המשלחת גילו ב"מערת האימה" – מערה מס' 8 – את שרידיהם של פליטים יהודים מימי מרד בר כוכבא; במערת האיגרות נחשפו, מלבד שלדים ורכוש רב, גם הארכיון של בבתא בת שמעון ואוסף איגרות ששלח בר כוכבא למפקדי עין גדי מטעמו.

מערכת היחסים שנוצרה בין יוסף לבין יגאל ידין הפכה לחברות אדוקה עד כי זה האחרון סירב לקבל כל קצין אחר במשלחות הבאות.

ב-1965 השתחרר מצה"ל בדרגת סגן-אלוף, אך כעבור שנתיים, ביוני 1967, עם פרוץ מלחמת ששת הימים, שב והתגייס וחזר פעם נוספת לעזה. הוא מונה כמושל ברצועת עזה וכיהן בתפקיד זה במשך תקופה ארוכה. בשנת 1973 השתחרר סופית מהצבא.

חייו של יוסף היו מלאים ועשירים, עתירי עשייה ופעילות נועזת למען העם והמדינה. במרוצת השנים נולדו לו ולרעייתו ארבעה ילדים – דיצה, חיים, ירון ואייל. הוא הנחיל להם – ולימים לנכדיו – את מורשתו וערכיו.

במהלך שנות שירותו הארוכות ספג פגיעות, שבגינן הוכר כנכה צה"ל.

יוסף יפת נפטר ביום ח' באלול תשל"ו (3.9.1976), והוא בן חמישים וארבע. הובא למנוחות בהר המנוחות שבגבעת שאול בירושלים. הותיר רעיה וארבעה ילדים, נכדים, הורים, אחים ואחיות.

יוסף הונצח באתר הפלמ"ח ובספר שירי המחלקה הערבית שהוציאה לאור עמותת דור הפלמ"ח. ערך על שמו מופיע באנציקלופדיה השיתופית "ויקיפדיה", בצירוף תמונות היסטוריות.