בן שרה ואברהם-יצחק. נולד בכ' בחשוון תש"ו (14.11.1946) ברומניה.

יוסף גדל ברומניה ובשנת 1962, בהיותו בן שבע-עשרה, עלה לישראל.

זמן מה אחרי שסיים שירות צבאי התגייס למשטרת ישראל. הוא עבר קורס קצינים ומילא שורה של תפקידים. בין 1979 ל-1981 פיקד על יחידות משמר הגבול במרחב יהודה ושומרון. בשנת 1984 מונה לסגן מפקד מרחב ירושלים במחוז הדרומי של המשטרה ובשנת 1986 התמנה למפקד המרחב, בדרגת תת-ניצב.

יוסף נחשב לשוטר ומפקד מבריק והיה נערץ על פקודיו. במסגרת תפקיד מפקד המרחב הוא הוביל את משטרת העיר בהתמודדות עם אירועים אלימים אשר התחוללו במהלך האינתיפאדה הראשונה.

יוסף היה נשוי לאילנה ואב לשלוש בנות – אפרת, חן ויעל.

תת-ניצב יוסף יהודאי נפל בעת מילוי תפקידו ביום כ' בסיוון תשמ"ט (23.6.1989). בן ארבעים ושתיים בנפלו. הוא הובא למנוחות בבית העלמין הצבאי בהר הרצל, ירושלים. הותיר משפחה.

אחרי נפילתו הועלה לדרגת ניצב.

על שמו של יוסף נקרא בסיס משמר הגבול בשכונת שייח' ג'ראח בירושלים. לזכרו נקראת תצפית נוף בהר הצופים בעיר "תצפית יהודאי".

יוסף מונצח בחדר הנצחה לנופלי המשטרה במחוז ירושלים, ובאנדרטת חללי המשטרה בבית שמש.