בן טקלה (לבית אייכנגרין) ופרידל, אח לדוד. נולד ביום י"ז בתמוז תרפ"ט (25.7.1929) בקיבוץ עין חרוד ובהיותו בן שנתיים חזר עם משפחתו לצ'כוסלובקיה.

במלחמת העולם השנייה, כאשר כבשו הגרמנים את צ'כוסלובקיה, נשלח לאנגליה בקינדר טרנספורט שאורגן על ידי ניקולס ווינטון ואומץ שם על ידי זוג נוצרים חשוכי ילדים, ג'ני וג'ורג' דוידסון.

לאחר המלחמה חזר לצ'כוסלובקיה לחפש את הוריו והתברר לו שהם נרצחו באושוויץ.

ג'ו למד צורפות בבית ספר מקצועי בפראג.

במסגרת ההגנה הצטרף לקורס טיס באולומוץ, צ'כוסלובקיה. בשנת 1949 עלה ארצה ובחודש מרץ אותה שנה התגייס לחיל האויר. בחיל עבר קורסים שונים: מטאורולוגיה, קורס טיס נוסף, קורס מדריכי טיסה ועוד, ומילא בהצלחה תפקידים שונים, וביניהם מדריך טיס, סגן מפקד טייסת, מפקד טייסת, מפקד כנף, ראש ענף בטיחות טיסה ועוד. נשלח להשתלמויות שונות בחו"ל וסיים בהצלחה בית ספר לפיקוד ומטה באנגליה.

הערכות מפקדיו היו תמיד מעולות: "מפקד טייסת מהטובים בחיל, ישר, קפדן ויעיל, בעל נתונים מצויינים להתקדמות;" "עקשן, קפדן, דורש הרבה מעצמו ומאחרים;" "טייס מעל הממוצע. לא הפסיק טיסתו הפעילה מיום סיימו קורס טיס. מפקד טוב, שהשקיע מאמץ ומחשבה רבה בשלוש הטייסות שעליהן פיקד". היה קשור בכל נימי נפשו לחיל.

נישא לדבורה (לבית קרט) והוליד עימה שלוש בנות: דליה יעל ורחל, היה איש משפחה מסור.

יוסף עסק בצורפות כתחביב ואהב לצייר.

בשנת 1970 מונה לנספח האווירי בשגרירות ישראל בוושינגטון. בתקופת כהונתו קשר יוסף קשר הדוק עם אנשי הפנטגון וגם עם הקהילה היהודית. הרבה להרצות בפני נוער וסטודנטים וסייע לפעולות המגבית.

ביום א' בתמוז תשל"ג (1.7.1973), נרצח אל"מ ג'ו אלון בפתח ביתו בשכונת צ'בי צ'ייס בוושינגטון.

אל"מ יוסף (ג'ו) אלון נפל בעת מילוי תפקידו בנכר ביום א' בתמוז תשל"ג (1.7.1973) הובא למנוחת עולמים בבית הקברות הצבאי בקרית שאול. הותיר אחריו אישה ושלוש בנות.

להנצחתו הוקם ליד קיבוץ להב בנגב מרכז ג'ו אלון לידיעת הארץ וניטע יער. הדרך לבסיס חיל האויר בחצרים נקראת על שמו. הוקמה תכנית ג'ו אלון לקירוב לבבות העוסקת בחיבור בין בני נוער ישראלים וצ'כים.