בן שמחה טויבע (יונה) ואברהם בנימין. נצר למשפחה מכובדת ומושרשת בארץ מאז שנת 1808. אביו היה מעסקני "הישוב הישן" שבנוסף לשאר עיסוקיו ייסד וניהל את בית התבשיל הכללי בירושלים. אליהו יהושע, שהיה עוזר לרוקח, הקפיד על לבושו ועל אצילות הופעתו.

בפרוץ מלחמת העולם הראשונה פורסם צו גיוס כללי בארץ לרופאים, רוקחים ועוזריהם. בן המגוייסים היה אליהו יהושע שנשלח לשרת בבאר-שבע. בשל תנאי סניטציה והיגיינה גרועים בצבא הטורקי פרצה בין החיילים מגיפת חולריע. אליהו יהושע שטיפל בהם נדבק במחלה וביום כ"א באייר תרע"ו (24.5.1916), נפטר ממחלתו והובא לקבורה בבית העלמין היהודי בבאר-שבע. השאיר הורים, שתי אחיות ואח.

אליהו יהושע מונצח ב"ספר היחס" למשפחת ריבלין, בספר "ירושלים ותבל": מנדודי השנירי" ובמאמרו של אילן גל-פאר "קבר האחים" בבאר-ששבע וקורותיו: שריד לקהילה היהודית בעיר. לאחר הכיבוש הבריטי, כנראה בשנות השלושים, נהרס בית הקברות היהודי ומיקום קבורתו המדויק אינו ידוע. המצבה שהיתה על קברו נלקחה לשימוש משני על-ידי התושבים ונמצאה, לאחר מלחמת העצמאות, קבועה בקיר של בית ערבי.

מצבה לזכר הונחה בבית העלמין הצבאי בבאר-שבע ועליה הוצב חלק מהמצבה האזרחית שאותרה.