בן בכור לרגינה ויהודה. נולד ביום י"ז בחשוון תש"ח (31.10.1947) בגרמניה. אח בכור של אשר.

בשנת 1949, כשהיה גרשון בן פחות משנתיים, עלה עם משפחתו לישראל. תחילה גרו בפרדס חנה, לאחר מכן עברו לבני ברק, שם למד בבית ספר יסודי ובתיכון.

בתום לימודיו התגייס לצה"ל, לחיל הים, והוכשר כאיש צוות בצוללת. לצורך גיוסו לצה"ל עברת את שם משפחתו מ"גלקופף" ל"בן-יהודה".

בשנת 1964 רכשה ישראל צוללות מבריטניה – "דקר" ו"לוויתן". הצוללות שופצו בבריטניה, הראשונה לצאת לים לאחר ששופצה הייתה "לוויתן", ובה גרשון היה איש צוות.

בחודש מאי 1967 הייתה הצוללת באימונים באזור סקוטלנד. עקב הכוננות שהוכרזה בישראל (ערב מלחמת ששת הימים), בליל 26/27 במאי 1967, הוחלט שתפליג חזרה לארץ. בהיותה צפונית מוולש, בכניסה לים האירי, עסקו גרשון בן יהודה ויעקב תמיר זכרם לברכה במחיקת מספרה שהיה רשום על דופן הסנפיר על מנת למנוע את זיהויה. משסיימו את העבודה והתירו את כבלי האבטחה כדי לשוב לבטן הצוללת שטף אותם גל והם טבעו בים. גופתו של סמל יעקב תמיר נמצאה בחוף אירלנד כעבור כמה שבועות, גופתו של גרשון לא נמצאה עד עצם היום הזה.

רב-טוראי גרשון בן-יהודה (גלקופף) נפל בעת מילוי תפקידו ביום י"ז באייר תשכ"ז (27.5.1967). בן תשע-עשרה בנפלו. הותיר אחריו הורים ואח.

לאחר קבלת הידיעה על טביעת בנו אביו של גרשון לקה בשבץ, וכעבור חודשים ספורים נפטר.

גרשון מונצח באנדרטה העירונית לחללי בני ברק, ובאנדרטת חללי חיל הים שהוקמה באשדוד ומצבה לזכרו הוקמה בבית העלמין הצבאי בהר הרצל, ירושלים.