בנם של שושנה ויהודה. נולד בשנת ת"ש (1940) ברחובות. ילד שני במשפחה, אח לידידה ודניאל.
שילֹה גדל והתחנך בשכונת שעריים ברחובות. בילדותו המוקדמת נפרדו הוריו, מאז סבו וסבתו עזרו לגדל אותו ואת שתי אחיותיו. חייו היו חיי דוחק, בתנאים לא קלים.
למד בבית הספר היסודי "מוריה" ולאחר מכן בישיבת "בני עקיבא הדרום" בעירו. אחר הצוהריים שיחק כדורגל בקבוצת "מכבי שעריים".
אימו נישאה בשנית, וכך זכה לאחיות ואחים למחצה – אביבה, יואב, סימה, רוחל'ה ויורם.
בגיל שמונה-עשרה התגייס לצה"ל ושובץ בחיל התותחנים.
לאחר שחרורו משירות צבאי מלא עבד בעבודות זמניות.
בשנת 1961, בהיותו בן עשרים ואחת, נישא לגאולה. בין השניים פרחה אהבה גדולה. את ביתם קבעו ברחובות, ובת וארבעה בנים נולדו להם – גילה, יהודה, אסף, גיא וניר. כאיש משפחה חם ומסור הרעיף אהבה על רעייתו וילדיו. בעקבות הילדוּת שעברה עליו חשוב היה לו שבין בני משפחתו ישררו קשרים טובים – הוא לקח את מצוקות העבר שלו ודאג לעשות תיקון.
בשנות השישים הוצע לו לחזור לשירות קבע בצה"ל. שילה נענה להצעה, התגייס בשנית ושירת בגדוד הארצי של חיל הקשר (לימים חיל הקשר והתקשוב). עד מהרה צבר ניסיון בפיקוד על חיילים עם קשיי התנהגות. הוא שיקם אותם ודאג שיסיימו שירות צבאי מלא. לצורך כך שמר גם על קשר אישי עם משפחותיהם. ביחידה נודע ביושרו ובדייקנותו, ומי ששירתו עימו כינו אותו בהומור "היֵקֶה התימני".
חיי המשפחה סבבו סביב שירותו הצבאי. כשנשאר בבסיס בשבתות, אירח בו את משפחתו, ולטיולים יצאה המשפחה עם חבריו מהשירות. "אבא של צבא", כינו אותו ילדיו.
במלחמת יום הכיפורים שפרצה באוקטובר 1973 הוצב שילה בחזית הצפון. השקיע שעות וימים, לעיתים ללא הפסקה, בפיקוד על יחידה לאורך כל ימי המלחמה.
לאחר המלחמה החל לסבול מלחץ דם גבוה ומבעיה בעורקים. כעבור תשע שנים, בהיותו בן ארבעים ושתיים, לקה בהתקף לב. הוא השתקם והוכר כנכה צה"ל.
במרוצת השנים עבר ליחידה של מִפקדת קצין קשר ראשי (מקשר"ר) והחליף תפקידים, אך לאורך כל השירות הוצב במחנה "צריפין" שבמרכז הארץ. בתפקידו האחרון שימש מפקד פלוגת (מ"פ) מפקדה.
בסוף שנות השמונים פרש לגמלאות בדרגת רב-סמל בכיר והחל לעבוד כנהג הסעה. מדי יום הסיע ילדים משכונתו ברחובות לבית ספר בעיר. אף שהדבר לא הוגדר כחלק מתפקידו, שילה יצר קשר עם התלמידים, רצה להוליך בתלם את מי שהתקשה בכך ודאג שיגיעו לבית הספר באופן סדיר.
שמחת חיים וחיוך רחב אפיינו אותו, וחברים תמיד הקיפו אותו. בשנות הפנאי המשיך לשחק כדורגל כפי שעשה בילדותו, ובהמשך בחר לשמש שופט במשחקי קבוצות כדורגל באזור מגוריו.
בשנת 2000 החליט עם רעייתו על פרישה מעבודת ההסעה כדי שיתחילו ליהנות יחד מתקופת הגמלאות. לפני שהספיק לפרוש, לקה בדום לב במהלך נסיעה במסגרת עבודתו.
שילה שרעבי נפטר ביום כ"א באדר ב' תש"ס (28.3.2000). בן שישים בפטירתו. הובא למנוחות בבית העלמין "מרמורק" ברחובות. הותיר אישה, בת, ארבעה בנים, נכדים, חמש אחיות ושני אחים.
שילה מונצח באנדרטה לזכר הנופלים בוגרי בית ספר "מוריה" ברחובות.