בנם של שמעה ויחיא (זכריה). נולד בשנת תרצ"ז (1937) בתימן.

זכריה גדל בתימן, הקטן משלושת אחיו הגדולים (משומר, עובדיה וחיים).

לאחר שהתייתם מהוריו בשנת 1949, עשה את דרכו ברגל אל מחנה "גאולה" (מחנה "חאשד"), שהוקם על ידי ארגון "הג'וינט" למען יהודי תימן המבקשים לעלות לישראל. כשהגיע, בשארית כוחותיו, רזה וחלוש, קיבל טיפול רפואי במרפאת המחנה ושרד.

בהמשך השנה, עלה לארץ בעזרת ארגון "עליית הנוער" לפנימיית "עין התכלת" בנתניה, ולאחר מכן לפנימיה בפתח תקוה, שם השלים את לימודיו.

עם סיום הלימודים התגייס זכריה לצה"ל, שירת כלוחם בחיל הרגלים. במהלך השירות זכה באות הצטיינות.

בעת שירותו הסדיר נפצע, הוכר כנכה צה"ל ולאחר תקופת שיקום חזר לשירות.

לאחר השחרור המשיך לשרת במילואים בחיל הג"א (הגנה אזרחית, כיום – פיקוד העורף).

את אשתו, יונה, הכיר במהלך השירות. השניים התחתנו ב-1960, התגוררו ברמלה והביאו לעולם ארבעה בנים – אופיר, ירון, דרור וארנון. משפחתו של זכריה הייתה עיקר חייו וילדיו היו מושא גאוותו. הוא נהנה לבלות ולשחק איתם, וחינך אותם על ערכי המוסר, המסורת והדת היהודית.

במשך כארבעים שנה עבד זכריה בבנק דיסקונט. בזכות לימוד עצמי, עבודה קשה ויכולות אישיות התקדם וניהל מספר סניפים של הבנק. הוא זכה להערכה רבה מצד ההנהלה והיה אהוד מאוד על לקוחותיו.

בכל מקום בו נכח, היה זכריה אהוב ומוקף חברים. אדם אמין וטוב לב, איש עצה שתרם בסתר באופן שוטף ותמיד התנדב לסייע לכל נזקק. במשך שנים רבות מילא בהתנדבות את תפקיד גזבר בית הכנסת "עץ חיים" ברמלה, שאף היה שותף לבנייתו.

ב-1987 הגשים חלום ועבר עם משפחתו לירושלים, עיר שאותה אהב מאוד. גם שם המשיך בפעילות התנדבותית והיה שותף לבניית בית הכנסת "אהל דאר" בשכונת רמות אלון בעיר. בנוסף, התנדב לתפקיד גזבר הוועד הכללי ליוצאי תימן בירושלים, שמטרתה קידום המורשת ועזרה לקהילה.

במהלך השנים, כשנולדו ששת נכדיו היה זכריה מאושר ונרגש, והפך לסבא מסור ואוהב.

בעקבות הנכות ממנה סבל, הדרדר מצבו הרפואי של זכריה עם השנים. הוא עבר טיפולים רבים ונזקק לבלון חמצן. ב-2002 עבר השתלת ריאות במרכז הרפואי "רבין" (בילינסון והשרון) בפתח תקווה. שנתיים לאחר מכן התאשפז לאחר החמרה במצבו, ובמשך חודשיים נלחם על חייו במחלקת טיפול נמרץ.

בסוף מאי 2004, מיד לאחר חג השבועות תשס"ד, הלך זכריה לעולמו.

זכריה שמחי נפטר ביום ט' בסיוון תשס"ד (29.5.2004). בן שישים ושבע בפטירתו. הובא למנוחות בבית העלמין גבעת שאול שבהר המנוחות, ירושלים. הותיר אחריו אישה, ארבעה ילדים ואח.

על מצבתו חקוקות המילים: "איש צנוע וישר, אוהב תורה וחסד ואהוב על הבריות".