בן בכור לשולמית ואברהם. נולד ביום כ"ד באייר תרצ"ה (27.5.1935) ביוון. אח לרבקה.
יחיאל גדל והתחנך באתונה בירת יוון. ילדותו הייתה מאושרת, הוא בילה רבות עם אחותו בטיולים בפארקים, במתקני שעשועים ובמשחקי יַלדות. גדל במשפחה ממעמד גבוה, ומגיל צעיר קיבל שיעורים פרטיים בצרפתית.
בשנת 1941, במהלך מלחמת העולם השנייה, כבשה גרמניה הנאצית את יוון והפעילה את חוקי הגזע, שאילצו יהודים רבים במדינה להסתתר או להימלט. אביו סירב להכניס אותו ואת אחותו למסתור במרתף בלי לדעת כמה זמן ייאלצו לשהות שם, ובמקום זאת עלה בידו ליצור קשר עם עמותה יוונית שסייעה ליהודים, וזו הנפיקה עבור בני המשפחה תעודות מזויפות שבזכותן הצליחו לברוח לכפר הנידח מצאני (לימים קריוני) בחצי האי הפלופונסי. למשפחה לא היה קל להסתגל למגורים בכפר שלא היו בו מים זורמים, חשמל ובית ספר. עם זאת, לתושבים, רבים מהם לוחמים פרטיזנים, היה לב זהב, ובהשפעת הכומר המקומי הסתכנה משפחת איכרים בת שבע נפשות והסתירה את משפחת קמחי, בידיעה שגילוי הסוד יביא להרס הכפר כולו. ב-1943 הגיעו הגרמנים לאזור שבע-עשרה פעמים, ובכל פעם הבריחו את המשפחה למערה בהרים או לבית אחר. לאחר שהשהות בכפר נעשתה מסוכנת מדי, הצטרפו בני המשפחה אל המחתרת הקומוניסטית היוונית שהגנה עליהם. האנושיות, האומץ והגבורה שהפגינו תושבי הכפר וחברי המחתרת הם ערכים שעיצבו את אישיותו של יחיאל.
בתום מלחמת העולם השנייה הבינו בני המשפחה שארץ ישראל היא מקומו היחיד של העם היהודי והחליטו לעלות. בסוף 1945, לאחר שנה של מאמצים הצליחו לקבל אישורי כניסה לארץ משלטונות המנדט הבריטי.
עם עליית המשפחה ארצה, הילדים הושמו לתקופה קצרה אצל משפחות במושב עין ורד שבשרון עד שההורים מצאו דירה בתל אביב. יחיאל למד בבית הספר היסודי "ביאליק" בעיר ולאחר מכן ב"תיכון עירוני א'", והצטיין בלימודיו.
בסיום הלימודים התגייס לצה"ל ושובץ בחיל הים. בתום השירות הסדיר המשיך לשירות קבע. בין היתר השתתף בקורס בקרת אש באנגליה במשך חצי שנה. עם שחרורו מצה"ל עבד בצנזורה הצבאית.
בשנת 1962 נשא לאישה את עדה גרטי. לשניים נולדו שלוש בנות – רוית, שירי ומיטל, והמשפחה גרה ברמת השרון. יחיאל היה בן זוג ואב אוהב ומסור.
בשנת 1963 סיים לימודי תואר ראשון בכלכלה ובמדע המדינה ב"בית הספר הגבוה למשפט וכלכלה" בתל אביב.
לאחר מכן החל את עבודתו במשרד ראש הממשלה, שם פעל בתחום הביטחוני. בלט בסביבתו כעמוד תווך, בעל יכולות גבוהות, יושרה ומצפון. עמיתו יוסי כתב: "אכן העם היה רוצה לומר תודה ליחיאל אילו ידע הוא את הכתובת. אבל כל מעלליו של יחיאל חוסים בצל בגנזכי המשרד, והעם לא יֵדע". במסגרת עבודתו נשלח עם משפחתו לארצות שונות לתקופות ארוכות.
לקראת פרישתו לגמלאות, בשנת 1992 סיים בהצטיינות לימודי תעודה בעריכה לשונית באוניברסיטת בר-אילן. הידע שרכש שימש לו במלאכת התרגום וכן בעריכת עבודות אקדמיות, ספרי עיון ופרסומים אחרים, מלאכה שהחל בה שנים אחדות קודם לכן.
הוא החל לעסוק בתרגום ספרים מיוונית לעברית, בהם: "הטעות", "נשיקת הבוגד", "פאפא ינארוס" ו"החתול השחור האחרון". בשנת 1991 זכה בפרס שר התרבות, המדע והספורט על תרגומו לספר "החיים בקבר" מאת סטראטיס מיריביליס, ובשנת 1997 זכה בפרס "האגודה היוונית לתרגום ספרות יפה" על תרגומו לספר "המורה זהובת העיניים" מאת אותו המחבר. נוסף על כך תרגם טקסטים בתחום המשפט והטכנולוגיה וחומרים דוקומנטריים.
בשנת הלימודים תשס"ח (1997–1998) עבד כמתרגל בלימודי עריכה במסגרת החוג ללשון העברית וללשונות השמיות באוניברסיטת תל אביב.
בכנס סופרים ישראלים ויוונים שהתקיים בפברואר 2005 סיפר על ילדותו באתונה בימי מלחמת העולם השנייה ואמר: "אני היחיד כאן שראה את הצבא האיטלקי צועד ברחובות אתונה, ואחר כך את הצבא הגרמני". הסופרת רות אלמוג שהייתה בכנס כתבה שנוכחותו הוסיפה מאוד לאווירת ההתרגשות ולתחושת הקרבה ששררו במפגש.
יחיאל היה אדם יסודי וחרוץ בעל נוכחות מרשימה, איש חברה וידען גדול במגוון תחומים. הוא גיבש עמדות פוליטיות בהתאם לנסיבות המשתנות ודאג להפיץ את השקפת עולמו ואת ידיעותיו הרבות. גם עם שמונת נכדיו ונכדותיו, כמו עם בנותיו בצעירותן, חש זכות וחובה להשקיע בגיבוש אישיותם ובקידום השכלתם. אהב לבלות עם משפחתו, והִרבה לנסוע לטיולים בחו"ל.
בשנת 2009 חלה במחלת הסרטן, ובמשך שמונה שנים נאבק בה עד שהכריעה אותו.
יחיאל קמחי נפטר ביום י"ב באדר תשע"ז (10.3.2017). בן שמונים ואחת שנים וחצי בפטירתו. הובא למנוחות בבית העלמין רמת השרון-מורשה. הותיר אישה, שלוש בנות, נכדים ונכדות.
נכדו עילי כתב: "סבא, לא נשכח אותך לשנייה. אתה תמיד תהיה בלב".
חברתו עדנה כתבה: "הלב דואב להיפרד מאיש נפלא כזה, שהיה איש אשכולות בעל ידע עצום שתרם בכל מרצו לחברה בישראל הן מבחינה ביטחונית והן מבחינה תרבותית, ויחד עם זה היה לו זמן להיות חבר מופתי שהיית בטוח שאפשר לסמוך עליו ויהיה שם תמיד בשבילך. אם יש נחמה בלכתו היא הידיעה שהיו לו חיים מלאי עניין, אתגר וסיפוק גם כאזרח וגם כאיש משפחה נפלא".
באנציקלופדיה המקוונת "ויקיפדיה" נכתב עליו ערך, ובאתר "יוטיוב" הועלה סרטון ובו נאום שנשא יחיאל בערב לזכר עמית ממשרד ראש הממשלה בינואר 2016.