בן חיה וירחמיאל. נולד ביום כ"ח בתמוז תש"א (23.7.1941) בכפר סבא. אח צעיר לשמואל ולשמעון.
עזריה גדל והתחנך בכפר סבא בתנאי חיים פשוטים וצנועים. אביו הקים משק עופות, והוא עבד עם אֶחיו בלולים. בעבודה זו רכש כישורים רבים ששימשו אותו לאורך חייו.
למד בבית הספר היסודי "אוסישקין" בעירו, ובתיכון עשה בגרות אקסטרנית כיוון שבבקרים סייע בפרנסת המשפחה. לקראת מבחני הבגרות באנגלית למד עם מורה פרטי והגיע לרמה גבוהה מאוד. קריאה הייתה אהובה עליו במיוחד.
בגיל שמונה-עשרה התגייס לצה"ל ושובץ בחיל המודיעין. לאחר שירות החובה המשיך לשירות קבע במחלקת המודיעין של פיקוד הצפון. במסגרת תפקידו עסק בפענוח ממצאים שונים מזירות אויב. המאמצים שהשקיע בתפקידיו נשאו פרי בחלוף כמה שנים, בכיבוש רמת הגולן מידי הסורים במלחמת ששת הימים בשנת 1967. בימי המלחמה עצמה המשיך לעסוק בפענוח ממצאים שסייעו להתנהלות הכוחות.
בשנת 1964 יצא לפגישה ראשונה עם דבורה ועד מהרה היו לבני זוג. דבורה סיפרה שהתאהבה בו בראש ובראשונה הודות לדעתנותו ולידע העשיר שלו. כשהציג אותה לסבתו האהובה אמרה לו הסבתא ביידיש: "עכשיו אני יכולה למות בשקט".
בעקבות היכרותו עם דבורה החל להתעניין במוזיקה קלסית, בקולנוע ובתיאטרון, ואף ביקר באופן קבוע בקונצרטים של התזמורת הפילהרמונית איתה ועם אביה. דרכה נחשף למשפחה שהייתה שונה מאוד משלו, למאכלים חדשים ולאורחות חיים אחרים שמצאו חן בעיניו.
בשנת 1965 נישאו. תחילה גרו בהרצליה וכשנה לאחר מכן עברו לכפר סבא. לבנם הבכור קראו שמעון (שימי), על שם אחיו של עזריה שנפטר ממחלה קשה.
לאחר מלחמת ששת הימים עבר קורס קצינים, המשיך בתפקידו בענף למבצעים מיוחדים במטה הכללי ואחרי כן שובץ במערכת ההדרכה של חיל המודיעין כדי שיעביר את היכולות ואת הניסיון המבצעי שצבר לדור הבא של מפענחי תצלומי האוויר.
היה לו מוסר עבודה גבוה, זכה להערכה רבה ומפקדיו ציפו שימשיך להתפתח במסגרת הצבאית וייעדו לו גדולות. הוא התקדם לדרגת סרן. תרומתו בחיל מוזכרת בכמה ספרים, בהם ספרו של בכיר חיל המודיעין עמוס גלבוע "מר מודיעין", שיצא לאור בשנת 2013.
בשנת 1971, כששירת במערכת ההדרכה של חיל המודיעין, נפצע עזריה קשה ואיבד את מאור עיניו. זמן מה אחרי הפציעה השתחרר מצה"ל, שב לביתו והסתגל אט אט לחיים כעיוור. כשנתיים לאחר מכן החל להיעזר בכלב נחייה.
כעבור כמה שנים נולדה הבת מיה, שאותה הוא מעולם לא ראה. עזריה העניק הרבה לילדיו בשיחות ובסיפורים, והצד האינטלקטואלי שלו היה דרכו לבטא את אהבתו אליהם. חינוך באמצעות דוגמה אישית בלט אצלו: היה לו חשוב להראות לילדיו כיצד לנהוג ולהתנהג בעולם. אף שלא החצין את רגשותיו, תמיד דאג לביטחונם ולבריאותם הפיזית והנפשית, וידא שטוב להם והתרגש בשמחתם. פרגן לרעייתו ותמך בה ובעצמאותה. גישתו הייתה שעליה לצאת לעבוד, לפגוש אנשים ולהרגיש מועילה וממומשת. גם את תחביביה עודד, ובעיקר טיולים, נסיעות לחו"ל ומפגשים עם חברות. שמר על קשר קרוב עם הוריו ואחיו. את אימו סעד בימיה האחרונים, מדי יום ביקר אותה עם רעייתו ושוחח איתה, ופעם או פעמיים בשבוע גם הביא את ילדיו לביקור.
לאחר שסיים בהצטיינות תואר ראשון דו-חוגי ותואר שני באוניברסיטה, זכה בכבוד לשאת את דבר הסטודנטים בטקס הסיום. אף על פי שסיים את הלימודים הרשמיים, לא הפסיק ללמוד ולהתפתח ולא הניח לעיוורונו לחסום את הסקרנות הטבועה בו: האזין להרצאות בשירה ובספרות, לספרים מוקראים ולתוכניות רדיו בתחומי היסטוריה, מדע, גאוגרפיה ואקטואליה, וכל אלה העשירו את עולמו והשביעו את כמיהתו ליֶדע ולְדעת. ליד מיטתו, סיפרה רעייתו, היה מונח דרך קבע התנ"ך והוא נהג לחקור בו מדי יום.
בצעירותו הִרבה עזריה לטייל. לעיתים קרובות יצא לטייל עם בנו שימי ועם כמה מחברי הילדות שלו. בטיולים אלה נהג לצלם, ובחדר האמבטיה הקים מעבדת צילום מאולתרת. לאחר הפציעה בחר לצאת ל"טיולים וירטואליים" עם רעייתו, ובהם תיאר בפירוט נופים שזכר. בטיול משפחתי לרמת הגולן תיאר לבני משפחתו את הדרך שנסעו בה כאילו הוא רואה הכול.
היה בעל ידע כללי רב וחוכמת חיים, שפתו עשירה וקולחת, ואפשר היה לשוחח עימו בכל תחום. "הוא היה אנציקלופדיה מהלכת", סיפרה רעייתו והוסיפה שבכל פעם שנתקלה במילה לא מוכרת בתשבצים, הייתה מקבלת ממנו מענה במקום לחפש בספרים. שלט במגוון שפות, בהן אנגלית, לטינית ויידיש.
הודות לרגישות ולאנושיות שלו ראה עזריה את הנולד טוב יותר מכולם והצליח "לקרוא" אנשים. יושר והוגנות, צדק ואמת היו נר לרגליו. מעולם לא פחד להביע את דעתו ולעמוד על שלו גם אם נאלץ לשלם על כך מחיר. היה לו חשוב לשמור על עקרונותיו ולחיות בתחושה שנעשה צדק.
ביולי 2014 התאשפז בהוספיס של בית החולים "שיבא" בתל השומר לאחר התמודדות עם מחלה קשה. רעייתו וילדיו ליוו אותו בתורנות כדי להיות לצידו עד לרגע האחרון
עזריה ברגרבסט נפטר ביום י"ד בתמוז תשע"ד (12.7.2014). בן שבעים ושלוש בפטירתו. הובא למנוחות בבית העלמין נורדאו בכפר סבא. הותיר אישה, בן ובת, נכדים ואח.
על מצבתו חקקו אוהביו: "היית לנו עולם ומלואו".
רעייתו דבורה ספדה: "חמישים שנה של תהפוכות, מהלומות ואירועים ושרדנו אותם יחד לא מעט בזכות דאגתך לכולם, הראש החכם שלך, הזיכרון הפנומנלי וניתוח חד ומדויק של מצבים ... עזריה היקר, אני כבר מתגעגעת אליך".
שימי בנו ספד: "אתם לא יודעים איזה כיף זה לחיות עם אבא שהלמידה, ההשכלה והידע הם ערך מרכזי בחייו ... ואתם לא יודעים מה זה כילד, כנער או כאדם בוגר להוביל אבא עיוור בידיעה שהוא סומך עליך במאה אחוז, שאתה העיניים שלו, אבל בפנים לדעת שהוא זה שבעצם מוביל אותך קדימה ואני הוא זה שבטוח וסומך. אבא, אתה זה שהראית לי את הדרך. אני גאה בך".