היסטוריון במקצועו, פוג’ימורי החל לתכנן מבנים מאוחר בחייו, כשהיה בן 44. הוא התבקש לתכנן מוזיאון להיסטוריה עבור משפחה מהכפר המקומי שלו, ליד Nagano והחליט לבנות משהו לגמרי לא קונבנציונלי. המוזיאון ההיסטורי Jinchōkan Moriya בצ’ינו, נאגנו, יצירתו יוצאת הדופן זכתה להצלחה ומאז, הוא מספקת בית מרתק אחד אחרי השני, בקצב של בית בשנה. תוך שימוש בידע שלו בהיסטוריה של האדריכלות היפנית ובכישרונו בעיצוב, הוא מצליח ליצור מבנים ייחודיים, רגישים מבחינה אקולוגית וחסכוניים באנרגיה.
הדרך בה פוג’ימורי מעצב ובונה את הבתים שלו היא לא קונבנציונלית כמו צורתם. הוא פשוט לוקח גזע עץ ומתחיל לשנות אותו עם מסור חשמלי, עד שהוא מקבל דגם גס של מה שהוא מתכנן לבנות. אחר כך הוא מזמין את לקוחותיו לדגם ענק שניצב 20 מטרים באוויר, על שני גזעי עצים מפוצלים ומציג אותו בפניהם. הוא מנער ושנה את הבית עד שהם אוהבים אותו. גלריות הציעו לקנות את דגמי גדמי העצים שלו, אבל הוא מסרב למכור.
האדריכלות שלו מאופיינת באקסצנטריות והומור. ביפן הוא ידוע מאד גם כסופר, פרשן תרבות ומנחה טלוויזיה, אבל הוא היה לא מוכר יחסית במערב עד שייצג את יפן בביאנלה בוונציה ב-2006.