עד שנת 1632, האי שנקרא אז l’isola inferiore או isola di sotto – היה אתר סלעי המיושב בכפר דייגים קטנטן: אך באותה שנה, החל קרלו השלישי מבית בורומאו, לבנות בו ארמון שהוקדש לאשתו Isabella D’Adda, שממנה האי לקח את שמו. הוא הפקיד את העבודות בידי Milanese Angelo Crivelli, שהיה אמור להיות אחראי גם על תכנון הגנים. העבודות הופסקו בסביבות אמצע המאה, כאשר הדוכסות במילאנו נפגעה מהתפרצות הרסנית של מגיפה.
הבנייה התחדשה על ידי בניו של קרלו, הקרדינל גיברטו השלישי (1615–1672) וויטאליאנו השישי (1620–1690), אשר הפקידו את השלמת העבודות בידי האדריכל Carlo Fontana, שהפך לבקשתם את הווילה למקום בו נערכו מסיבות מפוארות ואירועים תיאטרליים לאצולת אירופה. השלמת בניית הגנים נעשתה על ידי האחיין קרלו הרביעי (1657–1734). הם נחנכו בשנת 1671.
האי הצטיין בהצלחה חברתית במיוחד בשנים 1751–1837, אז התארחו בו אורחים כמו נפוליאון ואשתו חוספין דה בוחרנה, וקרוליין מברונסוויק, הנסיכה מוויילס, אשר עשתה מאמצים גדולים לרכוש את האי מידי האחים ולאחר שנדחתה, הקימה על גדות אגם קומו, בסרנוביו, את Villa d’Este.
הארמון אף היה עד להסכם שחתמו בו מדינות איטליה, באפריל 1935.
המקום שנוי במחלוקת לגבי יופיו ורבים, בינהם סופרים ואמנים, תיארו את עיצובו של המקום כעשוי בטעם אדריכלי רע. צ’רלס דיקנס אולי ניסח זאת בצורה הדיפלומטית ביותר, בשנת 1844 לאחר ביקורו באגמים האיטלקיים “For however fanciful and fantastic the Isola Bella may be, and is, it still is beautiful.”