Efter att i tio år varit anställd som superkargör i Ostindiska Kompaniet återvände Chalmers 1793 till Göteborg. Här inköpte han det s.k. Holtermanska huset, en tvåvånings träbyggnad med adress Södra Hamngatan 11.
Huset förstördes vid en förödande brand 1802 som ödelade hela området mellan Östra och Västra Hamngatan från Vallgraven till Hamnkanalen. Chalmers beslöt då att uppföra ett stenhus på den avbrända tomten, och gav stadsarkitekten i Göteborg, Carl Wilhelm Carlberg, i uppdrag att utarbeta ritningarna.
Huset stod färdigt 1807, men Chalmers fick inte njuta länge av det. Han dog 1811, 63 år gammal. Kort före sin död testamenterade Chalmers hälften av sin kvarlåtenskap till Sahlgrenska sjukhusinrättningen, och hälften till Frimurarebarnhuset i Göteborg för inrättande av en industriskola ”för fattige barn som lärt läsa och skrifva” – grunden till Chalmers tekniska högskola.
Hösten 2006, i samband med sitt 150-års jubileum, beslöt SEB att skänka Chalmersska huset till Chalmers tekniska högskola.
Överlämnandet skedde under högtidliga former med bl.a. tidstypisk klädsel. Chalmers nya rektor Karin Markides fick en symbolisk nyckel av SEB:s VD Annika Falkengren. Det viktigaste skälet till donationen var att SEB, i perspektivet av vad Chalmers betytt, betyder och kan betyda i framtiden för svenskt näringslivs utveckling, vill ge ett handfast och tydligt stöd till högskolan.
