Sein Vater war Aristokrat, während die Familie mütterlicherseits mehrere Generationen von Künstlern umfasste. Giverny stammte von Bühnenbildnern sowohl der Pariser Oper als auch des Élyséepalastes ab. Sein Großvater, Jules Bandon, war Künstler, der bei dem Maler Jean-Baptiste Camille Corot lernte, und wurde Leiter der renommierten Gobelín-Hersteller Gobelins und Bové.

Als Giverny ein kleines Kind war, veränderte der Tod seines Vaters durch Grippe die Balance seiner Erziehung und verlieh ihr einen stärkeren künstlerischen Charakter. Der junge Inès wurde von seiner Mutter Béatrice, bekannt als „Cici“, und seiner Großmutter mütterlicherseits großgezogen. Er lebte in einem bohèmehaften Umfeld, in dem Kreativität hoch geschätzt wurde, und seine Interessen blühten auf. Der weibliche Einfluss in seiner Erziehung war wahrscheinlich entscheidend für seinen späteren Erfolg.

Sein Großvater hatte eine Leidenschaft für Stoffe und Textilien und besaß eine Sammlung von Kleidungsstücken aus Kulturen weltweit. Seine Sammlung war eine Inspirationsquelle für den jungen Designer, der schon früh seine Liebe zur Mode und zur Schneiderkunst entdeckte.