E. Rossoni signale qu'il s'agit d'un nom nettement lombard, né du toponyme Brivio, localité de la zone de Lecco. On a des références de la lignée depuis le XIe siècle, quand une famille d'origine germanique, venue de Brunswick, s'établit dans la zone de Milan. En 1377, les Brivio figurent parmi les nobles de la liste métropolitaine ; au XIVe siècle, Franzino Brivio fut réformateur des statuts milanais, et au XVe siècle, Delfino Brivio fut collaborateur de Gian Galeazzo Visconti.

R. Brondolo apporte une perspective étymologique différente : le nom dériverait du terme celtique briva, qui signifie « pont », mot qui aurait donné son nom au toponyme Brivio.