Les auteurs s'accordent à faire dériver ce nom de famille du prénom féminin médiéval Gemma, du bas latin, qui signifie « gemme » ou « pierre précieuse ». Il s'agit d'un nom augural et affectueux, employé pour une fille de manière semblable à d'autres noms liés à des objets de valeur, comme Margherita, Perla ou Diamante. Le nom est déjà attesté dans des inscriptions épigraphiques sous les formes Gemma et Gemmula.

E. Rossoni apporte un exemple documentaire précis : un acte de l'an 955 rédigé à Cava dei Tirreni mentionne une certaine Gemma uxor mea, ce qui atteste l'usage du nom au haut Moyen Âge. Rossoni signale en outre que le nom présente des souches d'origine indépendantes dans la zone de Mantoue, celle de La Spezia, celle de Naples, celle de Catane, le Latium et les Pouilles, en particulier dans l'aire salentine — la zone la plus méridionale de cette région, dans le sud de l'Italie.

A. Bongioanni et E. De Felice s'accordent à signaler la variante méridionale Ièmma et à mettre en avant que le nom se répandit principalement dans le sud de l'Italie et en Toscane. Tous deux mentionnent une sainte de ce nom, morte en 1429 et vénérée dans les Abruzzes, dont la fête se célèbre le 12 mai.

F. Miranda élargit le sens de l'étymon latin et indique que Gemma pouvait renvoyer aussi à « bourgeon », « pousse » ou « source de vie », et suggère que le nom naquit probablement comme sobriquet appliqué à une personne de grande valeur ou d'importance sociale.