A maffia szó eredetét a régi szicíliai mafiusu szóra vezetik vissza, amely maga az arab mahjas (menedékhely) szóból ered. A szicíliai kifejezés jelentése „bátor, vakmerően hencegő.” Emberekre használva a mafiusu a XIX. századi Szicíliában kétértelmű volt, mert egyrészt egy arrogáns, erőszakos embert jelentett, másrészt egy félelmet nem ismerő, büszke emberre is értették.
Egy másik változat szerint a szó a Morte Ai Francesi, Indipendenza Anela (vagy Italia Avanti) (Morte Alla Francesi, Italia Anela – Halál a franciákra, éljen Itália), azaz „halál a franciákra, éljen a függetlenség” (avagy „hajrá Olaszország”) betűszóból származik. Egy mendemonda szerint a XIII. század során, I. (Anjou) Károly szicíliai uralma alatt egy Droetto nevű francia katona megerőszakolt egy fiatal hajadont (lásd szicíliai vecsernye). A lány anyja a történtektől feldúlva Ma -ffia, Ma -ffia sikolyok közepette szaladt az utcákon. A ma -ffia a „mia figlia”, azaz „a lányom” szóból származhat. Az anya sikolyaiból később a franciallenes ellenállási mozgalmak jelszava lett, amely nagyon szegény olaszokat és szicíliaiakat tömörített.
A szó a titkos bűnszövetkezettel 1863-ban került összefüggésbe. Giuseppe Rizotto és Gaetano Mosca a palermói börtönben játszódó, bűnbandákról szóló I mafiusi di la Vicaria színdarabjában a mafia és mafiusi szavak egyszer sem hangzottak ugyan el, de a címben valószínűleg csupán szicíliai hangulati elemként szerepelő mafiusi a szó hamarosan mindezek ellenére önálló életre kelt.
A bűnbandák és a mafiusi közötti összefüggést e sikeres színdarab címe hozta létre, mivel abban a korban Olaszországban és Szicíliában újdonságnak számítottak a bűnbandák. A maffia szót tehát egy, valóban bűnözőket bemutató, ám fiktív mű alapján kezdték el használni. Hivatalos olasz ügyiratokban a maffia szó először 1865-ben jelent meg a palermói prefektus, Filippo Antonio Gualterio tollából.