Skupiny Jakuzy vzišli z rôznych častí tradičnej japonskej spoločnosti, najmä však zo samurajov, ktorí v období medzi 17. až 19. storočím začali pôsobiť ako profesionálni byrokrati a úradníci v Japonsku. Ich úlohou bolo dozorovať lokálne komunity.
Väčšina z členov Jakuzy tvrdí, že sú pokrvnými príbuznými samurajských "Robinov Hoodov", ale dôkazy poukazujú na to, že sú skôr pokračovateľmi Roninov, teda samurajských "nepodarkov". Roninovia mali na hroboch ich šéfov spáchať seppuku. Neurobili tak, porušili pravidlá a začali sa bezcieľne potulovať krajinou. Mali dlhé vlasy a zvláštne oblečenie, dorozumievali sa tajným jazykom a často zastrašovali obyčajných ľudí. Z mnohých sa stali žoldnieri, do armády vstupovali pre peniaze.
Jakuza tiež vznikala z lokálnych partií silných mužov, ktorí chránili svoje komunity. Vo väčších mestách pôsobilo niekoľko takýchto partií, ktoré medzi sebou bojovali v snahe získať územia, peniaze a vplyv. Tá súčasná Jakuza je vlastne kombináciou lokálnych skupín, farebnej módy a jazyka Roninov.
Ďalšie z konárov Jakuzy sa objavili v japonskej spoločnosti v 18. storočí, boli to kočovní kšeftári a gambleri. Obe skupiny patrili k spodine spoločnosti. Kšeftári poskytovali ochranu trhovníkom na veľkých trhoch, gambleri pôsobili ako úžerníci. Gamblovanie bolo pritom ilegálne.
Posledná skupina Jakuzy sa sformovala až medzi dvoma svetovými vojnami, po tom, ako sa Japonsko spriemyselnilo a zurbanizovalo. V spoločnosti začali pôsobiť skupiny "boryokudan", teda skupiny mladých násilníkov, ktorí poskytovali svoje služby - násilnosti za peniaze. "Boryokudanov" si najímal aj štát, aby potlačili odborárov a ľavičiarov. Mali sa stať ultranacionalistickým hnutím zloženým z vládnych politikov, armádnych oficierov, bojovníkov a členov podsvetia. Najznámejšou skupinou bola Spoločnosť Čiernych drakov (Black Dragon Society), ktorá pre japonskú vládu vykonávala špionáž.
Najznámejším z rituálov Jakuzy je odsekávanie prstov. Akákoľvek forma odporu proti autorite je potrestaná tým, že člen Jakuzy si odsekne posledný článok z malíčka a ponúkne ho nadriadenému. Zmysel je prozaický - bez malíčka sa ťažšie narába s mečom, a tak sa potrestaný bude musieť čoraz viac spoliehať na skupinu, teda Jakuzu. Členovia Jakuzy v súčasnosti občas nosia protézy, aby zahladili túto strach naháňajúcu poveru. Japonské médiá dokonca začali pridávať extra prsty postavičkám zo zahraničných rozprávok, ktorým prirodzene nejaké články chýbajú, aby sa japonské deti nevystrašili.
Na rozdiel od talianskej mafie a čínskych triád, Jakuza nie je tajnou organizáciou. Naopak, má vybudovanú sieť úradov. Členovia Jakuzy majú na vizitkách uvedenú aj príslušnú podskupinu a nosia slnečné okuliare a farebné obleky, aby sa ľahšie identifikovali. Oficiálni predstavitelia ich uznávajú ako alternatívnu formu verejných správcov.
V súčasnosti sa v rámci modernej formy popravy sústreďujú na veľké korporácie. Jakuza skúpi niekoľko akcií podniku, a na zhromaždeniach akcionárov potom zastrašuje vedenie podniku a núti ho, aby Jakuzu vyplatilo alebo si ju najalo ako bezpečnostnú službu. Jakuza tiež často rôznymi metódami prinúti majiteľov menších pozemkov, aby ich predali a umožnili tak veľkým developerom dominovať na scéne.
