Группы якудза построены по принципу жёсткой иерархии и их внутренняя жизнь регулируется различными кодексами поведения. Такие группы есть почти на всех японских островах, а также кое-где за границами Японии. В разговорах якудза пользуются особым жаргоном и в наши дни выдают себя обычно за бизнесменов. С 1993 года отношение властей к якудза стало значительно более жёстким, что было спровоцировано получившим большую огласку инцидентом нападения на кинорежиссёра Дзюдзо Итами членами клана Гото (Гото-гуми). Теперь даже принадлежность к гуми (банда якудза) уголовно наказуема, что всё больше вынуждает современных якудза к переходу на нелегальное положение. Вследствие этого обострились отношения якудза с полицией (эти отношения в силу истории формирования феномена якудза не всегда были плохими) и упал их общественный авторитет.

Центральной фигурой в иерархии якудза является оябун (букв. «шеф»), который примерно соответствует русскому вору в законе. Иногда в качестве синонима для оябуна используется обращение кумитё (букв. «старший начальник»).

Банды якудза, как правило, состоят из старших бригадиров сятэй («младшие братья»), младших бригадиров вакасю («юнцы») и простых якудза. Термин «якудза» пришёл из японской карточной игры ойчо-кабу (в которую играют картами ханафуда и кабуфуда) и означает «никчёмный». Так же, как в игре в «баккара», значения карт складываются вместе и последняя цифра суммы считается количеством очков. Худшее сочетание карт в игре: восьмёрка, девятка и тройка, что даёт в сумме 20 и 0 очков. В традиционной японской форме счёта эти числа называются соответственно «я», «ку» и «са», откуда и возникло слово «якудза». Якудза уже в течение столетий используют обширные татуировки как знак принадлежности к какой-либо группе, а также чтобы обозначить своё положение в группе. В случае совершения якудза ошибки, приведшей к «потере лица», он обязан её искупить, при этом он отрубает себе фалангу пальца с помощью танто и молотка. Как правило, начинают с первой фаланги мизинца левой руки. Этот ритуал берёт своё начало ещё с тех времён, когда меч был жизненно необходим. С каждой потерянной фалангой владение мечом становилось хуже, и так до тех пор, пока, наконец, управляться с мечом становилось совершенно невозможно. У старых якудза часто отсутствуют некоторые фаланги пальцев, что они скрывают с помощью протезов, чтобы не выдавать свою принадлежность к уголовному миру.

Значительно более радикальным видом расплаты является сэппуку, ритуальное самоубийство путём вспарывания живота.