Правильно
Каяться – является инфинитивом, который отвечает на вопрос «что делать?». Следуя правилу, которое говорит, что суффикс глагола пишется с «Ь», если данная буква пишется в проверочном вопросе, этот глагол следует писать с мягким знаком.
Убийца не торопился каяться в содеянном злодеянии.
Наконец, и ему пришла пора каяться.
В данной ситуации ей оставалось только молиться и каяться.
И тут он понял, что будет теперь каяться всю свою жизнь.
Неправильно
Каятся, каятьца, каяцца.