Правильно
Покаяться – данный глагол отвечает на вопрос «что сделать?», потому как представляет собой инфинитив. Слово следует писать с мягким знаком. На это указывает наличие этой буквы в проверочном к глаголу вопросе.
Покаяться тебе надо в своих грехах, сын мой.
Хотелось бы покаяться, да не получается.
Подельники решили признать свою вину и покаяться.
Неправильно
Покаятся, покаятьца, покаяцца.