Правильно
Потихоньку – неизменяемая часть речи – наречие, отвечает на вопрос «как?». Образовано от наречия «тихонько» с помощью приставки «по». Единственно правильное написание – слитное, так как подчиняется правилу: наречия, которые образованы от других наречий и приставок, всегда пишутся слитно. Означает «не торопясь, медленно».
Он любил потихоньку уйти в парк и там гулять до самого обеда.
После поломки машины нам пришлось ехать потихоньку.
Она потихоньку вошла в комнату, чтобы проверить уснули ли дети.
Ходила старушка потихоньку, спешить ей было некуда.
Неправильно
По тихоньку.