始，蕃受学于刘清之，清之守衡州，乃求监安仁赡军酒库，因以卒业。至衡而清之罢，蕃即丐祠，从清之归。其后真德秀书之《国史》曰："蕃于师友之际盖如此，肯负国乎！"家居，连书祠官之考者三十有一，理宗即位，以太社令与刘宰同召，不拜，特改奉议郎、直秘阁，又辞。奉祠，得致仕，转承议郎，依前直秘阁。卒，年八十七。
蕃年五十，犹问学于朱熹。既耄，犹患末路之难，命所居曰难斋。蕃赋性宽平，与人乐易而刚介不可夺。丞相周必大与蕃契，屡加引荐，蕃竟不受。宰之言曰："文献之家，典刑之彦，岿然独存，犹有以系学者之望者，蕃一人而已。"信州守吴旂乞录其后，诏其子遂补上州文学，遂亦力辞。又诏以承务郎致仕，与一子恩泽。景定三年，秘阁修撰郑协等请谥，乃谥文节。