回龙阁的前身是回龙廟，追溯历史可早至隋唐，而兴盛于南宋。其盛名不仅仅是因为香火旺盛，更多是因为当时兴盛的文玩雅集（类似现今的古玩市场），宋时就有“南门画院、北门回龙廟”之说。至1926年，清末举人冯景神速国在回龙廟前路开设“回龙廟茶馆”，成为民国时期杭州首个文化交流场所。茶馆二楼有匾曰“回龙阁”，文人雅士常聚集在此切磋书画技艺、交流古玩心得。
    改革开放后，浙江省收藏协会副会长胡龙官恢复并传承了“回龙廟（阁）雅集”的传统精髓，推广传统文化交流，推动藏品鉴赏、收藏，切磋书画技艺的文化经营，使现今位于河坊街历史街区的“回龙廟（阁）”成为杭州传统文化交流的有名场所之一。