但任曾家家世再显赫，也没办法改变人丁稀薄的现状，曾林的祖母一生只生育了他父亲一子，比他曾祖还要子嗣单薄，曾林的父亲像是也步入了祖父的后尘，婚后只得了一个嫡子，直到他的长兄年过十五，正要议论亲事时，他母亲才生下了他；彼时文渊公早已辞官归隐乡间，曾林的祖父已官至兵部尚书，其父为避嫌，常年在外任职，也已官至一省按察使；长兄仍在攻读，已有了举人的功名，正苦读备考会试。

承光十八年，曾林的到来，让曾家上下喜出望外，尤其是年过八十的文渊公，亲自回京将曾林接到了身边教养，祖父和祖母也将他视若至宝，万般娇养。

因自幼跟着曾祖，曾林自幼边学的很是狡猾，端的是聪颖知礼，却又不是活泼调皮，又生的英俊可爱，如珠如玉，连宫中的良妃都喜爱不已，被京中贵妇人们誉为观音座下的金童，得了一个“玉童子”的美誉；

长至五岁时，曾祖抱恙，一直缠绵病榻，曾林便被祖父祖母接到身边教养，祖母林氏待他更是娇宠，甚少教管，诸事都随他，不想念书就不念书，想练拳脚就练拳脚，连为了给曾祖治病想拜师学医，也毫不犹豫地应允了他，还托了良妃将宫中告老还乡的以为王太医请了来给他做师傅。

种种疼爱，不可尽数，长兄早不能比，便是长兄的嫡长子也不能与之相比。

年幼时，在家人的疼宠下，曾林几乎过得比皇子们都还要快活！

承光二十七年，曾祖病逝，曾家上下全部告老的告老，卸职丁忧的卸职丁忧，三年守孝之后，父亲和长兄重返朝堂，不久之后长兄被派遣随孝烈太子和九皇子巡幸山东，厄运由此降临。

承光三十年秋，五皇子孝烈太子出巡途中夭亡，承光帝和姜皇后震怒，曾林的祖父，父亲，长兄全被赐死，曾家除爵抄家，只留他和不满七岁的侄儿两人被流放西北凉州。

良妃获罪剥夺位分，出家为尼，九皇子被封了凉王，去了凉州就藩，声势赫赫的曾家一时土崩瓦解。