Men selvfølgelig har Inga paany gjennemlevet en forskrækkelsens nat. Hun maatte jo hvert øieblik vente at se barnet revet ud af sine arme. Hvilke forholdsregler hun greb til, ved vi ikke; men lykkeligvis synes Baglerne ikke at have gjort byens kvinder fortræd, og saa er hun vel med den lille gut sammen med saa mange andre sluppet ubemærket bort (saaledes ogsaa Munch III s. 495–96).
Det følgende aar (1206–7) tilbragte Inga af Varteig med sin søn ved jarlen Haakon galens hird. Han var som bekjendt kong Inges halvbror og dattersøn af kong Sverres foregivne far Sigurd Mund. Hans grunde til saa varmt at tage sig af det unge kongsemne kan vel have været forskjellige. I ethvert fald greb han ofte anledningen til at fremhæve guttens fortrinsret til tronarvefølgen. Inga maa derfor have følt sig nogenlunde tryg i hans nærhed, om man end øiner, at hendes forhold til jarlens svenske hustru Kristine Nikolasdatter, en søsterdatter af Sverres efterlevende dronning, den svenske kong Erik den helliges datter Margrete, ikke har været de bedste.
Det varede imidlertid ikke længe, før Inga for sit barns skyld paany skulde udstaa en haard tid. Hun blev i sandhed ikke sparet for at erfare, hvorledes det i hine tvedragtens dage var at vide sig som mor til en vordende konge.
Da kong Inge og Haakon jarl vaaren 1207 drog sydover med sin flaade for at bekjæmpe Baglerne, tog de for sikkerheds skyld de kvindelige medlemmer af kongeætten med sig og deriblandt ogsaa Inga af Varteig med hendes sen. I Bergen efterlodes damerne og kongsemnet paa borgen Sverresborg, som det tryggeste sted, hvor de kunde anbringes. Medens Inge og Haakon drog længere syd og østover og ud paa sommeren beseirede Baglerne
