TabGroupPaneのタブは、こちら↓

なのですが、このタブの高さを変更したい場合は、この部分を描画しているPaneTabItemの高さを指定してください。
<igDock:XamDockManager.Resources>
<Style TargetType="{x:Type igDock:PaneTabItem}">
<Setter Property="Height" Value="60"/>
</Style>
</igDock:XamDockManager.Resources>
<igDock:XamDockManager.Resources>
<Style TargetType="{x:Type igDock:PaneTabItem}">
<Setter Property="Height" Value="60"/>
</Style>
</igDock:XamDockManager.Resources>
<igDock:XamDockManager.Resources> <Style TargetType="{x:Type igDock:PaneTabItem}"> <Setter Property="Height" Value="60"/> </Style> </igDock:XamDockManager.Resources>
実行結果

サンプル