Размер реестра ограничивается параметром RegistrySizeLimit (тип REG_DWORD) в разделе реестра HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control.

Увеличить максимальное значение его объема можно и в окне "Virtual Memory" диалога System Properties > Advanced > Performance Options > Change