Грунтовые воды доступны во многих регионах и имеют средние температуры 4-10 градусов. Для использования данного источника применяют открытые или закрытые системы. В открытых системах грунтовые воды закачивают, охлаждаются, а затем сливаются в отдельный резервуар или возвращают в поверхностные воды. Открытые системы должны быть тщательно проработаны, чтобы избежать таких проблем, как замерзание, коррозия и загрязнение.
Закрытые системы могут представлять собой либо прямую расширительную систему с рабочей жидкостью, испаряющейся в подземных теплообменных радиаторах, либо спиральную систему труб (зондов) с соляным рассолом. Благодаря дополнительной разности температур закрытые системы обычно имеют более низкую производительность, но проще в обслуживании. Основным недостатком подобных тепловых насосов является стоимость установки. Кроме того, в некоторых регионах установлены жесткие ограничения в отношении использования грунтовых вод, а также возможного загрязнения почвы.