Saam met ds. A.P. Kriel van Langlaagte kan ds. AP Burger as die grondlêer van die inrigtingsorg van die barmhartigheidsdiens van die Transvaalse NG Kerk gereken word. Die Ned. Geref. Kerk van Middelburg het ‘n huis in die middel van die dorp, reg teenoor die markplein, aangekoop. Op 5 Desember 1902 is ‘n kinderhuis vir oorlogsweeskinders daar ingerig, wat met 45 wesies begin het. Dit het nvir die onderwys in die algemeen onteenseglik veel beteken Die uitbreiding van die weeshuis was so vinnig dat ‘n groter weeshuis in 1904 betrek is – die Excelda-Weeshuis. In 1908 is die laaste 25 kinders na die Abraham Kriel-kinderhuis oorgeplaas

Ds Burger het as voorsitter van die Commissie voor Armblanken (1906) belangrike dienste verrig om verarmde landgenote te rehabiliteer en is in dieselfde jaar verantwoordelik vir die stigting van die arbeidskolonie op De Lagersdrift (Laersdrif). Hy en sy vrou het ook groot belangstelling in die sending en begin omstreeks 1905 met sendingwerk in Sekhukhuneland. Die eerste sendingstasie wat in die twintigerjare aldaar opgerig word, naamlik Burgerstasie, is na die egpaar genoem.