De Ben. Labregroep is op 2 januari 1931 opgericht door Cornelis Kersten en pastoor Scheapman in de Bilt. Scoutinggroep Ben Labre is als Verkennergroep voor Katholieke jongens opgericht. Een jaar na de oprichting begon juffrouw van de Velden als Akela een welpenhorde. Om ook voor meisjes scouting aan te bieden werd in 1946 de Rose de Lima groep in de Bilt opgericht.

Deze is in 1962 wegens gebrek aan leiding opgeheven. Ben Labre groeide  snel en voor de oudere jongens werd in augustus 1967 de Rowanafdeling: RA 162 opgericht, welke in 1972 een eigen houten gebouwtje naast het clubgebouw kreeg. In september 1969 werden met de oudste jongens die de Rowans verlieten de Voortrekkers opgericht, die in januari 1970 als 'Cornelis Kerstenstam' geïnstalleerd werden. Snel daarna werden er ook meisjes bij deze speltak toegelaten. De naam van de van de meisjestak: ‘Pioniersters’ werd samengevoegd met ‘Voortrekkers tot Pivo’s. In augustus 1983 werden voor jongens en meisjes van 5 tot 7 jaar bij scoutinggroep Ben Labre de Bevers opgericht. Hiermee was het eerste gemengde jeugdspeltak een feit. Het succes van deze groep leidde de discussie in, om de jongensgroep om te vormen naar een gemengde groep. Vanaf augustus 1984 staan alle speltakken bij scoutinggroep Ben Labre open voor zowel jongens als meisjes. In 2000 is door een actieve groep vaders de Bravo’s opgericht. Dit is geen ‘officiële’ speltak, maar de bravo’s  komen regelmatig bijeen en spelen daarnaast een rol in de regelmatige kluswerkzaamheden in en om het gebouw.