Bo groeide aanvankelijk op bij zijn grootouders die in de kampong woonden. Toen hij in de derde klas van de Lagere School zat, werd hij teruggestuurd naar zijn ouders. Dat was voor hem een grote overgang omdat hij van het vrije leven in de kampong terecht kwam in een streng katholiek gezin, dat woonde in een stenen huis.Japanse invasie
Toen de Japanners Nederlands-Indië begin 1942 veroverden maakte men de belangrijkste apparatuur van de Ombilinmijn onklaar door deze in het water af te laten zinken. Hierop werden veel mensen gearresteerd en in gijzeling genomen door de Japanners, waaronder ook de jonge Bo Keller.  Het gezin Keller leed armoede omdat de Ombilin-Mijn buiten werking was gesteld. De periode tot het einde van de oorlog bracht hij door in diverse Japanse vrouwen- en mannenkampen.
Hij was ook een jaar opgesloten in de gevangenis van Padang.
Zie de film bij  Stichting Oorlogsverhalen