低学年から学習させなければいけないのでしょうか？

成績資料を拝見しないと具体的な対策はわかりませんが、まず明確にしておきたい事は、低学年から塾に通っていた子だけが成績上位層にいるわけではないということです。

確かに低学年時から塾での学習を重ねているほうが学習量や経験からも有利であるとは言えますが、それが4年生以降の成績に必ず直結しているわけではありません。
上位のお子さん達はやはり上位にいるだけの学習量と質を保っています。

まずはお子さんの現状に合わせて、やるべき事を明確にし、やるべきタイミングを計る事をお勧めします。