福岡県出身。21歳でプロ入り。1962年に霞ヶ関ＣＣ（埼玉県）とトーナメントプロとしての年間契約を締結。従来のゴルフ場専属ではなく、トーナメント中心で活動する新しいスタイルの先駆けとなった。
その後、故郷・福岡県の玄海ＧＣに移り、以降は九州を拠点にする。切れ味鋭いショットで「玄海の荒法師」の異名を取り、1971年には杉本英世とのプレーオフの末に日本オープン制覇。42歳の時だった。シニア入り後も日本プロシニアをはじめ、数々のタイトルを獲得。レギュラー時代と合わせて23勝を挙げている。
九州で多くの後進を育てたことでも知られる。尾崎将司がプロ野球西鉄ライオンズの選手からプロゴルファーを目指した際に最初に門を叩いたのが藤井だった。
日本プロゴルフ協会では1974年から88年にかけて理事を務め、2004年には文部科学省スポーツ功労者顕彰を受けている。