1969年のドラフト7位でヤクルトアトムズに入団。
1年目の1970年シーズン中に当時の正捕手加藤俊夫が交通事故を引き起こし、球団から出場停止処分を受けたこともあり、以後レギュラーとしてマスクをかぶる。
1971年には初の規定打席（23位、打率.231）に到達し、オールスターゲームでもファン投票で初出場を果たす。
1978年には正捕手としてヤクルト球団初のリーグ優勝に貢献。4月5日の阪神タイガース戦では代打で古沢憲司からサヨナラ本塁打を打っている。
阪急との日本シリーズでも全7戦に先発出場し24打数6安打4打点1本塁打を記録、投手陣を好リードしチームを日本一に導く。
1980年には打率.283（16位）の好成績を残した。
1984年からコーチ兼任となり、1985年に38歳で現役を引退した。
引退後、1986年から1992年までフジテレビ・ニッポン放送の野球解説者として活動。
その傍らでフジテレビ系『ものまね王座決定戦』の審査員も長く務め、
現役時代を知らなかった、もしくは野球に興味を持っていなかったお茶の間の視聴者にも大矢の名前と顔が広く知られた。
1993年から1995年まで横浜ベイスターズのバッテリーコーチを務め、谷繁元信を徹底的に鍛え上げて一流の捕手へと育てた。
1996年、前年度チーム16年ぶりの勝ち越しを決めながらも退任した近藤昭仁の後任として横浜の監督に昇格。
1年目は完全最下位寸前の成績に終わるが、2年目の1997年にはマシンガン打線を擁し37年ぶりのリーグ優勝に迫るシーズン2位の成績を残すも、監督を辞任した。
その後、1998年から2006年までフジテレビ・ニッポン放送の野球解説者として活動。
（実は1998年オフ、野村克也のヤクルト監督退任時に後任候補として名が挙がっていたが「教え子たちと戦う事は辛い」として辞退）。
2007年、横浜の監督に再び就任。
1年目はシーズン4位の成績を残すも、翌年のシーズン終了後に正式に退任した。
2010年から再びフジテレビ・ニッポン放送の野球解説者を務めている。
また、「サントリー ザ・プレミアム・モルツ ドリームマッチ」でモルツ球団に相対するチーム「ドリームヒーローズ」のゼネラルマネージャーを務めている。
