星野によると、右翼思想の持ち主であったという。安保反対の学生運動が盛んなころ、ピケを張り、デモに参加している学生を見て、当時主将だった星野に「おい星野、あれは赤か?」と聞いた。星野が「そのようですね」と返事すると、島岡はその学生を殴るよう命じた。星野は見ず知らず、しかもこちらに対して悪意のない連中を殴るのはと内心ためらったものの、「御大の命令とあらば、たとえ火の中、水の中」とばかりに殴りかかったという（『星野仙一のすばらしき野球野郎』1983/7 日刊スポーツ出版社 ISBN 4-8172-0066-9）。
