1909年冬，西洋力士奥皮音在阿波罗影戏院露肌健美，称华人为东亚病夫。展示肌肉在当时蔚为风气，陈公哲等人有一张合照，着斜肩豹纹连体衣，做出各种健美的姿势，与营养不良的国民相比，他们个个肌肉发达。同盟会会员陈其美、农劲荪和五金行经理陈公哲等人气愤之下开会商讨，决定请个高人煞煞洋人威风。农劲荪和当时在他所开药栈当伙计的霍元甲实为好友，霍在河北也颇有武名，能轻松挑的起500斤柴，一人打得十几个无赖跪地求饶，还吓跑过俄国大力士。霍元甲被请到竹深居茶社暂住，奥皮音坚持用西洋规矩，手带皮套，只击腹围上部，不许踢，霍元甲则要求手足并用，最后双方同意摔跤决胜负，约好在张氏莼味园比赛。

结果那天奥皮音逃得无影无踪，发起人失望之余，提议众宾可以登台比武，由刘振声和霍元甲接招，霍元甲与海门张姓拳师的比武中，“右手执张臂，出左手揽其腰间，轻轻抱起，张某两足离地，霍将其置于地上”。这个比武只有一个回合，远不是影视中血肉四溅的厮杀。但霍元甲还是凭此役名声大噪，陈其美考虑到武装起义推翻帝制需要军事人才，他提出:“希望十年内训练出千万名既有强健体魄，又有军事技能的青年，以适应大规模革命运动和改良军事的需要。”革命组织为了不引起当局注意，采用体育办学的方式聚众是常事。1905年，徐锡麟、陶成章托名为清廷征兵，在大通师范学堂购步枪50支，子弹2万发，学生均入光复会。毕业后还能得到清廷发的文凭，背面却印有组织暗号。生源也都是擅长狩猎、射击的浙东山地学生，秋瑾还在该校穿男装教过骑马、击剑、实弹射击，被乡绅群起攻之。

陈公哲和现在的副会长贾瑞宝都矢口否认精武会有任何政治倾向。在陈炯明兵变后，陈公哲还在船上与孙中山长谈，阐述精武会为何不介入政治并求得谅解。但是精武会的成员复杂也是事实，陈其美是国民党元老，陈铁笙是同盟会会员，有位别名虚吾的会友，因为他加入了虚无党。另一些主力是商界名流，比如称作“精武三公司”的陈公哲、卢炜昌、姚蟾伯，都各有实业，上海最红的是永安、先施、新新公司，所以他们三人也叫三公司。这些爱好武术的富人为精武会出钱出力，陈公哲为精武会捐献了一幢4层小楼作为办公场所，他还举例说:“精武会建会花费8000元，地段值2000元，50年后翻了10倍;友人为雏妓赎身，花费10万金，50年后雏妓鸡皮鹤发，而精武活动无已，无时不在少年时。”深为自得。霍元甲只是精武会的缘起，而精武会能够延续壮大，完全依靠这些怕惹事的商人。1912年，袁世凯解散社团，精武会因为不问政治，奇迹般地未被取缔;上世纪30年代，南京国术院想把精武体育会合并，变为国立，会员不同意。贾瑞宝说:“如果当时变成国立，就不会再有精武会了。”