查询资料后知道有 sp_addlinkedserver 这个系统存储过程，可通过odbc连接mysql，于是下载odbc驱动，这个可通过mysql官网得到，地址：http://dev.mysql.com/downloads/。
安装驱动后配置数据源，这里注意，要用系统数据源，我在用户数据源中配置后数据源能连上mysql，但无法能过sqlserver连接，报错：data source name not found and no default driver specified，为这折腾了半小时。。
配好数据源后可使用上面的存储过程添加链接服务器，用法可查询联机丛书，这里介绍下用sql server management studio的配置方法，打开数据库链接的server objects（中文版应该是在安全性里面，我用的英文版），linked servers，右链添加链接服务器，名称随便取，执行查询语句时要用到，服务器类型选其它数据源，接口用microsoft ole db provider for odbc drivers，产品名称填mysql（有些人说不用填，不过我不填会报错），访问接口字符串填：uid=mysql用户名;pwd=mysql密码，剩下两个不填，然后点左边的安全性，选择最下面的单选按钮，填上刚才的用户名和密码确定，如果没有任何提示，说明添加成功，否则，检查吧。
执询语句的写法：select * from openquery (链接服务器名,'mysql查询语句' ) ;