股票信息查询网站与股票信息爬虫
这篇文章将节省你大量翻论坛、抄作业、查资料的时间。我敢保证:投资+投行+IPO+并购+重组+股票+债券+基金+融资等找工具网站,看这一篇就够了。看论坛,找财报、查指数估值,看估值百分位,查行业数据,查研究报……这里全都有!涵盖的网站有七八十个,进行了分门别类的整理,并做了整理。废话不多说,详见正文。
1、正规交易所官网
有些第三方信息不是那么准确,到正规的交易所官网确认下是很有必要的,官网列举在下面:
上海证券交易所:www.sse.com.cn/
深圳证券交易所:http://www.szse.cn/
全国中小企业股份转让系统(新三板):http://www.neeq.com.cn/
中国金融期货交易所:http://www.cffex.com.cn/
上海期货交易所:http://www.shfe.com.cn/
大连商品交易所:http://www.dce.com.cn/
郑州商品交易所:http://www.czce.com.cn/
上海国际能源交易中心:http://www.ine.cn/
上海黄金交易所:http://www.sge.com.cn/
2、查询公司工商信息
投资理财打交道最多的就是各行各业的公司,查询公司的注册时间、注册地址、公司法人、变更信息等都可以通过下面这些平台来查。国家企业信用信息公示系统是全国性的,如果要查地方的可以直接在百度搜类似“省份+企业信用信息公示”这样的关键词就可以查到了。地方的工商行政管理局官网、红盾网也能查到公司的信息,天眼查、企查查、启信宝这些第三方平台查询的时候要注意多个渠道核实,权威的信息以政府部门为准。
国家企业信用信息公示系统:http://gsxt.saic.gov.cn/
广州商事主体信息公示平台:http://cri.gz.gov.cn/
深圳商事登记簿查询:https://app02.szmqs.gov.cn/outer/entSelect/gs.html
深圳信用网:http://www.szcredit.com.cn/
北京市企业信用信息网:http://qyxy.baic.gov.cn/
香港公司注册处综合资讯系统:http://www.icris.cr.gov.hk/csci
全国组织机构统一社会信用代码中心:http://www.nacao.org.cn/portal
天眼查:tianyancha.com
启信宝:qixin.com
企查查:qichacha.com
3、宏观数据
研究国内宏观经济状况的首选是国家统计局和央行的数据,还有一些其他平台我列在下面:
国家数据:data.stats.gov.cn
中国人民银行统计数据:http://www.pbc.gov.cn/diaochatongjisi/116219/116319/index.html
中国宏观经济数据:http://finance.sina.com.cn/mac/
全球宏观经济数据:http://finance.sina.com.cn/worldmac/
中国家庭金融调查与研究中心:https://chfs.swufe.edu.cn/dataStatistic.aspx
上海银行间同业拆放利率:http://www.shibor.org/
4、保险
要查保险产品资料的可以到原中国保险监督管理委员会网站,上面的保险机构查询可以查到保险公司的基本情况,备案产品查询则可以查到具体保险产品的条例。
保险机构查询:http://bxjg.circ.gov.cn/tabid/5254/Default.aspx
保险备案产品查询:http://bxjg.circ.gov.cn/tabid/5253/Default.aspx
5、银行理财
央行公布了国内银行金融机构的信息,碰到不熟悉的银行可以在上面查。中国理财网可以查到银行自营的理财产品,银行理财产品有个“C”开头的编号,在这个网上查到的才是银行自营的。
国内银行金融机构:http://www.cbrc.gov.cn/chinese/jrjg/index.html
中国理财网:https://www.chinawealth.com.cn/zzlc/index.shtml
6、债券
买国债、地方债之类的,可以到中国债券信息网查找相关的资讯,在债券资料复合查询平台可以查到具体的债券产品资料。
中国债券信息网:http://www.chinabond.com.cn/
债券资料复合查询:http://www.chinabond.com.cn/jsp/include/EJB/queryForm.jsp
7、P2P
了解P2P行业资讯、平台数据、平台评级等可以到以下这几个平台,每个平台数据不一致,大家对比来看:
贷罗盘:http://www.dailuopan.com/
零壹数据:http://data.01caijing.com/
网贷之家:https://www.wdzj.com/
网贷天眼:http://www.p2peye.com/
融360评级:https://www.rong360.com/licai-p2p/pingtai/rating
调查P2P资产端、股东、老赖等等可以到这些平台:
中国人民银行征信中心:http://www.pbccrc.org.cn/zxzx/index.shtml
中国执行信息公开网:http://zxgk.court.gov.cn/
全国法院被执行人信息查询:http://zhixing.court.gov.cn/search/
中登网(动产融资统一登记公示系统):https://www.zhongdengwang.org.cn/zhongdeng/index.shtml
全国公民身份证号码查询服务中心:http://www.nciic.com.cn/framework/gongzuo/index.jsp
证券期货市场失信记录查询平台(查公司股东):http://shixin.csrc.gov.cn/honestypub
国家互联网金融安全技术专家委员会(定期公布涉嫌自融报告):https://www.ifcert.org.cn/home/index
互联网金融登记披露服务平台(可查财务报表和银行白名单):https://dp.nifa.org.cn/
中国裁判文书网:http://wenshu.court.gov.cn/
裁判文书检索:http://openlaw.cn/
查询P2P平台网站的信息可以通过下面这些地方来查,包括ICP域名备案、流量情况等。ICP/IP地址/
域名信息备案管理系统:http://www.miitbeian.gov.cnAlexa
中国(查流量):www.alexa.cn/站长工具:http://tool.chinaz.com/
8、基金
了解基金资讯的平台很多,这里列举一些:
中国证券投资基金业协会(可查从业机构和人员资格):http://www.amac.org.cn/
银河证券基金研究中心:http://fund.chinastock.com.cn/
蛋卷基金:https://danjuanapp.com/rank/performance
天天基金网:http://fund.eastmoney.com/
好买基金网:http://www.howbuy.com/
蚂蚁基金网:http://www.fund123.cn/fund
同花顺爱基金:http://fund.10jqka.com.cn
9、信托
信托可以看看这个:
用益信托:http://www.yanglee.com/Product/Index.aspx
10、股票
股票资讯就多了,我这里列举一些比较知名的平台。如果你对股票感兴趣,那么下面的这些网站,可以满足你查看上市公司的财务数据,分析报告的需求:
查询指数的平台:
中证指数:http://www.csindex.com.cn/zh-CN(这个网站可以查到各类一级、二级行业的市盈率、股息率等,并且不方便计算股市总市值的小伙伴,可以用中证全指为近似值来计算巴菲特指数。)
A股主要指数估值:http://www.csindex.com.cn/zh-CN/downloads/index-information
A股各行业估值:http://www.csindex.com.cn/zh-CN/downloads/industry-price-earnings-ratio?type=zjh1
观察个股的变动:东方财富网股权质押数据:http://data.eastmoney.com/gpzy/
和讯上市公司高管持仓变动:http://stockdata.stock.hexun.com/ggzjc/history.shtml
东方财富网限售股解禁数据:http://data.eastmoney.com/dxf/default.html
看研究报告:
巨潮资讯网:http://www.cninfo.com.cn/
慧博投研资讯:http://hibor.net/
东方财富网研报中心:http://data.eastmoney.com/report/
打新债和打新股需要用到:
集思录:https://www.jisilu.cn/
同花顺新股申购:http://data.10jqka.com.cn/ipo/xgsgyzq/
东方财富新债申购:http://data.eastmoney.com/kzz/default.html
还有一些资讯网站:财联社:https://www.cailianpress.com/
华尔街见闻:https://wallstreetcn.com/
经济参考报:http://www.jjckb.cn/
第一财经网:http://www.yicai.com/
东方财富网:http://www.eastmoney.com/
财经网:http://www.caijing.com.cn/
雪球网:xueqiu.com
11、房地产
如果你关注房地产市场,也有很多数据可以查,整理如下:
自然资源部:http://data.mnr.gov.cn/
中国土地市场网:http://www.landchina.com
国信房地产信息网:http://www.realestate.cei.gov.cn/
深圳市房地产信息系统:http://ris.szpl.gov.cn/default.aspx
全国房价,租金查询水平:http://www.creprice.cn/?flag=2
房天下:http://www1.fang.com/
12、个人财务实用网站
招行个人贷款计算器:http://www.cmbchina.com/CmbWebPubInfo/Cal_Loan_Per.aspx?chnl=dkjsq
个人所得税计算器:https://www.rong360.com/calculator/gerensuodeshui.html
13、定投基金网站
如果你是刚开始定投的基金的小伙伴,那么,这几个网站就足够啦:
晨星基金网:这是⼀家全球知名的基金评级机构,可以查询到基金的评级以及相关信息。
天天基金网:这是⼀个可以支持在线投资的基金网,里面可以查到基金的净值变化、概括、基金公司、基金经理、持仓明细等⼀系列的信息,非常好用!
希望整理出来对大家有用!
更多精彩文章,请关注微信公众号:巨树金服(jushujinfu)巨树,将用最专业的金融知识和经验,教大家解读经济形势,形成自己的理财观念,跑赢通货膨胀。
本文通过具体的案例,让读者掌握Python在爬虫项目中的应用。通过本文的学习,读者可以掌握分析网页的技巧、Python编写网络程序的方法、Excel的操作,以及正则表达式的使用。这些都是爬虫项目中必备的知识和技能。
实例描述:通过编写爬虫,将指定日期时段内的全部上市公司股票数据爬取下来,并按照股票代码保存到相应的Excel文件中。
本文共计2100字左右。目录结构如下。
1 爬取股票代码
1.1 找到目标网站
1.2 打开调试窗口,查看网页代码
1.3 在网页源码中找到目标元素
1.4 分析目标源代码,找出规律
1.5 编写代码抓取股票代码
1.6 运行代码,显示结果
2 爬取股票内容
2.1 编写代码抓取批量内容
2.2 运行代码显示结果
本案例主要分为两大步骤:
(1)要知道上市公司有哪些;
(2)根据每一个上市公司的股票编号爬取数据。
由于两部分代码相对比较独立,可以做成两个代码文件。一个文件用来爬取股票代码,另一个文件用来爬取股票内容。
1 爬取股票代码爬取股票代码的基本思路是:
(1)分析网站上的网页源代码,找到目标代码。
(2)利用正则表达式,在整个网页里搜索目标代码,从而提取出所要的信息(股票代码)。
有关金融证券领域的网站一般都会有上市公司的股票代码信息。随便找一个即可。
1.1 找到目标网站
使用Chrome浏览器访问链接:
http://quote.eastmoney.com/stocklist.html。可以看到全部的股票代码。
股票代码网页
1.2 打开调试窗口,查看网页代码
保持当前浏览器窗口为活动页面,按F12键显示出网页的源代码调试窗口,单击调试窗口的Element按钮,可以看到页面的HTML代码。
调试窗口
1.3 在网页源码中找到目标元素
网页的源代码是按照HTML的语法规则自动折叠的。可以用光标在HTML代码中任意单击将其展开。当光标移动到某个元素时,会看到右测网页中对应的元素会有变化,呈现被选中状态。
选中元素
上图中,箭头所指的网页源代码,就是需要关注并爬取的内容。
1.4 分析目标源代码,找出规律
分析上图中左侧显示的内容,与右侧代码之间的对应关系。不难发现,左侧显示的每个股票代码所对应的源代码格式都是固定的。
目标源代码内容
这条源代码内容,便是要找到的目标代码。将其整理成如下字符串模版:
<li><a target="_blank" href="
http://quote.eastmoney.com/股票代码.html
其中,“.html”前面的“股票代码”就是需要抓取的内容。分析到这里,开发任务就转化成:在整个网页的源码中,找到这样结构的字符串,并将其中的股票代码提取出来。
1.5 编写代码抓取股票代码
编写代码实现urlTolist函数,并在该函数里实现主要的抓取功能:
(1)通过使用urllib.request模块中的urlopen函数访问目的链接;
(2)通过urlopen返回值的read方法获得网页的全部内容;
(3)使用re模块下的compile函数来做正则表达式的计算模版,其模版字符串就是之前分析的网页目标代码;
(4)调用re.compile返回对象的findall方法,来对网页的HTML代码进行正则表达式计算。得到的返回值code便是最终的爬取结果。
代码1:爬取股票代码
01import urllib.request #网络请求模块
import re #正则表达式模块
stock_CodeUrl = '
http://quote.eastmoney.com/stocklist.html' #要爬取的目的地址def urlTolist(url): #获取股票代码列表
allCodeList = []
html = urllib.request.urlopen(url).read() #请求链接,获取网页
html = html.decode('gbk') #转码
s = r'<li><a target="_blank" href="http://quote.eastmoney.com/\S\S(.*?).html">'
pat = re.compile(s) #创建正则表达式模版
code = pat.findall(html) #正则表达式计算
for item in code:
if item[0]=='6' or item[0]=='3' or item[0]=='0':
allCodeList.append(item)
return allCodeList #返回结果
if __name__=='__main__':
allCodelist = urlTolist(stock_CodeUrl) #调用函数
print(allCodelist[:10]) #显示前10条数据
在上面代码中,函数urlTolist的最后4行代码是为了让结果更加有效而做的数值验证。即,只有6(上海证交所)、0(深圳证交所)、3(创业板)打头的股票代码是有效代码。
在代码中,正则表达式的模版部分(代码中的第9行),有这么一段代码“\S\S(.*?)”。其中,两个“\S”表明每个股票代码的前两个都是字符,是要跳过的地方。后面的括号及里面的内容,表示需要让正则表达式来抓取的部分。(关于正则表达式,不在本书介绍的内容之内,有兴趣的读者可以自行研究。不了解也没关系,直接这么使用即可。)
1.6 运行代码,显示结果
代码运行后,显示如下内容
['600000', '600001', '600002', '600003', '600004', '600005', '600006', '600007', '600008', '600009']
可以看到,爬取的结果是以list的方式存放的。前10条都是上海证交所的股票。
2 爬取股票内容通过访问网易提供的服务接口,可以获取到股票内容。只需按照其提供的请求格式,传入股票代码及所要查看的时间段,即可得到该股票的具体数据。
为了爬取全部数据,需要遍历所有的股票代码,并调用网易的服务接口。
2.1 编写代码抓取批量内容
在代码实现上,仍然使用urllib.request模块进行网络请求,并将调用urllib.request模块下的urlretrieve函数,将返回的数据保存到Excel表里。代码如下:
代码2:爬取股票内容
import urllib.request #网络请求模块
getstocklist = __import__("11-1 爬取股票代码") #导入自定义模块
urlTolist = getstocklist.urlTolist
stock_CodeUrl = '
http://quote.eastmoney.com/stocklist.html' #爬取股票代码的目的地址start = '20161131' #设置查询股票的时间段
end='20161231'
allCodelist = urlTolist(stock_CodeUrl) #获得全部股票代码
for code in allCodelist: #遍历全部代码,调用163接口获得数据
print('正在获取%s股票数据...'%code)
if code[0]=='6':
url = 'http://quotes.money.163.com/service/chddata.html?code=0'+code+\
'&start='+start+'&end='+end+'&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
else:
url = 'http://quotes.money.163.com/service/chddata.html?code=1'+code+\
'&start='+start+'&end='+end+'&fields=TCLOSE;HIGH;LOW;TOPEN;LCLOSE;CHG;PCHG;TURNOVER;VOTURNOVER;VATURNOVER;TCAP;MCAP'
urllib.request.urlretrieve(url,'d:\\all_stock_data\\'+code+'_'+end+'.csv') #保存到Excel
代码中,设置的时间段为1个月,即从20161131到20161231。
保存的结果放在D盘的all_stock_data路径下。为了保证保存操作正常运行,需要确保D盘下存在all_stock_data文件夹(若没有,需要创建一个)。
2.2 运行代码显示结果
运行代码,输出如下结果:
正在获取600000股票数据...
正在获取600001股票数据...
正在获取600002股票数据...
正在获取600003股票数据...
正在获取600004股票数据...
正在获取600005股票数据...
正在获取600006股票数据...
正在获取600007股票数据...
正在获取600008股票数据...
正在获取600009股票数据...
正在获取600010股票数据...
正在获取600011股票数据...
……
代码运行结束之后,可以D盘的all_stock_data文件夹下找到生成的股票数据文件。
股票数据文件
至此,爬取股票数据的案例就结束了。读者可以根据上面的知识,在网上爬取更多自己需要的内容。另外,爬取的结果还可以保存到MySQL或其他类型文件中。
本文选自以《Python带我起飞——入门、进阶、实战》一书,作者李金洪,电子工业出版社2018年7月出版。本书采用“教学视频+ 图书+ QQ群交流、答疑”三维学习方案,让Python学习更轻松。
下一篇:金太阳股票交易 金太阳炒股软件