大家好,我是菜哥,这是我们量化系列教程的内容,如果已经订阅了我们小册的同学,可以不用看了。
我的小册:(小白零基础用Python量化股票分析小册) ,原价199,限时特价39,满100人涨10元。
做量化就是要研究数据,数据是量化的基石,没有数据就好比巧媳妇无米之炊,市场有很多第三方的工具获取,但是都是要钱,如何才能不花钱直接拿到某一支股票的历史的所有数据呢,而且很快。最近发现腾讯的财经网站可以获取,比如上证指数只要4秒钟就可以获取34年的历史数据,还是非常爽的。
我们看一下效果,下面是上涨指数的历史数据,一共有8079个交易日的数据
下面给大家讲一下,我是如何爬取这个数据的!首先打开腾讯证券首页,然后选一个股票,比如我们这里选择00001 上证指数来看一下行情,这里有分时,日线,周k,月k ,以及分钟级别的数据。
接着我们点击日k数据,因为我们主要是研究日线级别的行情,然后用chrome浏览器打开查看,进行网站内容的深入分析,我们对里面的请求进行一一分析,找到关键的url 请求,最后被我发现了,原来是在这里:
上面的红色框就是关键的url 请求,它会拿到所有的历史的日线级别的数据,我们看一下它的payload请求结果就知道了。
可以看到这里列出了很多日期,里面都是日线级别的K线数据,我们点进去看一下
这些其实就是对应我们的 股票k线里面的 '交易日期', '开盘价', '收盘价', '最高价', '最低价', '成交量', '成交额' 这些关键的值。分析完毕之后,我们只要构建一个简单的python代码就能轻松获取数据。
我们通过urlopen去简单的爬取这个网页上的k线数据,然后把这个content喂给一个handle_content去数据清洗一下,就可以得到这个df。
上面是2023年的数据,获取100根,以此类推,我们可以获取200,300根数据,然后循环爬取1990-2024每一个年份的数据就可以搞定所有的数据,然后把每一年的数据拼接起来就是整个的数据了。
其他的股票数据也是类似的,比如茅台的20几年历史数据也是分分钟就可以获取了。
拿到数据之后,我们可以分分钟画出k线图来(具体怎么画,我们的量化小册都有详细的介绍)
上图显示茅台的日线历史数据从1990年到2024年。如果想看某一段时间的也可以通过x轴放大功能来看一下,比如我们看一年的数据:
这个是近1年的k线数据,跟券商软件上的k线都是一样的,限于篇幅就不具体展开了,有兴趣的可以自己研究一下。
发表评论