图数据库无缝集成Tushare接口

     使用第三方API，有助于我们快速集成数据，构建业务分析需要的知识图谱数据。这篇文章主要介绍如何将Tushare HTTP接口集成到图数据库，并使用Cypher构建知识图谱。

     在开始集成前，请确保你的图数据库安装了APOC组件，并保证apoc.load.jsonParams过程可以正常使用。APOC同时还支持JSON Path，即以特定模式搜索JSON文档中的数据项并返回其内容，其概念类似应用于XML的XPath和应用于HTML的jQuery。更多使用方式可以查看Neo4j社区技术专家俞博士的文章Neo4j图数据库高级应用系列 / 服务器扩展指南 APOC(5.5) – 导入JSON数据。

一、Tushare介绍

     Tushare是一个免费、开源的python财经数据接口包。主要实现对股票等金融数据从数据采集、清洗加工到数据存储的过程，能够为金融分析人员提供快速、整洁、和多样的便于分析的数据，为他们在数据获取方面极大地减轻工作量，使他们更加专注于策略和模型的研究与实现上。

二、集成Tushare接口

    在开始集成之前请确保你有一个Tushare的访问账号。
    在图数据库的安装目录下找到conf文件夹，并在neo4j.conf文件中为Tushare HTTP API的URL定义别名，新增一行配置即可。修改配置后，重启数据库服务即可。

apoc.json.tushare.url=http://api.tushare.pro

三、使用接口数据

    现在我们可以编写Cypher代码很方便地从Tushare获取数据了。下面我将演示一个申万成分股图谱构建的案例。请注意在使用Cypher脚本时请设置私有token。

    下面的代码通过分批循环调用首先从stock_basic接口获取到股票代码，然后再使用股票代码获取申万成分股时间序列数据。每个股票代码调用index_member接口之前，设置了执行四百万次加法运算表示进行延时1~2秒，这个操作的目的是为了保证HTTP接口调用时不要超过接口频率限制。

• stock_basic接口
  

• index_member接口
  

//循环获取所有股票代码
WITH RANGE(1,10) AS list,1000 AS limit
UNWIND list AS num
WITH num*limit AS offset,limit
//分批获取股票代码
WITH 
    '{"api_name":"stock_basic","token":"xxxxxxxxxxx","params":{"limit":"'+limit+'","offset":"'+offset+'"},"fields":"ts_code"}' AS payload
CALL apoc.load.jsonParams(
    'tushare',
    NULL,
    payload,
    NULL,
    {}) yield value
WITH value.data.has_more AS has_more,value.data.items AS stocks
WHERE has_more
//获取申万成分数据
WITH has_more,stocks
UNWIND stocks AS stock
WITH stock
//延时执行【HTTP API对调用频率有限制，让函数执行四百万次加法，耗时大概1~2秒】
WITH RANGE(1,2000) AS l,stock UNWIND l AS a UNWIND l AS b WITH SUM(a+b) AS delay,stock
WITH 
    '{"api_name":"index_member","token":"xxxxxxxxxxx","params":{"ts_code":"'+stock[0]+'"},"fields":"index_code,index_name,con_code,con_name,in_date,out_date,is_new"}' AS payload
CALL apoc.load.jsonParams(
    'tushare',
    NULL,
    payload,
    NULL,
    {}) yield value
WITH value.data.items AS items
//构建申万行业成分股图谱
UNWIND items AS item
WITH item
MERGE (stk:股票 {code:item[2]}) SET stk+={name:item[3]+'('+item[2]+')'}
MERGE (hy:申万行业 {code:item[0]}) SET hy+={name:item[1]+'('+item[0]+')'}
CREATE (stk)-[r:属于]->(hy) SET r+={in_date:item[4],out_date:item[5],is_new:item[6]}