thrift源码分析（thrift include）
本文目录一览：
- 1、spark thrift server 与 网易 kyuubi thrift server
- 2、如何使用c++开发storm程序
- 3、如何开发thritf spark
- 4、Doris 源码分析 (二) 代码结构分析
- 5、thrift c++ 服务端的异步怎么实现
spark thrift server 与 网易 kyuubi thrift server
thrift server可以实现通过jdbc， beeline等工具，实现连接到spark集群，并提交sql查询的机制。
默认情况下，cdh安装的spark没有包含thrift server模块，因此我们需要重新编译spark。
另外，为了不影响cdh自带的spark，而且spark目前都是基于yarn运行的，本身也没有什么独立的服务部署（除了history sever）。
所以，在一个集群中，可以部署安装多个版本的spark。
我们使用源码编译的spark 2.4.0（其中hive的版本是1.2.1）
cdh集成的spark版本和Hive版本如下：
使用jdk1.8
修改spark提供的mvn，使用自行安装的maven 3.8.1
使用make-distribution.sh可以帮助与我们编译之后打包成tgz文件
修改pom.xml文件的配置如下。
最后，执行编译命令如下：
这样打出的包，就含有thrift server的jar包了。
最终打包文件，根目录下。
之后就是解压到其他目录下后即可。
将hive-site.xml的文件连接过来，这样spark就可以读取hive的表了。
为了确保spark提交到yarn上运行，需要配置
cp spark-defaults.conf.template spar-defaults.conf
另外，可以在spark-env.sh中设置环境变量。
HADOOP_CONF_DIR
环境变量，也可以在/etc/profile中设置
启动日志可以查看，注意下端口占用问题，如下。
启动时候，使用beeline工具连接上，主要这里不用使用cdh默认安装hive提供的beeline工具，应为版本太高。
使用编译后spark生成beeline工具
参考beeline使用教程。
kyuubi是基于thrift sever二次开发，在系能和安全上优于thrift server。
鉴于目前hive的版本是2.1，而最新的kyuubi的hive是2.3，所以采用前天版本的kyuubi，采用0.7版本，保证hive的版本小于当前集群中的hive版本。
使用build目录下的dist脚本进行编译和打包。
编译成功后，会在更目录下出现tar.gz的压缩文件，如上图。
之后解压到目录下。
配置bin/kyuubi-env.sh脚本，设置spark路径
执行bin/start-kyuubi.sh命令即可。
访问的方式同样采用beelin，注意使用上面章节的beeline工具。
访问后，可以通过beeline访问到hive的表（在spark中已经配置了hive-site.xml）
!connect jdbc: hive2://xxxx:10009 即可。
如何使用c++开发storm程序
最近公司有个需求，需要在后端应用服务器上实时获取STORM集群的运行信息和topology相关的提交和控制，经过几天对STORM UI和CMD源码的分析，得出可以通过其thrift接口调用实现这些功能。先下载一个thrift库进行编码和安装。关于thrift可以参见这个地方。安装完成后，从STORM源码中将storm.thrift拷贝到thrift目录下。输入:
hrift -gen cpp storm.thrift
会得到一个gen-cpp目录，里面就是thrift先关脚本的C++实现。我们先看storm.thrift文件接口：
view sourceprint?
01.service Nimbus
02.{
03.//TOPOLOGY上传接口
04.void submitTopology(1: string name, 2: string uploadedJarLocation, 3: string jsonConf,4: StormTopology topology);
05.void submitTopologyWithOpts(1: string name, 2: string uploadedJarLocation, 3: string jsonConf, 4: StormTopology topology, 5: SubmitOptions options);
06.void killTopology(1: string name);
07.void killTopologyWithOpts(1: string name, 2: KillOptions options) throws (1: NotAliveException e);
08.void activate(1: string name) ;
09.void deactivate(1: string name);
10.void rebalance(1: string name, 2: RebalanceOptions options);
11.
12.//TOPOLOGY JAR包上传接口
13.string beginFileUpload();
14.void uploadChunk(1: string location, 2: binary chunk);
15.void finishFileUpload(1: string location);
16.string beginFileDownload(1: string file);
17.binary downloadChunk(1: string id);
18.
19.//获取NIMBUS的配置信息
20.string getNimbusConf();
21.//获取STORM集群运行信息
22.ClusterSummary getClusterInfo();
23.//获取TOPOLOGY的运行状态信息
24.TopologyInfo getTopologyInfo(1: string id);
25.//获取TOPOLOGY对象信息
26.string getTopologyConf(1: string id);
27.StormTopology getTopology(1: string id);
28.StormTopology getUserTopology(1: string id);
29.}
生成C++文件后，我们就可以对其接口进行调用，由于thrift c++框架是使用boost库实现的，必须安装boost库依赖。实现的代码如下：
view sourceprint?
01.#define HAVE_NETDB_H //使用网络模块的宏必须打开
02.#include "Nimbus.h"
03.#include "storm_types.h"
04.
05.#include string
06.#include iostream
07.#include set
08.
09.#include transport/TSocket.h
10.#include transport/TBufferTransports.h
11.#include protocol/TBinaryProtocol.h
12.int test_storm_thrift()
13.{
14.boost::shared_ptrTSocket tsocket(new TSocket("storm-nimbus-server", 6627));
15.boost::shared_ptrTTransport ttransport(new TFramedTransport(tsocket, 1024 * 512));//此处必须使用TFramedTransport
16.boost::shared_ptrTProtocol tprotocol(new TBinaryProtocol(ttransport));
17.try{
18.//创建一个nimbus客户端对象
19.NimbusClient client(tprotocol);
20.//打开通道
21.ttransport-open();
22.
23.ClusterSummary summ;
24.std::string conf;
25.//对STORM的RPC调用，直接获取信息，同步进行的。
26.client.getNimbusConf(conf);
27.client.getClusterInfo(summ);
28.//关闭通道
29.ttransport-close();
30.}catch(TException tx){
31.printf("InvalidOperation: %s
32.", tx.what());
33.}
34.}
以上代码就可以直接获取nimbus的配置和集群信息，其他接口以此类推。值得注意的是storm.thrift to C++生成的storm_types.h文件里其中operator 函数都未实现，所以必须手动进行添加实现，否则编译会有问题。
不仅仅C++可以实现STORM的控制，PHP和其他的语言也可以实现，只要thrift支持就OK。有兴趣可以实现一下试试看。
转载
如何开发thritf spark
附上源码分析。
1：ThriftServer和CLI的命令参数
A：令人惊讶的CLI
刚部署好spark1.1就迫不及待地先测试CLI，对于习惯了sql命令行的本人，失去了shark后，对于sparkSQL1.0一度很是抵触（其实对于开发调试人员来说，spark-shell才是利器，可以很方便得使用各个spark生态中的组件）。急切中，没有关闭hive metastore服务，然后一个bin/spark-s
Doris 源码分析 (二) 代码结构分析
注 正如上图所示， FE 端主要是 PaloFe 开启的服务入口, 后端为 doris_main 开启的服务入口，前后端交互主要靠 thrift rpc 进行调用。 FE 中主从选举及元数据操作日志同步等均依托 bdbje 主从方案来实现。
元数据变更日志主要靠 bdbje 的主从复制来完成如下图：
注 元数据的数据流具体过程如上图所示，步骤如下：
thrift c++ 服务端的异步怎么实现
仰望明天
thrift服务端的c++语言实现
1.thrift 概念1
thrift是一个软件框架，用来进行可扩展且跨语言的服务的开发。它结合了功能强大的软件堆栈和代码生成引擎，以构建在 C++, Java, Python, PHP, Ruby, Erlang, Perl, Haskell, C#, Cocoa, JavaScript, Node.js, Smalltalk, and OCaml 这些编程语言间无缝结合的、高效的服务。
thrift最初由facebook开发，07年四月开放源码，08年5月进入apache孵化器。
thrift允许你定义一个简单的定义文件中的数据类型和服务接口。以作为输入文件，编译器生成代码用来方便地生成RPC客户端和服务器通信的无缝跨编程语言。
2.生成c++语言的thrift服务端
利用thrift软件框架进行开发要首先进行环境的搭建，安装thrift运行库。
基本流程如下：
1）定义数据类型和服务接口文件：test.thrift；
2）利用代码生成引擎生成服务端框架，thrift --gen cpp test.thrift；
3）在./gen-cpp/test_server.skeleton.cpp文件中添加定制的服务；
4）编写客户端程序向服务端请求服务。
详细过程可以参加注释2给出的链接地址。
thrift定义了自己的数据类型，从而实现了跨语言平台之间的数据交换，关于thrift数据类型的详细说明可以参加注释3给出的链接地址。
3.php客户端
基于c++语言实现的thrift服务端程序经常被用在网站的后台提供实时且高效的服务，通常客户端程序是php语言的实现版本。只要根据数据类型和服务接口文件test.thrift生成php语言的接口文件即可用来调用。方法是thrift --gen php test.thrift，调用该命令后会在工作目录下生成./gen-php目录，里面有php语言的接口文件。
注释：
