业务数据保存在mysql中，定期用Sqoop导入到HDFS的ODS层，DWD层的业务数据进行简单的数据清洗并降维（退化维度）需求1：求GMV成交总额思路：在ADS层建每日GMV总和表ads_gmv_sum_daydrop table if exists ads_gmv_sum_day;create table ads_gmv_sum_day(`dt` string COM...

业务数据保存在mysql中，定期用Sqoop导入到HDFS的ODS层，DWD层的业务数据进行简单的数据清洗并降维（退化维度）需求1：求GMV成交总额思路：在ADS层建每日GMV总和表ads_gmv_sum_daydrop table if exists ads_gmv_sum_day;create table ads_gmv_sum_day(`dt` string COM...

一共有四种情况使用memcpy，对于使用&还是不适用什么时候使用一直很困惑，虽然现在仍未全部清除，不过初步已经了解一些。果然还是对指针不熟悉，否则会理解的更好。使用memcpy 拷贝数组int res2[5] = { 0 };int res2_dest[5] = { 1, 1,1,1,1 };for (int i = 0; i < 5; i++){...

Hive报错：Error: Error while processing statement: Cannot modify mapreduce.job.name at runtime.It is not in list of params that are allowed to be modified at runtime (state=42000,code=1)解决方法：在hive-site.x

前言记录spark-submit提交Spark程序出现的一个异常，以供第一次出现这种异常且不知道原因，该怎么解决的的同学参考。1、异常信息Exception in thread "main" org.apache.spark.SparkException: Application application_1529650293575_0148 finished with failed stat...

----原语句（运行18min）SELECTbb.ipFROM(SELECTip ,sum(click) click_num,...

1、连接池大小及性能选项maxActive：最主要参数，配置连接池同时能维持的最大连接数，如果客户端理论上需要100个连接，则这个值设为100。maxIdle：客户端一段时间内不需要使用连接，如果一直把所有连接池中的所有连接都维持在活动状态是很浪费资源的，如果客户端没有需求，那么最多维持maxIdle个空闲连接。minIdle：和maxIdle类似，最多维持多少个空闲连接，即使客户端没有需...

分享提纲：Doris 背景介绍适用场景 & 案例介绍Doris 整体架构Doris 关键技术Doris 背景介绍介绍 Doris 的整体架构，以及 Doris 的一些特性。一、DorisDoris 是分布式、面向交互式查询的分布式数据库，主要部分是 SQL，内部用到 MPP 技术。什么是 MPP?MPP ( Massively Parallel Processing...

前提什么是用户行为路径？ 1用户路径分析，顾名思义，用户在APP或网站中的访问行为路径。为了衡量网站优化的效果或营销推广的效果，以及了解用户行为偏好，时常要对访问路径的转换数据进行分析。以电商为例，买家从登录网站／APP到支付成功要经过首页浏览、搜索商品、加入购物车、提交订单、支付订单等过程。而在用户真实的选购过程是一个交缠反复的过程，例如提交订单后，用户可能会返回首页继续搜索商品，也可能去取消订

User Agent 中文名为用户代理，简称 UA，是一个特殊字符串头，使得服务器能够识别客户使用的操作系统及版本、CPU 类型、浏览器及版本、浏览器渲染引擎、浏览器语言、浏览器插件等。Python 爬虫通过伪装 UA 可以绕过某些检测。以下为搜集的常见的各浏览器的 User-Agent，其中：安卓操作系统：Android 7.1.1；OPPO R9sk Build/NMF26FPC...