版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目v1.22020-08-08朋友面试数据专家提供的数据驱动，spark及flink方面面试题v1.32020-08-22朋友面试数据开发提供的关于hive及数仓方面的题目v1.42020-09-06老徐提供面试题(数仓方向)及朋友提供数据开...

Spark 大数据处理框架简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而...

1、列出根目录下所有的目录或文件hadoop fs -ls /2、列出/user目录下的所有目录和文件Hadoop dfs -ls /user3、列出/user目录及其子目录下的所有文件（谨慎使用）hadoop dfs -ls -R /user4、创建/soft目录hadoop dfs -mkdir /soft5、创建多级目录had...

版本更新时间更新内容v1.02020-07-01新建v1.12020-07-18朋友面试大数据工程师提供的关于架构及数仓方面的题目v1.22020-08-08朋友面试数据专家提供的数据驱动，spark及flink方面面试题v1.32020-08-22朋友面试数据开发提供的关于hive及数仓方面的题目v1.42020-09-06老徐提供面试题(数仓方向)及朋友提供数据开...

Spark 大数据处理框架简介Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架。Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而...

一、用户画像基础概念用户画像，即用户信息标签化，通过收集用户的社会属性、消费习惯、偏好特征等各个维度的数据，对用户特征属性进行刻画，并对这些特征进行分析、统计，挖掘潜在价值信息，从而抽象出用户的信息全貌。作为一种勾画目标用户、联系用户诉求与设计方向的有效工具，用户画像已在各领域得到了广泛的应用。用户画像在实际应用中往往以最为浅显和贴近生活的话语将用户的属性、行为与期待的数据转化联结起来。如下用户画

一、试验环境Windows：IDEALinux：Kafka，Zookeeper二、POM和Demo2.1、pom.xml文件<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0"xmlns:xsi="http://www.w3....

编者荐语：作为一名土生土长的陕西人，我曾经在西安上了7年的学(本硕)，2018年硕士毕业来到深圳，已工作3年左右。最近几年西安的热度不断，抖音上不倒翁小姐姐、大唐不夜城火了，全国十四运这个夏天也要来了。今天，就让我们一起以程序员的视角带你去看看西安。以下文章来源于微信公众号CS指南，作者大白最近越来越多的人关注到西安这座城市，西安热度和知名度进一步提升，抖音上不倒翁小姐姐和大唐不夜城火了，全国第十