hive中常见的问题以及解决方案 hive中常见的问题以及解决方案本质:HDFS + MapReduce1.hive表关联查询,如何解决数据倾斜问题? 2024-01-23 大数据 > hive #bigData #hive #sql
hadoop,hive,zeppelin查看,启动,停止相关命令 hadoop,hive,zeppelin查看,启动,停止相关命令一、Hadoop1、查看1hadoop version #查看hadoop版本 1jps #查看正在运行的 Java 进程 2、启动1start-dfs.sh #启动Hadoop分布式文件系统(HDFS)的相关服务 1start-yarn.sh #启动YARN服务 1start-all.sh #启动所有Had 2024-01-23 大数据 #bigData #hive #hadoop
hive优化 一、hive优化hive优化大全(hive的优化这一篇就够了)-CSDN博客 Hive常用性能优化方法实践全面总结 - 知乎 (zhihu.com) hive优化的总结_hive优化总结-CSDN博客 Hive 优化总结-CSDN博客 1、基础优化(1) 列裁剪和分区裁剪 (2) 谓词下推 (3) sort by代替order by (4) group by代替distinct 2、grou 2024-01-22 大数据 > hive #bigData #hive #sql
应用,待填充 任务: 删除之前同一天的数据123456789java 目录删除,分区数据没删 (X) jdbc conn stac 执行sql语句删shell hive -e hive -f jop 删除,table join partition date -d alter table table_partition add partition(partition_field=value) 抓取 2024-01-22 大数据 #bigData #hive #sql
hive拉链表介绍与使用 拉链表的概念设计与实现-CSDN博客 拉链表一、概念拉链表是针对数据仓库设计中表存储数据的方式而定义的,所谓拉链,就是记录历史。记录一个事物从开始,一直到当前状态的所有变化的信息。 用处: 解决持续增长且存在一定时间时间范围内重复的数据场景: 数据规模庞大,新数据【在有限的时间】内存在多种状态变化原来解决方案: 采用分区表,用户分区存储历史增量数据,缺点是重复数据太多优点: 节约空间 二、拉链表 2024-01-22 大数据 > hive #bigData #hive #sql
hive的UDF函数说明 hive的UDF函数说明1、用户定义函数 UDF (一进一出)2、用户定义聚集函数 UDAF (多进一出)3、用户定义表生成函数UDTF (一进多出) UDF函数作用于单个数据行,并且产生一个数据行作为输出,大多数的函数都属于UDF,比如数学函数、日期函数、字符函数等。UDAF函数作用于多个输入行,并且产生一个输出数据行。比如group by后的count、max就是聚合函数。UDTF函数 作用于 2024-01-22 大数据 > hive #bigData #hive #sql
shell命令执行hive脚本 shell命令执行hive脚本-CSDN博客 Hive的hql命令的四种执行方式 CLI 方式直接执行 作为字符串通过shell调用hive –e执行 通过shell调用 hive –f或hive –i执行执行 作为独立文件,通过shell调用hplsql -f 方式一:CLI 方式直接执行 在终端直接输入hive进入CLI (客户端) 然后直接执行了例如: 123create databa 2024-01-21 大数据 > hive #hive #sql
hive sql中的行转列和列转行 HQL中的行转列和列转行-CSDN博客 一、测试数据准备1、创建表单1234567create table if not exists stu_score( score_id int, stu_name string, stu_subject string, score int)row format delimited fie 2024-01-21 大数据 > hive #hive #sql
dfs 搜索,枚举 dfs 搜索,枚举 P1141 01迷宫 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 蓝桥杯2023年第十四届省赛真题-岛屿个数 - C语言网 (dotcpp.com) P3916 图的遍历 - 洛谷 | 计算机科学教育新生态 (luogu.com.cn) 2024-01-17 算法刷题 > 算法学习 #算法竞赛 #dfs
STL库简介、常见使用方式与练习 STL库简介、常见使用方式与对应练习题 STL全名Standard Template Library(标准模板库)是 C++ 标准库的一部分,不需要单独安装,只需要 #include 头文件 STL常用容器主要包括三大类:顺序性容器(vector、deque、list)、关联容器(map、set)、容器适配器(queue、stack) STL六大部件: 容器(Containers) 分配器(Al 2024-01-17 算法刷题 > 算法学习 #STL