Spark数据处理
字符串函数123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525354555657585960616263646566676869// 提取// 1、提取 jsonjson_tuple(jsonCol:Column, fields:String*) // fi
Spark Sql自定义UDF函数进行字段加密解密
Spark Sql自定义UDF函数进行字段加密解密一、函数实现建议将自定义函数实现，单独建对象保存 12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364656667686970import java.nio.cha
聊天UI效果与简单AI接口调用
X叶域Q的主页-鸿蒙开发者社区-51CTO.COM鸿蒙发展的真快呀，半年前还在用api9，现在直接api12了。下载新的模拟机时发现，DevEcoStudio都从3.1下载到了现在的5.0了，这算不算见证了它的成长呢，哈哈。 想尝试简单写一个聊天页面调用模型，尝试下语法方面有什么变化，然后发现很简单的聊天UI，尽然会有这么多坑，害！话不多说开干！ 一、滚动聊天区域想想一个聊天区域无非就是一个滚
HBase 1
RDB优化123456789101112131415161718192021222324【大数据不强调一致性，只需要最终一致即可】-- Mysql优化：表分区，分表，分库，主从复制读写分离，集群-- 分表-- Mysql-- Table_A 自增列 start=1， step=2-- Table_B 自增列 start=1， step=2-- 读写分离-- 主从-- MyCat-- 增删改：写
MySQL 优化
MySQL 优化从设计上优化从查询上优化从索引上优化从存储上优化 1234567891011121314151617181920-- 查看当前会话SQL执行类型的统计信息show session status like 'Com_______';-- 查看全局(上次启动至今)执行类型的统计信息show global status like 'Com_______&#x
HIVE 杂
Spark On Hive 原始数据层ODS一、Flume将日志数据导入hdfsspark rdd读取hdfs转换为DataFrame提取json类型数据的各个字段 二、mysql数据导入Hivespark整表写入hive DWD层一、需要根据指标的需求进行列裁剪二、将日期和时间合并成标准格式， 日期维度细化自定义udf，为什么用udf 12date time2018-1-13 24