Hbase-案例
参考:https://www.bilibili.com/video/av65548392
[TOC]
需求分析表结构分析
Code12345678微博内容表人+当前时间戳关注表粉丝,普通人按列存就行了。如果是流量号,几十万,可以采用其他存储方式。初始化页面表存储A的最近关注B,C,D,E,和对应 ...
Hbase-进阶
参考:https://www.bilibili.com/video/av65548392
[TOC]
Hbase数据模型Hbase逻辑结构逻辑上,Hbase看起来像关系型数据库,存在一个表中。
但Hbase底层是k-v形式的,非关系型的。(列蔟)
Hbase物理存储结构
一个Store是一 ...
Hbase-入门
参考:
https://www.imooc.com/learn/881
https://www.bilibili.com/video/av65548392
[TOC]
与mysql类似,是为业务数据做存储的。
Hbase的应用场景及特点HBase在实际业务场景中的应用,也就是在学习HBa ...
Hive-进阶
参考:https://www.bilibili.com/video/av65556024/?p=12
Hive常用交互命令什么时候跑hive?
hive作为离线系统》每天凌晨跑
怎么跑?用定时脚本跑
shell1234567891011- e 执行sql语句hive -e "select * f ...
Azkaban
参考:
https://www.bilibili.com/video/av65539983
TODO
Flume-入门
[TOC]
参考:
http://www.atguigu.com/jsfx/3415.html
https://www.bilibili.com/video/av65541678/?p=3
Flume概述问题引入数据如何从java后台服务器(业务系统如springboot) 到 大数据集群( ...
java设计模式-23种设计模式
23种设计模式概述Code1234567891011121314151617181920212223242526创建型模式 工厂方法模式 抽象工厂模式 建造者模式 单例模式 原型模式结构型模式 适配器模式 装饰者模式 代理模式 外观模式 桥接模式 组合模式 享元模式行为型模式 模板方法模式(Temp ...
Sqoop-入门实践
[TOC]
参考:https://www.imooc.com/learn/1044
第1章 概述本章中将概要介绍Sqoop的作用,以及如何获取Sqoop
预装环境:
hadoop、mysql
基本介绍Sqoop是什么?
开源的数据传输工具,Apache项目
Hadoop生态圈中的一个第三方模块 ...
Hadoop-电商日志分析(Hive实现)
[TOC]
参考:https://coding.imooc.com/class/301.html
之前讲过用HDFS+MapReduce实现电商日志分析,现在用hive实现相同的功能。
外部表shell12345678910# 查看表结构hive> desc formated emp;Ta ...
Hive-入门
参考:
1-2章 https://www.imooc.com/learn/387
3-4章 https://coding.imooc.com/class/301.html
第1章 概述hive是基于HDFS的数据仓库,主要介绍数据仓库和Hive的基本概念
什么是数据仓库数据仓库
数据仓库 ...









