数据仓库
-
快速生成 MySQL 数据库关系图
需求描述: 在公司老旧系统里,数据库表很多,但是在设计之初并没有建立好关系图,导致新人刚入职,面对N个库,每个库几百张表,很不方便。 例如:公司某一个系统的库有三百张表,在不熟悉项…
-
数据库性能基准测试——TPCC、TPCH及TPCDS的区别
针对数据库不同的使用场景TPC组织发布了多项测试标准。其中被业界广泛接受和使用的有TPC-C 、TPC-H和TPC-DS。 TPC-C 、TPC-H…
-
CDC工具之Canal
一、CDC概述 1.1 什么是CDC CDC 的全称是 Change Data Capture ,在广义的概念上,只要能捕获数据变更的技术,我们都可以称为 CDC 。我们通常所描述…
-
数仓:浅谈银行业的数仓构建实践
文章目录 简介 一、银行数仓画像 二、银行业数仓建设 2.1 数据总线 2.2 数据仓库 ODM 层 2.3 数据仓库 SDM 层 2.4 数据仓库 FDM 层 2.5 数据仓库 …
-
大数据项目之电商数仓、实时数仓同步数据、离线数仓同步数据、用户行为数据同步、日志消费Flume配置实操、日志消费Flume测试、日志消费Flume启停脚本
文章目录 8. 实时数仓同步数据 9. 离线数仓同步数据 9.1 用户行为数据同步 9.1.1 数据通道 9.1.1.1 用户行为数据通道 9.1.2 日志消费Flume配置概述 …
-
ETL性能优化
目录 一 概述 BeeDI内置多种机制用于ETL性能优化,可选择同步、异步、并发、缓冲更新等不同数据载入方式或调整提交缓冲记录数优化单一ETL任务性能,也可调整任务并发数优化多任务…
-
大数据应用
一、什么是大数据 大数据已成为互联网等新兴领域促进业务创新增值、提升企业核心价值的重要驱动力,成为国家重要的基础性战略资源,正引领新一轮科技创新。大数据技术的战略意义不在于掌握庞大…
-
分布式数据仓库 HBase
关系型数据库基本概念 关系型数据库简介 关系型数据库的功能及特点 –基于事务的ACID机制,数据强一致性 –参照完整性 –采用标准的SQL进行数据操作 –适合事务性操作 –物理结构…
-
数据中台的数据仓库和商业智能BI的数据仓库有什么区别?
数据中台的数据仓库和商业智能BI的数据仓库本质上没有任何区别,都是在底层业务系统数据源和上层应用之间做了一个隔离层,进行上下两层的解耦合。从数据分析应用角度来讲,不管是大数据还是小…
-
DataGrip
经济不景气、失业真丧气;说唱都无力,天气真美丽。 热的想躺尸,可丧都需要勇气。 一摸兜里,哈哈,还有两块钱。努力在努力。 结束垃圾说唱,说回正题。 上DataGrip! DataG…