经典网络结构分析 经典网络结构分析本文围绕 ImageNet 大规模视觉识别挑战赛,只整理了些关键点 ImageNet Large Scale Visual Recognition Challenge(ILSVRC) 计算机视觉领域最具权威的学术竞赛之一lmageNet数据集–由斯坦福大学李飞飞教授主导制作,其包含了超过1400万张全尺寸的有标记图片。ILSVRC从ImageNet数据集中抽出子集作为竞赛数据20 2025-03-22 ai #cnn #ai
Openharmony 移步X叶域Q的主页-鸿蒙开发者社区-51CTO.COMhttps://ost.51cto.com/person/posts/16439410 2025-03-05 Openharmony #Openharmony
HDFS关键设计和优势 HDFS关键设计和优势分布式存储系统基本概念 01.容错能力:能够处理绝大部分异常场景,例如服务器宕网络异常、磁盘故障、网络超时等。机,、 02.一致性模型:为了实现容错,数据必须多副本存放,一致性要解决的问题是如何保障这多个副本的内容都是一致的 03.可扩展性:分布式存储系统需要具备横向扩张scale-out的能力 04.节点体系:常见的有主从模式、对等模式等,不管哪种模式,高可用是必须的功 2024-11-24 大数据 > hadoop #bigData #hadoop
Flink-SQL Flink SQLFlink 具有两个关系型 API:Table API 与 SQL。 Table API 是 Scala 和 Java 语言集成查询的 API,可以非常直观的方式组合来自关系算子的查询。例如, 选择、过滤和连接。 Flink SQL 支持基于实现 SQL 标准的 Apache Calcite。无论输入是批输入(DataSet)还是流输入(DataStream),任一接口中指定的查 2024-10-21 大数据 > flink #flink,bigdata
Kafka Eagle Kafka Eagle1. Install Mysql Kafka-Eagle 的安装依赖于 MySQL,MySQL 主要用来存储可视化展示的数据。 2.Kafka 环境准备 调整Kafka内存占用等参数,暴露JMX JMX(Java Management Extensions)是一个为应用程序植入管理功能的框架。JMX是一套标准的代理和服务,使用户能够在任何Java应用程序中使用这些代理和服务 2024-10-21 大数据 > Kafka #bigData #Kafka
Flink项目总结问题 1234567891011121314151617181920212223242526272829303132333435363738CREATE TABLE KafkaTable ( empno integer, ename string, deptno integer, dname string) WITH ( 'connector' = 'kafka& 2024-10-12 大数据 > flink #flink,bigdata
Flink项目总结问题 Flink 问题https://gitee.com/felix_fxf/gmall2024-realtime.git 待解决问题为什么要用HBase, 直接到Kafka不行? 关键词:Flink 测出流 状态编程 日志分流 精准一次性 事务 隔离级别 Flink状态编程ValueState 是基于键(key)的状态,Flink 会根据键将数据分发到不同的并行实例上,并且每个键的状态是唯一的。这意味 2024-10-05 大数据 > flink #flink,bigdata
Flink介绍与使用2 Apache Flink是一个用于处理数据流的开源分布式计算框架,具有以下主要特点和功能: 1. 实时流处理: 低延迟: Flink 能够以亚秒级的延迟处理数据流,非常适合对时间敏感的应用,如实时分析、监控和告警系统。 状态管理: Flink 提供了对状态的内置支持,使得开发有状态的流式处理应用变得容易,如窗口操作、复杂事件处理等。 2. 批处理和流处理的统一: Flink 既可以用于流处理,也 2024-08-11 大数据 > flink #flink,bigdata
Flink介绍与使用 [TOC] Apache Flink 01Resume Stateful Computations over Data Streams基于数据源的【状态计算】:通过维护和利用状态信息来处理流数据的一种机制,它允许开发者专注于业务逻辑的实现,而Flink 则负责处理状态的存储、访问、故障恢复等底层细节,从而提高了系统的可扩展性和容错性 Flink的状态计算主要涉及到有状态的流处理,即根据当前输入 2024-08-06 大数据 > flink #flink,bigdata
Flink 窗口 [TOC] Apache Flink 02Time 时间时间类型 👉 EventTime 事件时间:指时间发生的时间,一旦确定之后再也不会改变。 ProcessingTime 处理时间:指消息被计算引擎处理的时间,以各个计算节点的本地时间为准。 IngestionTime 摄取时间:指事件进去流处理系统的时间,对于一个事件来说,使用其被读取的那一刻时间戳。 👉 事件时间和水位 2024-08-06 大数据 > flink #flink,bigdata