开发者社区> 大数据与机器学习> 大数据计算 MaxCompute

大数据计算 MaxCompute

关注

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

0
今日
8255
内容
9
活动
348175
关注
|
5月前
|
人工智能 分布式计算 大数据
|
置顶

云栖实录 | MaxCompute 迈向下一代的智能云数仓

2024年云栖大会上,阿里云核心自研云原生智能数据仓库产品MaxCompute,在经过一年的深度打磨后,推出了其迈向下一代智能云数据仓的系列主题分享。此次产品发布,充分展示MaxCompute产品领先行业的云数据产品发展理念与核心优势。

664 0
|
存储 分布式计算 运维
|
置顶

【2023云栖】刘一鸣:Data+AI时代大数据平台建设的思考与发布

本文根据2023云栖大会演讲实录整理而成,演讲信息如下: 演讲人:刘一鸣 | 阿里云自研大数据产品负责人 演讲主题:Data+AI时代大数据平台应该如何建设

102430 15
|
存储 人工智能 分布式计算
|
置顶

【云栖2023】张治国:MaxCompute架构升级及开放性解读

本文根据2023云栖大会演讲实录整理而成,演讲信息如下 演讲人:张治国|阿里云智能计算平台研究员、阿里云MaxCompute负责人 演讲主题:MaxCompute架构升级及开放性解读 活动:2023云栖大会

61136 16
|
SQL 分布式计算 大数据
|
置顶

MaxCompute元数据使用实践 -- 数据下载审计

通过MaxCompute租户级别Information Schema的“TUNNELS_HISTORY”视图可以统计查看通过Tunnel通道进行数据上传下载的相关详细信息,方便您进行数据流转的审计排查。

863 0
|
SQL 存储 分布式计算
|
置顶

MaxCompute元数据使用实践--项目信息统计

MaxCompute的租户级别Information Schema从租户角度提供项目元数据及使用历史数据等信息,您可以一次性拉取您同一个元数据中心下所有Project的某类元数据,从而进行各类元数据的统计分析。

970 0
|
分布式计算 运维 大数据
|
置顶

MaxCompute资源管理——使用成本优化功能实现包年包月计算资源降本增效

MaxCompute提供成本优化(计算资源优化推荐)功能,可基于实际作业请求量和资源配置期望,对包年包月一级Quota类型的计算资源生成更优的资源配置方案,帮助进一步提升计算资源利用率,优化计算成本。本文我们一起通过典型场景案例来看看如何通过成本优化(计算资源优化推荐)功能提供降本增效的参考建议。

746 0
|
存储 SQL 分布式计算
|
置顶

MaxCompute发布按量付费闲时版,计算成本最高节省66.66%!

在大数据不断在追求计算效率和成本优化的背景下,阿里云云原生大数据计算服务 MaxCompute宣布推出按量付费闲时版,用户可选择用此版本完成时间不敏感的作业,从而降低计算成本,同等作业类型的计算费用与按量付费标准版相比,最高可实现66.66%的计算成本优化。

462 1
|
人工智能 分布式计算 Cloud Native
|
置顶

《阿里云云原生一体化数仓新能力解读》电子书重磅来袭!六大能力,助力企业构建全托管的现代化数仓!

离线实时一体、分析服务一体、湖仓一体、数据安全、数据建模、数据治理,六大热门主题,六位大数据专家,带你了解当前炙手可热的云数仓产品最新演进趋势。

1818 0
|
人工智能 分布式计算 Cloud Native
|
置顶

IDC:阿里云稳居中国大数据平台公有云市场第一位

8月4日消息,日前国际权威研究机构IDC发布了《中国大数据平台公有云服务市场份额概况,2021》,报告显示,阿里云稳居中国大数据平台公有云服务市场第一位,营收达14.9亿元。

2227 1
|
存储 分布式计算 DataWorks
|
置顶

阿里云云原生一体化数仓 — 数据治理新能力解读

本文介绍大数据开发治理平台DataWorks在数据治理领域的最新产品进展,包括基于事前、事中、事后的全链路理念构建的核心产品功能和数据治理量化评估机制解读,以及围绕降本增效的成本治理最佳实践。

3404 0
|
存储 SQL 分布式计算
|
置顶

阿里云云原生一体化数仓 — 湖仓一体新能力解读

本文主要介绍如何通过湖仓一体,打通 MaxCompute 与 Hadoop、DLF/OSS 数据湖,以及 Hologres、MySQL 等数据平台,并通过 DataWorks 做统一数据开发和治理。

3081 1
|
存储 SQL 自然语言处理
|
置顶

阿里云云原生一体化数仓 — 数据建模新能力解读

本文主要介绍DataWorks智能数据建模的核心产品能力。

1556 0
|
存储 SQL JSON
|
置顶

阿里云云原生一体化数仓 — 分析服务一体化新能力解读

本文主要介绍如何通过Hologres在分析和服务场景下的新功能,包括资源隔离,数据湖(Delta、Hudi)的支持、JSON优化支持等。

1131 0
|
存储 人工智能 分布式计算
|
置顶

阿里云云原生一体化数仓 — 离线实时一体化新能力解读

介绍MaxCompute+Hologres离线和实时数仓一体化优于之前有离线、有在线、有很多不同的引擎的实现方案,通过用实时的引擎做预处理,实现离线实时数据入仓后做更加实时的服务化BI分析实践。

2567 1
|
分布式计算 DataWorks Cloud Native
|
置顶

阿里云云原生一体化数仓入选 2022数博会“十佳大数据案例”

2022年5月26日,中国国际大数据产业博览会(以下简称“数博会”)在贵阳召开,数博会“十佳大数据案例”揭晓,阿里云云原生一体化数仓入选。阿里云云原生一体化数仓可以解决企业在建设大数据平台中对时效性、准确性、性价比、非结构化数据处理,通过精简的架构,支撑分析决策、异构大数据平台之上的全域数据分析需求。

1259 0
|
人工智能 Cloud Native 大数据
|
置顶

“后红海”时代, 阿里资深技术专家揭秘当下大数据体系

任何一种技术都会经历从阳春白雪到下里巴人的过程,就像我们对计算机的理解从 “戴着鞋套才能进的机房”变成了随处可见的智能手机。在前面 20 年中,大数据技术也经 历了这样的过程,从曾经高高在上的 “火箭科技(rocket science)”,成为了人人普惠 的技术。

17930 0
|
存储 人工智能 分布式计算
|
置顶

《SaaS模式云原生数据仓库应用场景实践》电子书重磅来袭! 激活数据生产力,让分析产生价值!

在数据成为生产要素的今天,拥有充沛的算力是全面发掘和释放数据价值的先决条件。

30291 0
|
机器学习/深度学习 存储 分布式计算
|
置顶

离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进

阿里云智能研究员 林伟 :阿里巴巴从湖到仓的演进给我们带来了湖仓一体的思考,使得湖的灵活性、数据种类丰富与仓的可成长性和企业级管理得到有机融合,这是阿里巴巴最佳实践的宝贵资产,是大数据的新一代架构。

3660 0
|
分布式计算 安全 大数据
|
置顶

阿里云MaxCompute为坚韧性系统 — 中国信通院完成首个面向大数据技术产品的混沌测试

随着 2021 年《关键信息基础设施安全保护条例》出台,稳定性已成为各领域客户在功能、性能之外,对大数据技术产品能力评价的重要指标。阿里云MaxCompute大数据平台在13轮不同程度的破坏性测试中,性能水平并未明显下降,被证明为韧性型系统。

1215 0
|
分布式计算 DataWorks Cloud Native
|
置顶

阿里云云原生一体化数仓正式发布  助力企业数据驱动业务创新

云原生一体化数仓是集阿里云大数据产品MaxCompute、DataWorks、Hologres三种产品能力于一体的一站式大数据处理平台。核心是3个一体化和全链路数据治理能力,包括离线实时一体、湖仓一体、分析服务一体、全链路数据治理。

2502 6
|
存储 运维 分布式计算
|
置顶

云原生离线实时一体化数仓建设与实践

本篇内容分享了云原生离线实时一体化数仓建设与实践。 分享人:刘一鸣 Hologres 产品经理

1806 1
|
存储 机器学习/深度学习 SQL
|
置顶

MaxCompute湖仓一体介绍

本篇内容分享了MaxCompute湖仓一体介绍。 分享人:孟硕 阿里云 MaxCompute产品专家

1803 0
|
数据采集 分布式计算 DataWorks
|
置顶

阿里云云原生一体化数仓发布

高雪峰 阿里云计算平台产品与解决方案总经理

1829 0
|
SQL 分布式计算 资源调度
|
置顶

外部工具连接SaaS模式云数仓MaxCompute 实战—— 数据库管理工具篇

本次直播将主要分享MaxCompute查询加速功能、数据库管理工具DBeaver、DataGrip、SQL Workbench/J的部分连接演示。

1449 0
|
SQL 分布式计算 数据可视化
|
置顶

外部工具连接SaaS模式云数据仓库MaxCompute实战——BI分析工具篇

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,帮助企业和大数据开发者经济并高效的分析处理海量数据。

1846 1
|
SQL 资源调度 分布式计算
|
置顶

MaxCompute中如何通过logview诊断慢作业

MaxCompute致力于批量结构化数据的存储和计算,提供海量数据仓库的解决方案及分析建模服务,在MaxCompute执行sql任务的时候有时候作业会很慢,本文通过查看logview排查具体任务慢的原因

4894 0
|
SQL 分布式计算 Java
|
置顶

UDF精简使用大全

在MaxCompute开发过程中,开发同学遇到的的一些复杂逻辑该如何处理,如何在MaxCompute开发不同场景下的UDF函数?带着这个问题,本文针对UDF的各方面内容做出介绍,其中涉及UDF对应不同语言的类型映射关系、以及对应UDF在重载、访问网络、引用表与资源、以及第三方包的使用为大家做出展示。

6207 0
|
存储 SQL 分布式计算
|
置顶

如何基于MaxCompute快速打通数据仓库和数据湖的湖仓一体实践

MaxCompute 是面向分析的企业级 SaaS 模式云数据仓库,以 Serverless 架构提供快速、全托管的在线数据仓库服务,消除了传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您可以经济并高效的分析处理海量数据。数以万计的企业正基于 MaxCompute 进行数据计算与分析,将数据高效转换为业务洞察。

1902 0
|
SQL 分布式计算 运维
|
置顶

MaxCompute作业日常监控与运维实践

MaxCompute作业日常监控与运维实践

1796 0
|
SQL 存储 分布式计算
|
置顶

MaxCompute产品消费相关文章合集

MaxCompute (原odps)是面向分析的企业级SaaS模式云数据仓库,以Serverless架构提供全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入。MaxCompute支持多种经典计算模型(批处理、机器学习、交互式分析等)和完善的企业管理功能,借助MaxCompute,用户可轻松集成和管理企业数据资产,简化数据平台架构,加速价值实现。

822 0
|
分布式计算 DataWorks 网络协议
|
置顶

MaxCompute中实现IPv4和IPv6地址归属地转换

大数据平台的成熟使得更多种类的非结构化、半结构化的数据分析成为可能。其中把IP地址转换为归属地又是极为常见的一种场景。本文将介绍在MaxCompute如何根据IPv4和IPv6地址实现归属地转换。

3897 0
|
机器学习/深度学习 人工智能 分布式计算
|
置顶

开放下载!《SaaS模式云数据仓库实践手册》

本书的制作目的在于让MaxCompute帮助企业构建全托管的现代化数仓,简化数据洞察、加速价值实现。

44095 0
|
存储 机器学习/深度学习 分布式计算
|
置顶

持续定义Saas模式云数据仓库+实时搜索

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义Saas模式云数据仓库+实时搜索》的相关分享。以下是视频内容精华整理,主要包括以下三个部分:1.Why:概述与价值;2.What:应用场景;3.How:最佳实践。

20498 0
|
机器学习/深度学习 SQL 人工智能
|
置顶

持续定义SaaS模式云数据仓库+AI

本文由阿里云计算平台事业部 MaxCompute 产品经理孟硕为大家带来《持续定义SaaS模式云数据仓库+AI》的相关分享。

11676 0
|
存储 机器学习/深度学习 分布式计算
|
置顶

持续定义SaaS模式云数据仓库+Serverless

本文将为您介绍现代云数据仓库的业务场景与资源使用需求,不同资源交付模式的差异化分析。并结合MaxCompute Serverless的特点及价值来讲解使用MaxCompute Serverless的最佳实践。

11039 0
|
存储 数据采集 分布式计算
|
置顶

持续定义SaaS模式云数据仓库+数据银行

本文将介绍SaaS模式云数据仓库MaxCompute,如何助力数据银行SaaS模式云战略和一体化数据开放场景介绍。

10090 0
|
新零售 分布式计算 DataWorks
|
置顶

持续定义Saas模式云数据仓库+BI

简介:阿里云技术专家海清为大家带来持续定义Saas模式云数据仓库+BI的介绍。内容包括云数据仓库概述,BI使用场景与趋势,基于MaxCompute云数仓+BI的特性,以及实践案例。

7102 0
|
分布式计算 监控 算法
|
置顶

MaxCompute资源管理—— 包年包月资源组隔离

使用基于MaxCompute云数据仓库的企业,由于业务的差异,会创建多project进行数据隔离。同时也因为业务的差异,每个project需要跑的任务量、业务紧急程度等也有差异,因此不同project对计算资源的需求也不一致。本文我们一起探讨如何通过MaxCompute管家实现MaxCompute包年包月的资源隔离。

1738 0
|
存储 分布式计算 安全
|
置顶

SaaS 模式云数据仓库 MaxCompute 数据安全最佳实践

MaxCompute作为企业级SaaS模式云数据仓库,正在为客户业务及其数据提供持续的安全保护。 MaxCompute 近期对产品的安全能力进行了全面升级,本文将针对数据误用、数据滥用、数据泄露、数据丢失等典型数据风险场景,结合数据生命周期,为您介绍基 于MaxCompute 和 DataWorks 原生集成安全能力的最佳实践。

1192 0
|
分布式计算 DataWorks 调度
|
置顶

MaxCompute资源管理—— 包年包月资源分时

2020年7月23日开始,MaxCompute 管家陆续对各个区域进行升级新版本,新版本支持的功能之一——分时配额,将支持对预留计算资源(预留CU)进行按时段切分,满足时段的差异化资源需求,满足对资源隔离(生产/开发/自助分析)不同工作负载的能力,避免相互干扰,同时更大化提高资源使用率。

1922 0
|
20天前
|
负载均衡 监控 安全
|

优化HTTP代理IP安全稳定性的关键要点

随着科技发展,越来越多企业依赖HTTP代理IP。为确保其安全稳定,建议采取以下措施:选择可靠服务商、使用HTTPS加密、定期更换IP、监控可用性、设置访问控制、使用负载均衡、配置防火墙、定期更新维护及用户教育。这些方法能有效提升代理IP的安全性和稳定性。

53 3
|
23天前
|
缓存 负载均衡 安全
|

HTTP代理服务器对速度提升有何作用?

在信息化时代,网络成为生活不可或缺的一部分。HTTP代理服务器位于客户端与服务器之间,通过数据压缩、缓存机制和路由优化等方式,有效提高数据传输速度并保护个人信息安全。使用91HTTP等工具,用户可在业务需求中获得更快更安全的网络体验。

39 4
|
24天前
|
监控 安全 网络安全
|

深度剖析静态长效代理IP在技术革新与网络防护上的表现

随着数字化发展,网络安全与隐私保护成为核心需求。静态长效代理IP通过智能路由、动态IP池管理、加密技术、负载均衡及API集成等技术创新,提升数据传输速度与安全性。它在保护用户隐私、实施访问控制、确保数据安全及网络监控方面发挥重要作用,为企业和个人提供更高效、安全的网络解决方案,推动各行业的发展。

47 0
|
28天前
|
XML 存储 分布式计算
|

【赵渝强老师】史上最详细:Hadoop HDFS的体系架构

HDFS(Hadoop分布式文件系统)由三个核心组件构成:NameNode、DataNode和SecondaryNameNode。NameNode负责管理文件系统的命名空间和客户端请求,维护元数据文件fsimage和edits;DataNode存储实际的数据块,默认大小为128MB;SecondaryNameNode定期合并edits日志到fsimage中,但不作为NameNode的热备份。通过这些组件的协同工作,HDFS实现了高效、可靠的大规模数据存储与管理。

118 14
|
1月前
|
应用服务中间件 定位技术 网络安全
|

住宅IP和运营商IP有什么区别?

随着数字化发展,网络安全与隐私保护日益重要,代理IP成为热门选择。住宅IP由ISP分配给家庭用户,通常是动态的,适合日常上网,费用较低,且具有较高隐私保护。运营商IP则分配给企业或数据中心,多为静态,适用于高稳定性和带宽需求的业务,安全性更高但成本也更高。两者在用途、特性和成本上存在显著差异,用户可根据需求选择。

59 1
|
1月前
|
监控 安全 网络安全
|

静态长效代理IP的技术创新与网络安全体现在哪些方面?

随着数字化发展,网络安全和隐私保护成为核心需求。静态长效代理IP通过智能路由、动态IP池管理、加密技术、负载均衡及API集成等创新,提升数据传输速度与安全性。它在信息安全保护、访问控制、数据传输保护及网络监控等方面发挥重要作用,为各行业提供高效、安全的网络解决方案,应用前景广阔。

50 5
|
1月前
|
存储 缓存 网络协议
|

静态代理IP对SEO优化工作的效率提升研究

随着互联网发展,静态代理IP的应用日益广泛。通过优化网络设置(如调整TCP参数)、使用缓存技术减少网络访问次数、压缩传输数据(如gzip),静态代理IP可显著提高网络性能,提升工作效率和生产力。合理选择服务商及注重安全隐私保护也是关键。

24 1
|
1月前
|
数据采集 机器学习/深度学习 人工智能
|

静态长效代理IP利用率瓶颈解析与优化路径

在信息化时代,互联网已深度融入社会各领域,HTTP动态代理IP应用广泛,但静态长效代理IP利用率未达百分百,反映出行业结构性矛盾。优质IP资源稀缺且成本高,全球IPv4地址分配殆尽,高质量IP仅占23%。同时,代理服务管理存在技术瓶颈,如IP池更新慢、质量监控缺失及多协议支持不足。智能调度系统也面临风险预判弱、负载均衡失效等问题。未来需构建分布式IP网络、引入AI智能调度并建立质量认证体系,以提升资源利用率,推动数字经济发展。

37 2
我要发布