Apache ShardingSphere 企业行|走进转转(apache spark)

fangcloud 591 2022-07-20

本文转载自网络公开信息

为进一步了解各家厂商的应用场景与深层次需求,提升企业研发团队在使用 Apache ShardingSphere 的效率,Apache ShardingSphere 社区开启了【走进企业】系列活动。第一站,来到了国内知名二手交易电商平台--转转。

2021 年 11 月 11 日,ShardingSphere 核心技术团队来到转转研发总部所在的北京市中关村东升科技园,与北京、深圳两地的技术同学展开了深度交流和探讨。会上,Apache ShardingSphere PMC Chair、SphereEx 创始人张亮对 Apache ShardingSphere 社区概览、未来发展、云上 Mesh 部分都做了详细的介绍。

转转与 ShardingSphere 的合作由来已久。在双十一等大促场景下,转转的订单中心等系统也面临着大面积流量冲击的问题,需要用到 ShardingSphere 分库分表能力来补充完善自身的数据架构体系,以更好地服务用户。尤其是在电商交易场景下,用户对实时反馈的感受十分敏感,转转的后台架构,需要能够保证数据之间平稳流通。

在 ShardingSphere 5.0.0 正式版发布前夕,Apache ShardingSphere PMC Chair 张亮接受转转技术委员会的邀请,来到位于北京的研发中心,围绕转转所关心的几个问题进行了阐述。在产品功能层面,转转的同学们普遍对 ShardingSphere 的分片、影子库、DistSQL 等能力表露出了充分的兴趣。

01 每逢双十一这种大促活动期间,压测就成为了检验系统性能流程中必不可少的一环,ShardingSphere 在压测这方面有哪些能力?

Apache ShardingSphere 对此提供了影子库的功能,用于将压测所产生的数据自动写入影子库的方式防止数据染色。影子库有两种内置算法,第一种算法是解析 SQL 文本中的关键字段;另一种算法是解析 SQL 文本中标注的方式,来确定是否路由到影子库中。在 Apache  ShardingSphere 5.0.0 正式版中已经集成了影子库能力,并支持从应用到底层的全链路数据监控,搭建性能保障体系。

02 在 Apache ShardingSphere 5.0.0 之后会把分片的规则写在数据库里,不再需要之前版本通过 YAML 格式去配置,那么类比其它功能如何配置?

通过 DistSQL(Apache ShardingSphere 独特的 SQL 方言,能够提供标准 SQL 之外的增量功能操作能力),它的功能与 YAML 完全一致,但提供了更加便于操作的 SQL 原生方式,对工程师十分友好。在 DistSQL 被社区广泛接受之后,YAML 会逐渐退出历史舞台。

03 在一些特殊场景下,研发人员需要直接登录到分片之后的数据库进行线上问题排查。因此,需要通过自己分片计算之后才能知道数据被分在了哪个具体的库,比较耗费时间,在 5.0 版本里这种情况有没有改善?

Apache ShardingSphere 和所有的分布式数据库一样,希望用户多关注整体的数据库集群,而不是单一的存储节点。Apache ShardingSphere 认为数据库是一个存储节点,ShardingSphere-JDBC 和 ShardingSphere-Proxy 是数据库集群中的计算节点,用户在使用时,将通过完整的集群视角看待分布式数据库。通过 Apache ShardingSphere 可以直接操作相关数据,而不需要跨过它直接访问存储节点。

04 ShardingSphere 如何支持分布式事务?

在分布式事务环境下,用户只会认为是开启了一个本地事务。Apache ShardingSphere 会自开启分布式事务用于处理分片之后的数据源,这一过程对用户是完全透明的。用户可以根据配置自由选择用处理分布式事务的处理方案。

目前,Apache ShardingSphere 已更新 5.0.0 正式版。伴随着此次更新,Apache ShardingSphere 也正式将产品定位转向以 Database Plus 为核心的全新领域。除在数据库上层提供强大的增量能力之外,Database Plus 架构也为开发者和用户开放了高度可扩展的数据库生态,为 Apache ShardingSphere 未来的发展指明了方向。

加入 Apache ShardingSphere GitHub 社区:

加入 OpenSEC 中文社区:

本站部分文章、图片属于网络上可搜索到的公开信息,均用于学习和交流用途,不能代表亿方云的观点、立场或意见。我们接受网民的监督,如发现任何违法内容或侵犯了您的权益,请第一时间联系小编邮箱daifeng@360.cn 处理。
上一篇:图片上添加文字后怎么保存使用(文字添加在图片上)
下一篇:excel表格曲线图怎么做三条曲线(excel画三条曲线)
相关文章

 发表评论

暂时没有评论,来抢沙发吧~