快讯

掌握技术趋势,了解最新行业动向

周二

2020-10-20

  • 如何保护你的GraphQL API免受恶意查询?

    使用GraphQL,你可以随时精确查询任何你想要的内容。对于API来说,这是令人惊奇的,但是也有复杂的安全隐患。恶意人员可能提交一个开销大的嵌套的查询,而不是请求合法的有用数据,来使你的服务器、数据库、网络或所有这些设施过载。没有正确的保护措施,你就会面临拒绝服务(Denial of Service,DoS)攻击的风险。 例如,在我们Spectrum的GraphQL API中,我们有一个如下关系: type Thread { messages(first: Int, after: Strin...

  • Akka Actor及其在商业智能数据服务中的应用

    序 eBay作为一家互联网电商,有海量的商品交易数据和丰富的数据分析及应用场景。其中,服务于商业智能 (BI) 的数据集,往往根据业务部门的需求及数据本身的特点,以结构、半结构化等形式存在于多个分离异构的数据平台。 目前大数据领域已经涌现了众多优秀的大数据查询及计算引擎,针对不同的应用场景各有侧重。但为了向数据科学家、分析师,以及企业决策人员等终端用户提供数据探索和商业智能服务,各数据分析和应用平台往往需要同时对接多个异构的数据平台和查询引擎,构建7*24小时在线的即席查询和报表服务。这些面向用...

  • 某500强银行基于Zabbix高级特性的全栈自动化监控实践

    一、Zabbix适合的监控场景 时常会听到很多运维伙伴在争论,Prometheus和Zabbix哪一个更好?在我看来,脱离实际应用场景讨论技术的优劣其实是没有任何意义的。 1、监控的维度 在选择具体的监控平台之前,我们最先需要明确,我们监控的目标是什么?在我的理解中,监控分为两个维度:即监控的广度和监控的深度。 1)监控的广度 大家所需要监控的系统少则几种,多则几十种,比如需要监控硬件、存储、操作系统、中间件、数据库及应用等。 而在每一个平台中,又存在多种平台:比如我们有华为、戴尔、惠普、...

  • 基于 TiSpark 的海量数据批量处理技术

    熟悉 TiSpark 的人都知道,TiSpark 是 Spark 的一个插件,它其实就是给予了 Spark 能够去访问 TiDB 底层分布式存储引擎 TiKV 或者 TiFlash 的能力。之前我们一直在解决读的问题,写问题并没有付出太多的时间去解决。今天就给大家揭秘,我们是怎样使用 TiSpark 去实现海量数据批处理,然后写入到 TiDB 里面去的。 传统批处理 vs TiSpark 的批处理 在介绍 TiSpark 之前,我们首先来回顾一下传统批处理架构。 对于传统批处理架构而言...

  • 面向软件开发者的“GDPR指南”

    对开发者来说,欧盟《GDPR》是一个令人头疼的问题。因为它并没有明确告诉开发者群体,需要怎么做才能保持应用程序合规。幸运的是,法国CNIL为此发布了一个详细指南。 CNIL,全称Commission Nationale de l’Informatique et des Libertés,即法国国家信息与自由委员会。它是一个独立的行政机构,依据2004年8月修订的1978年《法国数据保护法》行使其职能。法国政府在20世纪70年代设立了一个CNIL。作为一个独立的监察机构,CNIL负责就具体措施提出...

  • 谁能成为dApp领域的独角兽?

    本文最初发布于HACKERNOON博客,经原作者授权由InfoQ中文站翻译并分享。 dApps采用模块化的方法构建应用程序,并将其与去中心化的管理结构相结合。在这个个人数据完整性和言论自由日益重要的时代,dApps将在为终端用户创造更安全的个人隐私和数据访问自由方面发挥重要作用。然而,许多dApps目前还不能扩展,因为它们在目前的AVATAR网络中存在吞吐量限制。对许多应用来说,达到百万用户常常是一个遥远的梦想。 尽管存在技术上的挑战,一些dApps仍然达到了神奇的数值,并持续获得了更多的用户。...

周一

2020-10-19

  • 你听过CatBoost吗?本文教你如何使用CatBoost进行快速梯度提升

    在本文中,我们将仔细研究一个名为CatBoost的梯度增强库。 ---- 在梯度提升中,预测是由一群弱学习者做出的。与为每个样本创建决策树的随机森林不同,在梯度增强中,树是一个接一个地创建的。模型中的先前树不会更改。前一棵树的结果用于改进下一棵树。在本文中,我们将仔细研究一个名为CatBoost的梯度增强库。 CatBoost?是Yandex开发的深度方向梯度增强库?。它使用遗忘的决策树来生成平衡树。相同的功能用于对树的每个级别进行左右拆分。 (CatBoost官方链接:https://gi...

  • 发展量子科技 需政策与市场“快”起来

    让量子科技从实验室走向社会经济,最终需要来自市场的检验。 继5G之后,又一个大家感到新鲜的名词——量子科技成为社会关注热点。10月16日,中共中央政治局就量子科技研究和应用前景举行第二十四次集体学习,表示要充分认识推动量子科技发展的重要性和紧迫性,加强量子科技发展战略谋划和系统布局,把握大趋势,下好先手棋。 何为量子科技?量子科技是量子物理与信息技术相结合发展起来的新学科, 是以量子力学为基础,把量子系统“状态”所带有的物理信息,进行信息编码、计算和传输的全新信息技术,主要包括量子通信和量...

  • 字节跳动全链路压测(Rhino)的实践

    1. 背景 随着公司业务的不断扩张,用户流量在不断提升,研发体系的规模和复杂性也随之增加。线上服务的稳定性也越来越重要,服务性能问题,以及容量问题也越发明显。 因此有必要搭建一个有效压测系统,提供安全、高效、真实的线上全链路压测服务,为线上服务保驾护航。 关于全链路压测的建设,业界已经有了非常多文章,但是涉及到具体的技术实现方面,却很少介绍。本文想通过梳理全链路压测系统从设计到落地的整个实践过程,来详细介绍全链路压测系统具体是如何设计,以及如何落地的。希望能从技术落地实践的角度,给同行业的同学一...

  • 产业弱、人才缺:芯片如何走出“鸡生蛋”悖论?

    打破芯片产业技术封锁困局,人才培养是个行之有效的方法,而芯片人才培养的重要思路,就是与产业紧密结合。 随着个别国家对全球产业链的粗暴阻截,我们国内芯片产业链技术落后的困境愈加凸显。海关数据显示,2019年我国芯片进口总额高达3040亿美元,进口额排名第一。目前,国内芯片自给率不到30%。 毋庸讳言,在芯片行业,我们要补的功课有很多,其中存在一个芯片产业和人才“鸡生蛋蛋生鸡”的悖论。也就是说,目前,整个芯片产业基础薄弱,利润率低迷,对高端人才缺乏吸引力,人才的匮乏又进一步拖慢了产业的发展。 目...

  • 一次假期故障引发的性能优化思考

    在假期某个夜黑风高的晚上,商家正在直播间如火如荼的做着直播,突然间屏幕卡顿,随后屏幕上出现大大的“404”,紧接着大量的客诉、告警扑面而来。好在有赞教育的技术团队响应及时,再经过很短时间的问题分析后,迅速的恢复了系统,保障了商家直播顺利进行。这故障到底是怎么产生的呢?经排查是因为在流量高峰时,系统在性能、可用性方面存在不足导致的。那当时你们是怎么处理的呢?接下来,我会重点从性能优化这块出发,先普及下性能优化的基本概念,然后再简述下常用的性能优化手段,最后给出这个故障我们当时的应对之道。 一、什么...

  • 都给我开口说话!MakeItTalk的神奇魔法让你和蒙娜丽莎对话

    最近,麻省大学Amherst分校的Yang Zhou博士和他的团队提出了一种具有深度结构的新方法「MakeItTalk」。给定一个音频语音信号和一个人像图像作为输入,模型便会生成说话人感知的有声动画图。 富有表现力的动画谁都想要! 面部动画在很多领域都是一项关键技术,比如制作电影、视频流、电脑游戏、虚拟化身等等。 尽管在技术上取得了无数的成就,但是创造逼真的面部动画仍然是计算机图形学的挑战。 一是整个面部表情包含了完整面部各部分之间的相互关系,面部运动和语音之间的协同是一项艰巨的任务,因为面...

  • 杭州程序员手工建了一个“波音737驾驶舱”

    近日,杭州一名程序员打造了一个“波音737驾驶舱”上了热搜。 据报道,这名程序员名叫曹林,是一名航模狂热爱好者,疫情期间,利用空余时间打造了一个“波音737驾驶舱”,能模拟驾驶的大部分功能。 曹林说,他也只是一个普通的爱好者,为了实现更逼真的驾驶舱体验,他自学3D建模,空气动力学、航空流体学、航空电子仪表等知识。 该“模拟驾驶舱”配备三块屏幕,具备油门、27个模块,120多个按键……有些是在二手平台购买的,有些甚至需要自己建模3D打印。 曹林还称,他对于中国制造的大飞机十分自豪,期待有一天可以搭...

  • 2030年半数「码农」将失业,保住饭碗的可能只有COBOL程序员

    最新报道称,到2030年,会有大批软件开发人员失业。AI时代,「搬运工」式的软件开发,正在面临淘汰。另一个角度讲,自动化工具的逐渐繁荣,让开发人员「逃离」无聊重复劳动的同时也在「自掘坟墓」。 一代人终将老去,总有人正年轻。 还有10年,可能不需要再一行行写代码了。软件开发者可能会被大批淘汰。 1930年,经济学家凯恩斯预测,到本世纪末,我们每周只需要工作15小时就可以保证优渥的生活了。但现在来看,这位伟大的经济学家显然说错了。 人类学家David Graeber曾经说过,人类大部分的工作都是Bu...

  • 下个10年,Go能取代Python成为开发者的首选语言吗?

    Go为什么是2020年最受欢迎的语言?这篇文章也许能够给你答案。 30年前,Python首次出现,但它花了20年的时间才获得开发者们的赏识。直到2019年,Python才成为最受开发者喜爱的第二大语言。Python在过去,尤其是在过去5年中的增长是非常巨大的。如今它已成为机器学习和数据科学开发者的首选语言。 在接下来的几年中,Python无疑还将继续在这些领域占据主导地位。但是,与一些新兴语言相比,它存在一些明显的缺点。对于未来十年的开发者来说,这可能是一个严重的障碍。 所以,有没有一种更好...

  • 仅用 8 行代码即可建立一个线性回归模型

    本文最初发表在 Towards Data Science 博客,经原作者 Braden Riggs 授权,InfoQ 中文站翻译并分享。 数学建模和机器学习常常会让人感觉像是难以探索和学习的课题,尤其是对那些不熟悉计算机科学和数学领域的人来说尤为如此。我很惊讶地从我的非理工科的朋友那里听到,他们在自己的项目中尝试使用基本的建模技术时感到不知所措,而且他们可能会陷入这个领域的语义中。这是一种耻辱,因为线性建模在许多情况下都是非常有用的,并且加上互联网上的所有开放源代码,实现自己的模型从未如此简单过...

  • 你必须知道的11个微前端框架

    微前端将前端整体分解为许多更小、更易管理的片段。每个团队可以端到端地拥有自己的功能,可以在自己的代码库中工作,可以独立发布版本,可以不断进行小的增量升级,还可以通过 API 与其他团队集成,以便他们可以一起组建和管理页面和应用程序。 本文中,作者收集了 11 个最杰出的微前端构建工具,并提供了进一步学习的链接和视频。 将单体后端分解成为微服务之后,后端开发流程已在效率和规模上取得了显著进步。然而,当今大多数前端应用程序架构仍然是单体式的,使得前端开发流程很难加速和扩展。 微前端的想法是将...

  • 为ERP实施规模化敏捷的六大难题

    克服下述难题是将敏捷用于ERP实施的关键。为此一切努力都是值得的。 根据IT标准,敏捷方法已经存在了很长时间,事实证明,许多公司通过该方法取得了成效。随着公司在敏捷方法的开拓阶段不断发展和进步,这方面的付出也呈现了与日俱增的趋势。敏捷的应用甚至在支持ERP的部署方面也取得了进展(众所周知,这些项目非常复杂,需要做大量集成工作)。但是,对敏捷方法小试牛刀所获得的收益并没有自然而然地转移到大刀阔虎的敏捷项目中。 经过研究发现,我们必须克服六个难题才能高效地为ERP实施敏捷方法并解决这些难题。 1...

  • Presto在滴滴的探索与实践

    1. Presto简介 1.1 简介 Presto是Facebook开源的MPP(Massive Parallel Processing)SQL引擎,其理念来源于一个叫Volcano的并行数据库,该数据库提出了一个并行执行SQL的模型,它被设计为用来专门进行高速、实时的数据分析。Presto是一个SQL计算引擎,分离计算层和存储层,其不存储数据,通过Connector SPI实现对各种数据源(Storage)的访问。 1.2 架构 Presto沿用了通用的Master-Slave架构,一个C...

  • Go发起HTTP2.0请求流程分析(中篇)——数据帧&流控制

    来自公众号:新世界杂货铺 阅读建议 这是HTTP2.0系列的第二篇,所以笔者推荐阅读顺序如下: Go中的HTTP请求之——HTTP1.1请求流程分析 Go发起HTTP2.0请求流程分析(前篇) 本篇主要分为三个部分:数据帧,流控制器以及通过分析源码逐步了解流控制。 本有意将这三个部分拆成三篇文章,但它们之间又有联系,所以最后依旧决定放在一篇文章里面。由于内容较多,笔者认为分三次分别阅读三个部分较佳。 数据帧 HTTP2通信的最小单位是数据帧,每一个帧都包含两部分:帧头和*Payload*。...

扫码关注云+社区

领取腾讯云代金券

http://www.vxiaotou.com